Лагранжева релаксация в контексте гребневой регрессии


15

В «Элементах статистического обучения» (2-е изд.), Стр. 63, авторы приводят следующие две формулировки проблемы регрессии гребня:

β^ridge=argminβ{i=1N(yiβ0j=1pxijβj)2+λj=1pβj2}

и

β^ridge=argminβi=1N(yiβ0j=1pxijβj)2, subject to j=1pβj2t.

Утверждается, что они эквивалентны, и что между параметрами и существует взаимно-однозначное соответствие .λt

Казалось бы, первая формулировка является лагранжевой релаксацией второй. Однако у меня никогда не было интуитивного понимания того, как или почему работают лагранжевы релаксации.

Есть ли простой способ продемонстрировать, что две формулировки действительно эквивалентны? Если бы мне пришлось выбирать, я бы предпочел интуицию строгости.

Благодарю.


Если вы просто хотите получить интуитивное объяснение, перейдите к 1.03.26 этого видео (до конца), есть интуитивное объяснение того, как ограничения относятся к целевой функции.
user603

Ответы:


3

Соответствие легче всего показать с помощью теоремы об огибающей .

λtλ

ttβλt

t

Я предполагаю, что это переписка Hastie et al. имеют в виду.

Используя наш сайт, вы подтверждаете, что прочитали и поняли нашу Политику в отношении файлов cookie и Политику конфиденциальности.
Licensed under cc by-sa 3.0 with attribution required.