Для задачи Лассо такая, что . Я часто вижу результат мягкого определения порога
Для задачи Лассо такая, что . Я часто вижу результат мягкого определения порога
Ответы:
Это может быть атаковано несколькими способами, включая довольно экономичные подходы в условиях Каруша-Куна-Такера .
Ниже приведен довольно элементарный альтернативный аргумент.
Решение наименьших квадратов для ортогонального дизайна
Предположим, состоит из ортогональных столбцов. Тогда решение для наименьших квадратов - это
Некоторые эквивалентные проблемы
Через форму Лагранжа легко увидеть, что проблема, эквивалентная рассматриваемой в вопросе, является
Развернув первое слагаемое, мы получим и, поскольку не содержит никаких из переменных, представляющих интерес, мы можем отказаться от него и рассмотреть еще одну эквивалентную проблему,
Отметив, что , предыдущая проблема может быть переписана как
Наша целевая функция теперь представляет собой сумму целей, каждая из которых соответствует отдельной переменной , поэтому каждая из них может быть решена индивидуально.
Целое равно сумме его частей
Исправить определенный . Затем мы хотим минимизировать
Если , то мы должны иметь так как в противном случае мы могли бы перевернуть его знак и получить меньшее значение для целевой функции. Аналогично, если , тогда мы должны выбрать .
Случай 1 : . Начиная с , и дифференцируя это относительно и устанавливая равным нулю , мы получаем и это возможно только в том случае, если правая часть неотрицательна, поэтому в этом случае реальное решение будет
Случай 2 : . Это означает, что у нас должно быть и так Различая и устанавливая равным нулю, мы получаем . Но, опять же, чтобы убедиться, что это выполнимо, нам нужен , который достигается путем взятия
В обоих случаях мы получаем желаемую форму, и так мы закончили.
Заключительные замечания
Обратите внимание, что при увеличении каждый изобязательно уменьшается, следовательно, . Когда , мы восстанавливаем решения OLS и для, мы получаем для всех .
Предположим , что ковариат , столбцы , также стандартизированы так , что . Позже это просто для удобства: без него нотация становится только более тяжелой, поскольку является только диагональным. Далее предположим, что . Это необходимое предположение для сохранения результата. Определите оценщик наименьших квадратов . Тогда (лагранжева форма) оценки Лассо
Это вывод, который пропускает подробный вывод проксимального оператора, который разрабатывает Кардинал, но, я надеюсь, проясняет основные шаги, которые делают возможной закрытую форму.