Стандартизация до Лассо действительно необходима?


28

Я прочитал три основные причины стандартизации переменных, прежде чем что-то вроде Lassoрегрессии:

1) Интерпретируемость коэффициентов.

2) Возможность ранжировать важность коэффициента по относительной величине оценок коэффициента после усадки.

3) Нет необходимости перехватывать.

Но меня интересует самый важный момент. Есть ли у нас основания полагать, что стандартизация улучшит обобщение модели вне выборки? Также мне все равно, если мне не нужен перехват в моей модели; добавление одного не повредит мне.


1
Пояснение: вы, кажется, хотите спросить: «При условии, что стандартизация является необязательной (один из особых случаев, когда результаты не искажаются на разные величины), тогда стандартизация улучшит обобщение вне выборки?» Это верно?
Drew75

@ Drew75 Я предпочитаю разбивку дел, например, помогает ли это, когда результаты «искажены на разные величины», помогает ли это, когда результаты не искажены, и так далее, лучший ответ будет охватывать разные ситуации.
Джейс

1
Тогда ваш вопрос не о лассо (потому что в целом стандартизация необходима перед лассо). Это более общее. Возможно, изменить название и первое предложение вопроса.
Drew75

@Drew: Это скорее вопрос: почему это необходимо (когда это не так?)? Что значит искажать результаты (по сравнению с чем?)? Я думаю, что вопрос в порядке, как он есть.
Scortchi - Восстановить Монику

@ Drew75 Мой вопрос о Лассо.
Джейс

Ответы:


21

Регресс Лассо накладывает ограничения на размер коэффициентов, связанных с каждой переменной. Однако это значение будет зависеть от величины каждой переменной. Поэтому необходимо центрировать и уменьшать или стандартизировать переменные.

Результат центрирования переменных означает, что перехвата больше нет. Кстати, это относится и к регрессии гребня.

Еще одним хорошим объяснением является этот пост: необходимость центрирования и стандартизации данных в регрессии


Это либо не ответ, либо крайне косвенный ответ на мой вопрос. Пожалуйста, объясните связь между вашим ответом и обобщением вне примера (вопрос был).
Джейс

10
@Jase: он решает основную причину стандартизации, которую вы пропустили из своего списка: если вы хотите отбросить предикторы с небольшими коэффициентами (или иначе использовать штрафной член в зависимости от величины коэффициента), вам нужно решить, что считать «маленьким» ». Хотя стандартизация не является обязательной до LASSO или других штрафных методов регрессии, редко бывает так, что оригинальные шкалы, в которых измеряются предикторы, полезны для этой цели.
Scortchi - Восстановить Монику

3
И смысл центрирования в том, что вы обычно не хотите отбрасывать или сокращать перехват.
Scortchi - Восстановить Монику

2
λ

2
В общем, то, насколько вы сократитесь в целом , повлияет на обобщение до случайных отсроченных выборок; несколько произвольное решение о том, насколько уменьшить каждый предиктор относительно других, повлияет на обобщение для новых выборок из аналогичных групп населения, где коэффициенты немного отличаются, где распределение предикторов не обязательно очень похоже на распределение в обучающем наборе и т. д. (Конечно, ваш вопрос заслуживает более продуманного ответа.)
Scortchi - Восстановите Монику

2

Параметр штрафа L1 является суммой абсолютных бета-членов. Если все переменные имеют разную размерность, то этот термин действительно не аддитивен, хотя математически нет никакой ошибки.

Однако я не вижу фиктивных / категориальных переменных, страдающих от этой проблемы, и думаю, что их не нужно стандартизировать. их стандартизация может просто уменьшить интерпретируемость переменных

Используя наш сайт, вы подтверждаете, что прочитали и поняли нашу Политику в отношении файлов cookie и Политику конфиденциальности.
Licensed under cc by-sa 3.0 with attribution required.