Стандартизация против нормализации для регрессии Лассо / Риджа

Я знаю, что общепринятой практикой является стандартизация функций для регрессии гребня и лассо, однако, будет ли когда-либо более практичным нормализовать функции по шкале (0,1) в качестве альтернативы стандартизации z-показателя для этих методов регрессии?

— Стив
источник

Ответы:

Если вы примените нормализацию (сожмите в [0,1]), у вас будет мера относительной важности переменной, но это изменит масштаб ваших переменных, и вы потеряете всю интерпретируемость модели. Преимущество стандартизации в том , что вы можете интерпретировать модели , как вы бы с МНК (это уже уже ответили unregularised здесь ).

— Digio
источник

Регуляризованная модель действует очень по-разному с нормализацией или без нее! В частности, если мы не нормируем функции, у нас будут разные штрафы за разные функции!

— Haitao Du

Я специально говорил о интерпретации коэффициента Лассо , а не об оценке. Учитывая, что оценки изменятся, мне было бы интересно узнать, как изменится интерпретация модели.

— Digio

Мне не кажется, что вопрос, на который вы ссылаетесь в своем ответе, подтверждает вашу точку зрения. Не могли бы вы уточнить в своем первоначальном посте, почему интерпретация коэффициентов ols согласуется с коэффициентами Лассо только тогда, когда характеристики стандартизированы? Спасибо!

— user795305

@Ben, ты неправильно понял мой ответ (возможно, моя вина). Ответ я связан объясняет , как коэффициенты модели в лассо и в простой регрессии (МНК или иным образом ) интерпретируются таким же образом - ни при каких обстоятельствах (стандартизированных или нет). При нормализации (в любом типе или параметрической регрессии) вы теряете исходную шкалу и не можете интерпретировать коэффициенты без обратного преобразования. При стандартизации вы интерпретируете модель обычным образом.

— Digio

Нормализация очень важна для методов с регуляризацией. Это связано с тем, что масштаб переменных влияет на степень регуляризации, применимый к конкретной переменной.

Например, предположим, что одна переменная находится в очень большом масштабе, скажем, порядка миллионов, а другая переменная от 0 до 1. Тогда мы можем думать, что регуляризация будет мало влиять на первую переменную.

Как и в случае нормализации, нормализации до 0 к 1 или стандартизации функций не имеет большого значения.

— Хайтау Ду
источник

Этот ответ утверждает очевидное. Под «нормализацией» здесь подразумевается сжатие всех значений в [0,1], это не просто другое слово для стандартизации. Вопрос о влиянии нормализации в [0,1] против стандартизации ~ N (0,1) на модельные коэффициенты.

— Дигио

Что значит нормализовать до [0,1]? Есть много способов достичь этого. Что именно вы рекомендуете для наказанной регрессии?

— Кагдас Озгенц

Поскольку вопрос гласит, что «нормализация признаков по шкале (0,1)», хотя, возможно, изменение масштаба признаков является более подходящим термином, является общим методом для получения оценок коэффициентов, которые выражают относительную значимость переменной (аналогично показателю чистоты RF). Да, есть много способов добиться этого, и это не является чем-то конкретным для наказанной регрессии, но этот вопрос касается влияния изменения масштаба (а не стандартизации) на Лассо.

— Дигио

что вы подразумеваете под "нормализацией до 0 к 1 или стандартизации функций, не имеет большого значения"? В каком смысле это не имеет большого значения? Не могли бы вы предоставить какую-либо интуицию или ссылки на это утверждение?

— user795305