Почему Ридж Регресс хорошо работает при наличии мультиколлинеарности?

Я узнаю о регрессии гребня и знаю, что регрессия гребня работает лучше при наличии мультиколлинеарности. Мне интересно, почему это правда? Был бы удовлетворен либо интуитивный, либо математический ответ (оба типа ответов были бы еще более удовлетворительными).

Кроме того , я знаю, что всегда можно получить, но насколько хорошо хребет регрессия работа в присутствии точной коллинеарности (одной независимой переменной является линейной функцией от другой)? $\hat{\beta}$

multicollinearity ridge-regression

— TrynnaDoStat
источник

Относительно вашего второго вопроса: если у вас есть точная колинеарность, вы можете просто удалить одну из переменных. Вам не нужна регрессия гребня.

— Питер Флом - Восстановить Монику

$x_1$ $x_2$ $y$ является третьим измерением), и часто есть очень четкая «лучшая» плоскость. Но с коллинеарностью отношения - это действительно линия в трехмерном пространстве с разбросанными вокруг данными. Но процедура регрессии пытается подогнать плоскость к линии, поэтому существует бесконечное количество плоскостей, которые идеально пересекаются с этой линией, выбор плоскости зависит от влияющих точек в данных, немного измените одну из этих точек и «лучшая» посадочная плоскость меняется совсем немного. Регрессия гребня заключается в том, чтобы тянуть выбранную плоскость к более простым / более разумным моделям (значения смещения к 0). Подумайте о резиновой полосе от начала координат (0,0,0) до плоскости, которая тянет плоскость к 0, в то время как данные будут оттягивать ее для хорошего компромисса.

— Грег Сноу
источник

@ Тринна, есть фотографии, иллюстрирующие, что Грег сказал о проблеме коллинеарности.

— ttnphns

Это очень хорошее геометрическое объяснение того, почему мультиколлинеарность является проблемой в регрессии МНК! Но я все еще не совсем понимаю, почему тяга самолета к началу координат решает проблему.

— TrynnaDoStat

@TrynnaDoStat, Основное беспокойство вызывает изменчивость оценок, при мультиколлинеарности небольшое изменение в одной точке данных может резко изменить оценки коэффициента (без смещения). При смещении в сторону 0 не наблюдается значительных изменений в оценках коэффициентов (поскольку эта резиновая полоса тянет их к 0) с небольшим изменением в одной точке данных, что снижает изменчивость.

— Грег Сноу,

Спасибо @ttnphns за ссылку на картинки: без этого было довольно сложно получить ответ. Теперь ответ Грега ясен и то, что мне нужно, чтобы понять эту строку в ESLII (2-е изд.): «Дико большой положительный коэффициент на одну переменную может быть отменен с помощью такого же большого отрицательного коэффициента на его соотнесенного родственника. Путем наложения ограничения на размер Коэффициенты этой проблемы смягчены ".

— Томмазо