Почему Lasso или ElasticNet работают лучше, чем Ridge, когда функции взаимосвязаны

У меня есть набор из 150 функций, и многие из них тесно связаны друг с другом. Моя цель - предсказать значение дискретной переменной, диапазон которой составляет 1-8 . Мой размер выборки 550 , и я использую 10-кратную перекрестную проверку.

AFAIK, среди методов регуляризации (Lasso, ElasticNet и Ridge), Ridge более строг в отношении корреляции между функциями. Вот почему я ожидал, что с Риджем я получу более точный прогноз. Однако мои результаты показывают, что средняя абсолютная ошибка Лассо или Эластика составляет около 0,61, тогда как для регрессии гребня этот показатель равен 0,97 . Интересно, что было бы объяснением этого? Это потому, что у меня много функций, и Лассо работает лучше, потому что делает выбор функций, избавляясь от лишних функций?

Предположим, у вас есть две сильно коррелированные предикторные переменные , и предположим, что обе центрированы и масштабированы (что означает ноль, дисперсия 1). Тогда штраф гребня на векторе параметров равен β 2 1 + β 2 2, в то время как штрафной член Лассо равен ∣ β 1 ∣ + ∣ β 2 ∣ . Теперь, так как модель считается высоко коллинеарной, так что x и z более или менее могут заменить друг друга в предсказании Y , так много линейных комбинаций x , z, где мы просто замещаем частично$x,z$$\beta_1^2 + \beta_2^2$$\mid \beta_1 \mid + \mid \beta_2 \mid$$x$$z$$Y$$x, z$ для z , будет очень похожим в качестве предикторов, например, 0,2 x + 0,8 x , 0,3 x + 0,7 z или 0,5 x + 0,5 $x$$z$$0.2 x + 0.8 x, 0.3 x + 0.7 z$$0.5 x + 0.5 z$будет примерно так же хорошо, как предсказатели. Теперь рассмотрим эти три примера: штраф Лассо во всех трех случаях равен 1, в то время как штраф гребня отличается, соответственно 0,68, 0,58, 0,5, поэтому штраф гребня предпочтет равное взвешивание коллинеарных переменных, в то время как штраф Лассо не сможет выбрать. Это одна из причин, по которой гребень (или, в более общем смысле, эластичная сеть, представляющая собой линейную комбинацию штрафов лассо и гребня) будет лучше работать с коллинеарными предикторами: когда данные дают мало оснований выбирать между различными линейными комбинациями коллинеарных предикторов, лассо просто «бродить», в то время как гребень имеет тенденцию выбирать равные веса. Это последнее может быть лучшим предположением для использования с будущими данными! И, если это так с текущими данными, может показаться при перекрестной проверке как лучшие результаты с гребнем.

Мы можем рассматривать это в байесовской манере: Ридж и Лассо подразумевают различную априорную информацию, и априорная информация, подразумеваемая хребтом, в таких ситуациях, как правило, более разумна. (Это объяснение здесь я узнал более или менее из книги: «Статистическое обучение с редкостью, лассо и обобщения» Тревора Хасти, Роберта Тибширани и Мартина Уэйнрайта, но в этот момент я не смог найти прямую цитату).

Самое важное различие между лассо и хребтом состоит в том, что лассо, естественно, делает выбор, особенно там, где ковариаты очень коррелированы. Невозможно быть по-настоящему уверенным, не увидев подходящих коэффициентов, но легко предположить, что среди этих взаимосвязанных функций многие были просто бесполезны.