В линейной регрессии, почему регуляризация штрафует также значения параметров?

В настоящее время я изучаю регрессию гребня, и меня немного смущает вопрос о наказании за более сложные модели (или определение более сложной модели).

Из того, что я понимаю, сложность модели не обязательно соотносится с полиномиальным порядком. Итак: - более сложная модель, чем:

И я знаю, что цель регуляризации состоит в том, чтобы поддерживать сложность модели на низком уровне, например, у нас есть полином 5-го порядка

Чем больше параметров, тем лучше.

Но что я не понимаю, так это если полиномиал того же порядка, почему более низкие значения параметров штрафуются меньше? Так почему бы:

Спасибо!

значения параметров просто зависят от данных

Это ключевая часть вашего вопроса. Это где вы запутались.

Да, значения параметров зависят от данных. Но данные фиксируются, когда мы подгоняем модель. Другими словами, мы подходим к модели, обусловленной наблюдениями . Нет смысла сравнивать сложность разных моделей, которые были приспособлены к разным наборам данных .

И в контексте фиксированного набора данных, модель

действительно ближе к простейшей возможной модели, а именно модели плоского нуля, чем

и это справедливо независимо от масштаба ваших наблюдений.

Между прочим, пересечение ( и в вашем примере) часто не наказывается, например, в большинстве формулировок Лассо, потому что мы, как правило, хорошо позволяем ему свободно варьироваться для получения общего среднего значения наблюдений. Другими словами, мы сжимаем модель к среднему значению наблюдений, а не к полной модели с нулем (где ноль часто бывает произвольным). В этом смысле плоская модель и плоская модель будут считаться одинаково сложными.$2$$433$$2$$433$