Может ли регуляризация быть полезной, если мы заинтересованы только в моделировании, а не в прогнозировании?

Может ли регуляризация быть полезной, если мы заинтересованы только в оценке (и интерпретации) параметров модели, а не в прогнозировании или прогнозировании?

Я вижу, как регуляризация / перекрестная проверка чрезвычайно полезна, если ваша цель состоит в том, чтобы делать хорошие прогнозы на основе новых данных. Но что, если вы занимаетесь традиционной экономикой, и все, что вас волнует, это оценка ? Может ли перекрестная проверка также быть полезной в этом контексте? Концептуальная трудность, с которой я борюсь, заключается в том, что мы можем фактически вычислить на тестовых данных, но мы никогда не сможем вычислить потому что истинное по определению никогда не наблюдается. (Примите как допущение, что существует даже истинная , то есть мы знаем семейство моделей, из которых были сгенерированы данные.)L ( Y , Y ) L ( β , β$\beta$$\mathcal{L}\left(Y, \hat{Y}\right)$$\mathcal{L}\left(\beta, \hat{\beta}\right)$$\beta$$\beta$

Предположим, что ваша потеря . Вы сталкиваетесь с компромиссом дисперсии, верно? Так что, теоретически, вам может быть лучше сделать некоторую регуляризацию. Но как вы можете выбрать свой параметр регуляризации?$\mathcal{L}\left(\beta, \hat{\beta}\right) = \lVert \beta - \hat{\beta} \rVert$

Я был бы рад увидеть простой числовой пример модели линейной регрессии с коэффициентами $\beta \equiv (\beta_1, \beta_2, \ldots, \beta_k)$ , где функция потерь исследователя, например, $\lVert \beta - \hat{\beta} \rVert$ или даже просто $(\beta_1 - \hat{\beta}_1)^2$ . Как на практике можно использовать перекрестную проверку для улучшения ожидаемых потерь в этих примерах?

Изменить : DJohnson указал мне на https://www.cs.cornell.edu/home/kleinber/aer15-prediction.pdf , который имеет отношение к этому вопросу. Авторы пишут, что

Методы машинного обучения ... обеспечивают дисциплинированный способ прогнозирования $\hat{Y}$ который (i) использует сами данные, чтобы решить, как добиться компромисса между отклонениями и (ii), позволяет осуществлять поиск по очень богатому набору переменные и функциональные формы. Но все обходится дорого: нужно всегда помнить, что, поскольку они настроены на $\hat{Y}$ они (без многих других предположений) не дают очень полезных гарантий для $\hat{\beta}$ .

Еще одна важная статья, еще раз спасибо DJohnson: http://arxiv.org/pdf/1504.01132v3.pdf . В этой статье рассматривается вопрос, с которым я боролся выше:

Фундаментальная проблема применения методов машинного обучения, таких как деревья регрессии, готовых к решению проблемы причинно-следственных связей, заключается в том, что подходы к регуляризации, основанные на перекрестной проверке, обычно полагаются на соблюдение «основной истины», то есть фактических результатов. в образце перекрестной проверки. Однако, если наша цель состоит в том, чтобы минимизировать среднеквадратичную ошибку эффектов лечения, мы сталкиваемся с тем, что [11] называет «фундаментальной проблемой причинно-следственной связи»: причинный эффект не наблюдается ни для какой отдельной единицы, и поэтому мы не делаем напрямую иметь основную правду. Мы обращаемся к этому, предлагая подходы для построения объективных оценок среднеквадратичной ошибки причинного эффекта лечения.

Да, когда мы хотим предвзятых оценок низкой дисперсии. Мне особенно нравится пост Гунга. Какую проблему решают методы усадки? Пожалуйста, позвольте мне вставить фигуру Гунга здесь ...

Если вы проверите сюжет, сделанный бандой, вам будет понятно, почему нам нужна регуляризация / усадка. Сначала мне кажется странным, что для чего нам нужны предвзятые оценки? Но, посмотрев на эту цифру, я понял, что у модели с низкой дисперсией есть много преимуществ: например, она более «стабильна» в производственном использовании.

Может ли перекрестная проверка быть полезной, если мы заинтересованы только в моделировании (т.е. оценке параметров), а не в прогнозировании?

Да, оно может. Например, на днях я использовал оценку важности параметров через деревья решений. Каждый раз, когда я строю дерево, я проверяю ошибку перекрестной проверки. Я стараюсь максимально уменьшить ошибку, затем я перейду к следующему этапу оценки важности параметров. Возможно, что первое построенное вами дерево очень плохое и вы не проверите ошибку, у вас будут менее точные (если не ошибочные) ответы.

Основная причина, по моему мнению, связана с большим количеством контрольных переменных, которыми обладает каждая техника. Даже небольшое изменение в одной управляющей переменной даст другой результат.

Как улучшить вашу модель после проверки ошибки перекрестной проверки? Ну, это зависит от вашей модели. Надеемся, что после нескольких попыток вы получите представление о наиболее важных управляющих переменных и сможете манипулировать ими, чтобы найти низкую ошибку.