Что такое усадка?

13

В некоторых кругах слово «усадка» часто встречается. Но что такое усадка, то здесь нет четкого определения. Если у меня есть временной ряд (или какая-либо коллекция наблюдений какого-либо процесса), как я могу измерить эмпирическую усадку ряда? О каких типах теоретической усадки я могу говорить? Как усадка может помочь в прогнозировании? Могут ли люди дать хорошее представление или рекомендации?

estimation predictive-models shrinkage

— Wintermute
источник

1

Steyergerg: Применение методов в убывания логистического регрессионного анализа: A Case Study и усадке и наказываться вероятности как методы для повышения точности прогноза хорошие места , чтобы начать. Ни один из них не с открытым исходным кодом (я думаю), но Google найдет оригинальные статьи.

— Чарльз

3

Любая форма регуляризации оценки, которая перемещает (сжимает) оценку (обычно к 0 или некоторому другому «нулевому» / известному значению); действительно, регуляризация, которая перемещает набор оценок друг к другу, также является своего рода усадкой (она перемещает параметры, представляющие их различия, в сторону 0). Если вы еще этого не видели, статья в Википедии может оказаться полезной.

— Glen_b

Как насчет эмпирической усадки. Предположим, у меня есть временной ряд, к которому я подгоняю модель. Можно ли говорить о некотором типе усадки между подгонкой образца и выходом из образца?

— Wintermute

2

В 1961 году Джеймс и Стейн опубликовали статью под названием «Оценка с квадратичной потерей» https://projecteuclid.org/download/pdf_1/euclid.bsmsp/1200512173 . Хотя термин «усадка» конкретно не используется, они обсуждают минимаксные оценки для статистических данных с высокой размерностью (фактически даже для местоположения с 3 параметрами), которые имеют меньший риск (ожидаемые потери), чем обычная MLE (каждый компонент в среднем по выборке) для нормальных данных. , Брэдли Эфрон называет их находку «самой яркой теоремой послевоенной математической статистики». Эта статья цитировалась 3310 раз.

Copas в 1983 году пишет первую статью «Регрессия, прогнозирование и усадка», чтобы обозначить термин «усадка». Это неявно определяется в аннотации:

Подход предсказателя регрессии к новым данным почти всегда хуже, чем к исходным данным. Прогнозирование такого сокращения приводит к предикторам типа Стейна, которые при определенных допущениях дают равномерно меньшую среднеквадратичную ошибку прогноза, чем метод наименьших квадратов.

И во всех последующих исследованиях представляется, что сокращение относится к рабочим характеристикам (и их оценкам) для достоверности прогноза и оценки вне выборки в контексте нахождения допустимых и / или минимаксных оценок.

— Adamo
источник

2

Это о регуляризации. Предположим, вы хотите подогнать кривую и использовать функцию квадрата потерь (вы можете выбрать другую). ПоfitВы хотели бы восстановить параметры, которые управляют процессом, который генерировал эту кривую. Теперь представьте, что вы хотите подогнать эту кривую, используя 100-й полином (например). Скорее всего, вы собираетесь надеть или захватить каждый излом и шум кривой. Кроме того, ваши возможности прогнозирования вне заданного интервала обучающих данных, вероятно, будут очень плохими. Таким образом, термин регуляризации добавляется к целевой функции с некоторым весом, умноженным на коэффициент регуляризации - l_1, l_2 или пользовательский. В случае l_2, который, пожалуй, проще понять, это приведет к тому, что большие значения параметров будут вынуждены уменьшить сокращение. Вы можете думать о регуляризации или сокращении как о том, что ваш алгоритм ведет к решению, которое может быть лучшим решением.

— Владислав Довгальец
источник