Оценка R-квадрата и статистической значимости по модели регрессионного наказания

Я использую пакет R, оштрафованный для получения сокращенных оценок коэффициентов для набора данных, где у меня много предикторов и мало известно о том, какие из них важны. После того, как я выбрал параметры настройки L1 и L2 и доволен своими коэффициентами, есть ли статистически обоснованный способ суммирования соответствия модели с чем-то вроде R-квадрата?

Кроме того, я заинтересован в тестировании общей значимости модели (т.е. R² = 0 или все = 0).

Я прочитал ответы на аналогичный вопрос, заданный здесь , но он не совсем ответил на мой вопрос. Там отличный учебник по пакету R , который я использую здесь , и автор Джелла Goeman имел следующее примечание в конце урока относительно доверительных интервалов из оштрафованных моделей регрессии:

Это очень естественный вопрос - спросить о стандартных ошибках коэффициентов регрессии или других оценочных величин. В принципе, такие стандартные ошибки могут быть легко вычислены, например, с помощью начальной загрузки.

Тем не менее, этот пакет намеренно не предоставляет их. Причина этого заключается в том, что стандартные ошибки не очень значимы для сильно смещенных оценок, например, возникающих из-за штрафных методов оценки. Оштрафованная оценка - это процедура, которая уменьшает дисперсию оценок путем введения существенного смещения. Таким образом, смещение каждой оценки является основным компонентом его среднеквадратичной ошибки, тогда как ее дисперсия может вносить лишь небольшую часть.

К сожалению, в большинстве случаев применения регрессионного наказания невозможно получить достаточно точную оценку смещения. Любые расчеты, основанные на бутстрапе, могут дать только оценку дисперсии оценок. Надежные оценки смещения доступны только при наличии надежных несмещенных оценок, что обычно не имеет место в ситуациях, когда используются штрафные оценки.

Поэтому сообщение о стандартной ошибке оштрафованной оценки рассказывает только часть истории. Это может создать ошибочное впечатление высокой точности, полностью игнорируя неточность, вызванную смещением. Конечно, ошибочно делать заявления о достоверности, которые основаны только на оценке дисперсии оценок, как это делают доверительные интервалы на основе бутстрапа.

— Стивен Тернер
источник

Конечно, один из способов быстро получить оценку R-квадрата - это подобрать линейную модель, прогнозирующую подобранные значения по исходным данным, и взять R-квадрат из этого. Но, похоже, это будет массовая переоценка и предвзятая оценка R-квадрата.

— Стивен Тернер

Я добавляю это в качестве комментария, так как я задаю «похожий» вопрос в соседнем сообщении (поэтому я не знаю, отвечаю ли я критериям ответа ), но для вашего вопроса, в частности, кажется, что вы можете вычислить R-квадрат, не требуя каких-либо предположения о распределении (хотя они необходимы для проверки гипотез обычным способом). Разве вы не можете использовать набор задержки для вычисления r-квадрата или использовать проверку k-кратности, если у вас недостаточно данных (при каждом фолде запускайте полный штрафной процесс и усредняйте r-квадраты из каждого из фолдов не используется в примерке)?

— B_Miner

@B_Miner, перекрестная проверка в

кратном выражении имеет тенденцию давать довольно смещенные оценки

, так как обычно она не оценивает истинное количество интереса. Многие (большинство?) Похожие процедуры имеют одну и ту же проблему.

k

$k$

R^{2}

$R^2$

— кардинал

R^{2}

$R^2$

R^{2}

$R^2$

R^{2}

$R^2$

R^{2}

$R^2$

Ответы:

Моя первая реакция на комментарии Джелле - «предвзятость». Вы должны быть осторожны с тем, что вы подразумеваете под «большим количеством предсказателей». Это может быть «большим» в отношении:

Количество точек данных («большой р маленький п»)
Количество времени, которое вы должны исследовать переменные
Вычислительная стоимость обращения гигантской матрицы

Моя реакция была основана на «большом» по отношению к пункту 1. Это потому, что в этом случае обычно стоит компенсировать предвзятость за уменьшение дисперсии, которое вы получаете. Уклон важен только в долгосрочной перспективе. Так что, если у вас есть небольшая выборка, то кого волнует «долгосрочная перспектива»?

$R^2$ $R^2$

В идеале эта «ошибка прогнозирования» должна основываться на контексте вашей моделирующей ситуации. Вы в основном хотите ответить на вопрос «Насколько хорошо моя модель воспроизводит данные?». Контекст вашей ситуации должен быть в состоянии сказать вам, что означает «насколько хорошо» в реальном мире. Затем вам нужно перевести это в какое-то математическое уравнение.

P R E S S = \sum_{i = 1}^{N} (Y_{i} - {\hat{Y}}_{i, - i})^{2}

$PRESS=\sum_{i=1}^{N} (Y_{i}-\hat{Y}_{i,-i})^2$

{\hat{Y}}_{i, - i}

$\hat{Y}_{i,-i}$

Y_{i}

$Y_{i}$

Y_{i}

$Y_i$

N

$N$

T

$T$

M

$M$

G = \frac{T}{M}

$G=\frac{T}{M}$

N_{g} = \frac{N \times M}{T}

$N_{g}=\frac{N\times M}{T}$

P R E S S = \sum_{g = 1}^{G} \sum_{i = 1}^{N_{g}} (Y_{i g} - {\hat{Y}}_{i g, - g})^{2}

$PRESS=\sum_{g=1}^{G}\sum_{i=1}^{N_{g}} (Y_{ig}-\hat{Y}_{ig,-g})^2$

\frac{β_{L A S S O}}{β_{U N C O N S T R A I N E D}}

$\frac{\beta_{LASSO}}{\beta_{UNCONSTRAINED}}$

— probabilityislogic
источник

k

$k$

p > n

$p > n$

> 1

$> 1$

Пакет R hdm и пакет lataopack пакета Stata поддерживают совместный тест значимости для лассо. Теория допускает, что количество предикторов будет большим по сравнению с количеством наблюдений. Теория, лежащая в основе теста, и способы ее применения кратко описаны в документации по hdm . Короче говоря, он основан на системе теоретического наказания (разработанной Беллони, Черножуковым и Хансеном и др.). Эта статья является хорошей отправной точкой, если вы хотите узнать больше о лежащей в основе теории. Единственным недостатком является то, что тест работает только для лассо и (квадратный корень лассо). Не для других наказанных методов регрессии.

Беллони А., Чен Д., Черножуков В. и Хансен С. (2012). Разреженные модели и методы для оптимальных инструментов с применением в выдающейся области. Econometrica, 80: 2369-2429.

— aahr1
источник

пожалуйста, добавьте полную ссылку на документ (ссылка может умереть)

— Антуан