Сэндвич оценщик интуиции

Википедия и виньетка R-сэндвич-пакетов дают хорошую информацию о допущениях, подтверждающих стандартные ошибки коэффициента OLS, и математических основах сэндвич-оценок. Мне все еще неясно, как решается проблема гетероскедастичности остатков, возможно потому, что я не совсем понимаю стандартную оценку дисперсии коэффициентов OLS.

Какова интуиция за сэндвич-оценщиком?

— Роберт Кубрик
источник

Вам нужно больше узнать о оценке (или оценке экстремума, как ее иногда называют в эконометрике). Сэндвич-оценка для регрессии - это всего лишь частный случай очень общей формулы дельта-метода, и если вы понимаете последнее, у вас не возникнет никаких проблем с первым. Нет никакой интуиции в том, что сэндвич-оценщик не пытается моделировать гетероскедастичность или делать что-то конкретное с этим; это просто другой оценщик дисперсии, который работает в более общем наборе предположений, чем стандартный оценщик OLS.

M

$M$

— StasK

@StasK Спасибо! Вы знаете какой-нибудь конкретный хороший ресурс по формулам M-оценки и дельта-метода?

— Роберт Кубрик

Монография Роберта Хьюбера "Надежная статистика" заслуживает внимания.

— Momo

Для OLS вы можете себе представить, что вы используете расчетную дисперсию невязок (в предположении независимости и гомоскедастичности) в качестве оценки условной дисперсии s. В оценщике на основе сэндвича вы используете наблюдаемые квадратичные невязки в качестве плагина для оценки той же самой дисперсии, которая может варьироваться между наблюдениями. $Y_i$

var (\hat{β}) = {(X^{T} X)}^{- 1} (X^{T} diag (var (Y | X)) X) {(X^{T} X)}^{- 1}

$\begin{equation} \mbox{var}\left(\hat{\beta}\right) = \left(X^TX\right)^{-1}\left(X^T\mbox{diag}\left(\mbox{var}\left(Y|X\right)\right)X\right)\left(X^TX\right)^{-1} \end{equation}$

В обычной оценке стандартной ошибки наименьших квадратов для оценки коэффициента регрессии условная дисперсия результата рассматривается как постоянная и независимая, так что ее можно оценить последовательно.

{\hat{var}}_{O L S} (\hat{β}) = {(X^{T} X)}^{- 1} (r^{2} X^{T} X) {(X^{T} X)}^{- 1}

$\begin{equation} \widehat{\mbox{var}}_{OLS}\left(\hat{\beta}\right) = \left(X^TX\right)^{-1}\left(r^2X^TX\right)\left(X^TX\right)^{-1} \end{equation}$

Для сэндвича мы отказываемся от согласованной оценки условной дисперсии и вместо этого используем плагиновую оценку дисперсии каждого компонента с использованием квадрата остатка

{\hat{var}}_{R S E} (\hat{β}) = {(X^{T} X)}^{- 1} (X^{T} diag (r_{i}^{2}) X) {(X^{T} X)}^{- 1}

$\begin{equation} \widehat{\mbox{var}}_{RSE}\left(\hat{\beta}\right) = \left(X^TX\right)^{-1}\left(X^T\mbox{diag}\left(r_i^2\right)X\right)\left(X^TX\right)^{-1} \end{equation}$

Используя оценку дисперсии плагина, мы получаем непротиворечивые оценки дисперсии по центральной предельной теореме Ляпунова. $\hat{\beta}$

Интуитивно понятно, что эти наблюдаемые квадратные остатки уничтожат любую необъяснимую ошибку из-за гетероскедастичности, которая в противном случае была бы неожиданной в предположении постоянной дисперсии.

— Adamo
источник

Это твой последний абзац, который мне трудно понять. Можешь проиллюстрировать?

— Роберт Кубрик

Это не SE в ваших формулах, AdamO, это SE ^ 2 ... каким бы матричным способом вы ни подразумевали это.

— StasK

@StasK Хорошая мысль. Может быть, шляпа дисперсии лучше. Я путал многомерную и одномерную терминологию.

— AdamO

@RobertKubrick В последнем абзаце я отмечаю, что ключевое различие в оценках заключается в том, как мы представляем условную дисперсию члена . В модели линейной регрессии мы последовательно оцениваем невязки, но с помощью сэндвича мы просто используем плагиновую оценку условной дисперсии для члена с использованием квадратов невязок. При наличии гетероскедастичности точки с относительно большими квадратами невязок имеют соответствующую большую оценочную дисперсию, и это уменьшает их влияние на стандартные оценки ошибок.

var (Y | X)

$\mbox{var}(Y|X)$

i

$i$

— AdamO

Редактировать: я сказал, что оценки OLS var включают в себя «непротиворечивые оценки невязок», когда я хотел сказать «непротиворечивая оценка дисперсии невязок».

— AdamO