Вывод в линейной модели с условной гетероскедастичностью

Предположим, я наблюдаю векторы независимых переменных и и зависимую переменную . Я хотел бы соответствовать модели вида: где - некоторая положительнозначная дважды дифференцируемая функция, - неизвестный параметр масштабирования, а - гауссовская случайная переменная с нулевой средней (предполагается, что она не зависит от и ). По сути, это настройка теста гетероскедастичности Кенкера (по крайней мере, насколько я понимаю). $\vec{x}$ $\vec{z}$ $y$

y = {\vec{x}}^{⊤} \vec{β_{1}} + σ g ({\vec{z}}^{⊤} \vec{β_{2}}) ϵ,

$y = \vec{x}^{\top}\vec{\beta_1} + \sigma g\left(\vec{z}^{\top} \vec{\beta_2}\right) \epsilon,$

g

$g$

σ

$\sigma$

ϵ

$\epsilon$

\vec{x}

$\vec{x}$

\vec{z}

$\vec{z}$

У меня есть наблюдений за и , и я хотел бы оценить и . У меня есть несколько проблем: $n$ $\vec{x}, \vec{z}$ $y$ $\vec{\beta_1}$ $\vec{\beta_2}$

Я не уверен, как изобразить проблему оценки как что-то вроде наименьших квадратов (я предполагаю, что есть известный трюк). Мое первое предположение было бы что-то вроде но я Я не уверен, как решить это численно (возможно, итерационный квазиньютоновский метод может сделать). $m i n_{\vec{β_{1}}, \vec{β_{2}}} (\sum_{i = 1}^{n} \frac{{(y_{i} - {\vec{x_{i}}}^{⊤} \vec{β_{1}})}^{2}}{g {({\vec{z_{i}}}^{⊤} \vec{β_{2}})}^{2}}) {(\sum_{i = 1}^{n} \frac{1}{g {({\vec{z_{i}}}^{⊤} \vec{β_{2}})}^{2}})}^{- 1},$ $min_{\vec{\beta_1}, \vec{\beta_2}} \left(\sum_{i=1}^n \frac{\left(y_i - \vec{x_i}^{\top}\vec{\beta_1}\right)^2}{g\left(\vec{z_i}^{\top}\vec{\beta_2}\right)^2}\right)\left(\sum_{i=1}^n \frac{1}{g\left(\vec{z_i}^{\top}\vec{\beta_2}\right)^2}\right)^{-1},$
Предполагая, что я могу поставить проблему в здравом уме и найти некоторые оценки , я хотел бы знать распределение оценок, чтобы, например, я мог выполнять проверки гипотез. Я хотел бы проверить два вектора коэффициентов по отдельности, но предпочел бы какой-нибудь способ проверить, например, для заданного . $\hat{\beta}_1, \hat{\beta}_2$ $H_0: \vec{w_1}^{\top} \vec{\beta_1} + \vec{w_2}^{\top} \vec{\beta_2} \le c$ $\vec{w_1}, \vec{w_2}, c$

— shabbychef
источник

Хороший вопрос. У вас есть представление о том, как выглядит? это гладко? у него есть прыжки? Вместо наименьшего квадрата вы пробовали максимальное правдоподобие (знаете ли вы эту статью projecteuclid.org/… ?)

g

$g$

— Робин Джирард

@robin girard: MLE - хорошая идея для вопроса 1. Я подозреваю, что для ошибок Гаусса MLE даст те же оценки, что и моя специальная минимизация. Что касается , как я уже отметил, мы можем предположить, что оно положительно и дважды дифференцируемо. Вероятно, мы можем предположить, что оно также является выпуклым, и, возможно, мы можем предположить, что оно аналитическое.

g

$g$

— Шаббычеф

В несколько более общем контексте с - мерного вектора -observations (ответов или зависимых переменных), матрица -observations (ковариат или зависимых переменных) и параметры такие, что тогда вероятность минус-логарифма равна В вопросе ОП диагонали с $Y$ $n$ $y$ $X$ $n \times p$ $x$ $\theta = (\beta_1, \beta_2, \sigma)$ $Y \sim N(X\beta_1, \Sigma(\beta_2, \sigma))$

l (β_{1}, β_{2}, σ) = \frac{1}{2} (Y - X β_{1})^{T} Σ (β_{2}, σ)^{- 1} (Y - X β_{1}) + \frac{1}{2} \log | Σ (β_{2}, σ) |

$l(\beta_1, \beta_2, \sigma) = \frac{1}{2}(Y-X\beta_1)^T \Sigma(\beta_2, \sigma)^{-1} (Y-X\beta_1) + \frac{1}{2}\log |\Sigma(\beta_2, \sigma)|$

Σ (β_{2}, σ)

$\Sigma(\beta_2, \sigma)$

Σ (β_{2}, σ)_{i i} = σ^{2} g (z_{i}^{T} β_{2})^{2}

$\Sigma(\beta_2, \sigma)_{ii} = \sigma^2 g(z_i^T \beta_2)^2$ поэтому определителем становится и полученная вероятность минус-логарифмирования становится Существует несколько способов приблизиться к минимизации этой функции (при условии, что три параметра не зависят от изменения).

σ^{2 n} \prod_{i = 1}^{n} g (z_{i}^{T} β_{2})^{2}

$\sigma^{2n} \prod_{i=1}^n g(z_i^T \beta_2)^2$

\frac{1}{2 σ^{2}} \sum_{i = 1}^{n} \frac{(y_{i} - x_{i}^{T} β_{1})^{2}}{g (z_{i}^{T} β_{2})^{2}} + n \log σ + \sum_{i = 1}^{n} \log g (z_{i}^{T} β_{2})

$\frac{1}{2\sigma^2} \sum_{i=1}^n \frac{(y_i-x_i^T\beta_1)^2}{ g(z_i^T \beta_2)^2} + n \log \sigma + \sum_{i=1}^n \log g(z_i^T \beta_2)$

Вы можете попытаться минимизировать функцию с помощью стандартного алгоритма оптимизации, помня об ограничении . $\sigma > 0$
Вы можете вычислить профиль минус логарифмическая вероятность , минимизировав значение over для фиксированного , а затем подключить полученную функцию к стандартному алгоритму оптимизации без ограничений. $(\beta_1, \beta_2)$ $\sigma$ $(\beta_1, \beta_2)$
Вы можете переключаться между оптимизацией по каждому из трех параметров в отдельности. Оптимизация по может быть выполнена аналитически, оптимизация по - это проблема регрессии взвешенных наименьших квадратов, а оптимизация по эквивалентна подгонке линейной гамма-обобщенной модели с обратной связью . $\sigma$ $\beta_1$ $\beta_2$ $g^2$

Последнее предложение мне нравится, потому что оно основано на решениях, которые я уже хорошо знаю. Кроме того, первая итерация - это то, что я хотел бы сделать в любом случае. То есть сначала вычислите начальную оценку помощью обычных наименьших квадратов, игнорируя потенциальную гетероскедастичность, а затем подгоните гамма-блеск к квадратным невязкам, чтобы получить первоначальную оценку просто чтобы проверить, кажется ли более сложной модель стоящей. Итерации, включающие гетероскедастичность в решение наименьших квадратов в качестве весов, могут затем улучшить оценку. $\beta_1$ $\beta_2$ $-$

Что касается второй части вопроса, я, вероятно, рассмотрю возможность вычисления доверительного интервала для линейной комбинации либо с использованием стандартной асимптотики MLE (проверка с помощью симуляций, что асимптотика работает), либо с помощью начальной загрузки. $w_1^T\beta_1 + w_2^T\beta_2$

Редактировать: Под стандартной асимптотикой MLE я имею в виду использование многомерного нормального приближения к распределению MLE с ковариационной матрицей обратной информации Фишера. Информация Фишера по определению является ковариационной матрицей градиента . Это зависит в целом от параметров. Если вы можете найти аналитическое выражение для этой величины, вы можете попробовать подключить MLE. В качестве альтернативы вы можете оценить информацию Фишера по наблюдаемой информации Фишера, которая является гессианом в MLE. Ваш интересующий параметр представляет собой линейную комбинацию параметров в двух $l$ $l$ $\beta$ -векторы, следовательно, из аппроксимирующей многомерной нормали MLE вы можете найти нормальную аппроксимацию распределения оценок, как описано здесь . Это дает вам приблизительную стандартную ошибку, и вы можете вычислить доверительные интервалы. Это хорошо описано во многих (математических) статистических книгах, но разумно доступная презентация, которую я могу порекомендовать, - это « По всей вероятности» Юди Павитан. Во всяком случае, формальный вывод асимптотической теории довольно сложен и опирается на ряд условий регулярности, и он дает только действительную асимптотикуРаспределения. Следовательно, если вы сомневаетесь, я всегда буду делать некоторые симуляции с новой моделью, чтобы проверить, могу ли я доверять результатам для реалистичных параметров и размеров выборки. Простая непараметрическая начальная загрузка, когда вы выбираете тройки из набора наблюдаемых данных с заменой, может быть полезной альтернативой, если процедура подгонки не требует слишком много времени. $(y_i,x_i,z_i)$

— NRH
источник

то , что есть стандартный асимптотик MLE?

— Шаббычеф

@shabbychef, было уже поздно. Я дал более подробное объяснение. Обратите внимание, что для асимптотики, чтобы работать в теории, как объяснено, модель должна быть правильной, и оценщик должен быть MLE. Более общие результаты могут быть получены в рамках общих оценивающих функций и оценивающих уравнений, см., Например, книгу « Квази-правдоподобие и ... » Хейда.

— NRH