Основной вопрос о информационной матрице Фишера и связи с гессианскими и стандартными ошибками

54

Хорошо, это довольно простой вопрос, но я немного запутался. В своей диссертации я пишу:

Стандартные ошибки могут быть найдены путем вычисления обратного корня квадратного из диагональных элементов (наблюдаемой) информационной матрицы Фишера:

Так как команда оптимизации в R сводитминимуму(наблюдаемые) Фишера Информационная матрица может быть найдена путем вычисления обратной гессианом:

\begin{aligned} s_{\hat{μ}, {\hat{σ}}^{2}} знак равно \frac{1}{\sqrt{я (\hat{μ}, {\hat{σ}}^{2})}} \end{aligned}

$\begin{align*} s_{\hat{\mu},\hat{\sigma}^2}=\frac{1}{\sqrt{\mathbf{I}(\hat{\mu},\hat{\sigma}^2)}} \end{align*}$

- \log L

$-\log\mathcal{L}$

\begin{aligned} я (\hat{μ}, {\hat{σ}}^{2}) знак равно {ЧАС}^{- 1} \end{aligned}

$\begin{align*} \mathbf{I}(\hat{\mu},\hat{\sigma}^2)=\mathbf{H}^{-1} \end{align*}$

Мой главный вопрос: это правильно, что я говорю ?

Я немного растерялся, потому что в этом источнике на странице 7 говорится:

Информационная матрица отрицательна от ожидаемого значения гессенской матрицы

(Так что нет обратного гессиана.)

Принимая во внимание, что в этом источнике на странице 7 (сноска 5) говорится:

Наблюдаемая информация Фишера равна . $(-H)^{-1}$

(Так вот обратное.)

Я знаю о знаке минус и когда его использовать, а когда нет, но почему есть разница в принятии обратного или нет?

maximum-likelihood fisher-information

— Джен Боолд
источник

@COOLSerdash Спасибо за ваши исправления и +1, но этот источник: unc.edu/~monogan/computing/r/MLE_in_R.pdf Стр. 7 ясно говорит, что наблюдаемая информация о Фишере равна ОБРАТНОЙ форме гессиана?

— Джен Боолд

@COOLSerdash Хорошо, вы можете опубликовать это как ответ.

— Джен Боолд,

75

Юди Павитан пишет в своей книге « По всей вероятности», что второй производной логарифмического правдоподобия, оцененного по оценкам максимального правдоподобия (MLE), является наблюдаемая информация Фишера (см. Также этот документ , стр. 2). Это именно то , что большинство алгоритмов оптимизации , как optimв Rсвою очередь: Гессе оценивается в ОМП. Когда отрицательныйлогарифмическая вероятность минимальна, отрицательный гессиан возвращается. Как вы правильно заметили, оцененные стандартные ошибки MLE представляют собой квадратные корни диагональных элементов, обратных к наблюдаемой информационной матрице Фишера. Другими словами: квадратные корни диагональных элементов обратного гессиана (или отрицательного гессиана) являются оценочными стандартными ошибками.

Резюме

Отрицательный гессиан, оцененный в MLE, совпадает с наблюдаемой информационной матрицей Фишера, оцененной в MLE.
Относительно вашего основного вопроса: Нет, это не правильно, что наблюдаемая информация Фишера может быть найдена путем обращения (отрицательного) гессиана.
Относительно вашего второго вопроса: обратный (отрицательный) гессиан является оценкой асимптотической ковариационной матрицы. Следовательно, квадратные корни диагональных элементов ковариационной матрицы являются оценками стандартных ошибок.
Я думаю, что второй документ, на который вы ссылаетесь, ошибся.

Формально

$l(\theta)$ $\mathbf{I}(\theta)$ $(p\times p)$

я (θ) знак равно - \frac{\partial^{2}}{\partial θ_{я} \partial θ_{J}} L (θ), 1 \leq я, J \leq п

$\mathbf{I}(\theta)=-\frac{\partial^{2}}{\partial\theta_{i}\partial\theta_{j}}l(\theta),~~~~ 1\leq i, j\leq p$

I ({\hat{θ}}_{M L})

$\mathbf{I}(\hat{\theta}_{\mathrm{ML}})$

ЧАС (θ) знак равно \frac{\partial^{2}}{\partial θ_{я} \partial θ_{J}} L (θ), 1 \leq я, J \leq п

$\mathbf{H}(\theta)=\frac{\partial^{2}}{\partial\theta_{i}\partial\theta_{j}}l(\theta),~~~~ 1\leq i, j\leq p$

В a р ({\hat{θ}}_{M L}) знак равно [я ({\hat{θ}}_{M L})]^{- 1}

$\mathrm{Var}(\hat{\theta}_{\mathrm{ML}})=[\mathbf{I}(\hat{\theta}_{\mathrm{ML}})]^{-1}$

{\hat{θ}}_{M L} \overset{a}{~} N (θ_{0}, [я ({\hat{θ}}_{M L})]^{- 1})

$\hat{\theta}_{\mathrm{ML}}\stackrel{a}{\sim}\mathcal{N}\left(\theta_{0}, [\mathbf{I}(\hat{\theta}_{\mathrm{ML}})]^{-1}\right)$

θ_{0}

$\theta_{0}$

S Е ({\hat{θ}}_{M L}) знак равно \frac{1}{\sqrt{я ({\hat{θ}}_{M L})}}

$\mathrm{SE}(\hat{\theta}_{\mathrm{ML}})=\frac{1}{\sqrt{\mathbf{I}(\hat{\theta}_{\mathrm{ML}})}}$

— COOLSerdash
источник

1

следует сказать «когда отрицательное логарифмическое правдоподобие сведено к минимуму » (или оптимизировано ).

— Cmo

8

I (θ) = E I (θ)

$\mathcal{I}(\theta)=\operatorname{E}I(\theta)$

I (θ)

$I(\theta)$

θ

$\theta$

I (θ) = I (θ)

$\mathcal{I}(\theta)=I(\theta)$

— Scortchi - Восстановить Монику

6

Оценка функций правдоподобия влечет за собой двухэтапный процесс.

Сначала объявляется функция логарифмического правдоподобия. затем оптимизируются функции логарифмического правдоподобия. Все в порядке.

$-1*l$ $l$

$(-H)^-1$

— Аделино Мартинс
источник