Почему именно используется наблюдаемая информация Фишера?

17

В стандартной настройке максимального правдоподобия (iid sample из некоторого распределения с плотностью )) и в случае правильно заданной модели информация Фишера задается как $Y_{1}, \ldots, Y_{n}$ $f_{y}(y|\theta_{0}$

I (θ) = - E_{θ_{0}} [\frac{\partial^{2}}{θ^{2}} \ln f_{y} (θ)]

$I(\theta) = -\mathbb{E}_{\theta_{0}}\left[\frac{\partial^{2}}{\theta^{2}}\ln f_{y}(\theta) \right]$

где ожидание берется относительно истинной плотности, которая генерировала данные. Я прочитал, что наблюдаемая информация Фишера

\hat{J} (θ) = - \frac{\partial^{2}}{θ^{2}} \ln f_{y} (θ)

$\hat{J}(\theta) = -\frac{\partial^{2}}{\theta^{2}}\ln f_{y}(\theta)$

используется первично, потому что интеграл, участвующий в вычислении (ожидаемой) информации Фишера, в некоторых случаях может оказаться невозможным. Что меня смущает, так это то, что даже если интеграл выполним, нужно рассчитывать на истинную модель, которая включает неизвестное значение параметра . Если это так , то оказывается , что , не зная , невозможно вычислить . Это правда? $\theta_{0}$ $\theta_{0}$ $I$

maximum-likelihood fisher-information

— user2249626
источник

13

У вас есть четыре quanties здесь: истинный параметр & , последовательная оценка & , ожидаемая информация при & и наблюдаемая информация при & . Эти величины асимптотически эквивалентны, но, как правило, они используются. $\theta_0$ $\hat \theta$ $I(\theta)$ $\theta$ $J(\theta)$ $\theta$

Наблюдаемая информация сходится по вероятности к ожидаемой информации
$J (θ_{0}) = \frac{1}{N} \sum_{i = 1}^{N} \frac{\partial^{2}}{\partial θ_{0}^{2}} \ln f (y_{i} | θ_{0})$ $J (\theta_0) = \frac{1}{N} \sum_{i=1}^N \frac{\partial^2}{\partial \theta_0^2} \ln f( y_i|\theta_0)$ когдапредставляет собой IID выборка из . Здесьуказываетожидание ш / г / т распределение индексируется:. Эта сходимость имеет место из-за закона больших чисел, поэтому предположение, что $I (θ_{0}) = E_{θ_{0}} [\frac{\partial^{2}}{\partial θ_{0}^{2}} \ln f (y | θ_{0})]$ $I(\theta_0) = E_{\theta_0} \left[ \frac{\partial^2}{\partial \theta_0^2} \ln f( y| \theta_0) \right]$ $Y$ $f(\theta_0)$ $E_{\theta_0} (x)$ $\theta_0$ $\int x f(x | \theta_0) dx$ здесь решающее значение. $Y \sim f(\theta_0)$
Когда вы получили оценку & , что сходится по вероятности к истинному параметру (т.е. соответствует) , то вы можете заменить его на любое место вы видите выше, в основном из - за непрерывную теорему отображения , и все из схождений продолжают удерживать. $\hat \theta$ $\theta_0$ $\theta_0$ $^*$

На самом деле, это кажетсянемного тонким. $^*$

замечание

Как вы и предполагали, с наблюдаемой информацией обычно легче работать, потому что дифференцирование легче, чем интеграция, и вы, возможно, уже оценили ее в ходе некоторой числовой оптимизации. При некоторых обстоятельствах (нормальное распределение) они будут одинаковыми.

Статья Эфрона и Хинкли (1978) «Оценка точности оценки максимального правдоподобия: наблюдаемая и ожидаемая информация о Фишере» приводит аргумент в пользу наблюдаемой информации для конечных выборок.

— Андрей М
источник

4

Были некоторые симуляционные исследования, которые, кажется, подтверждают теоретические наблюдения Эфрона и Хинкли (которые упоминаются в ответе Эндрю), вот одно, что я знаю не случайно: Мальдонадо, Г. и Гренландия, С. (1994). Сравнение эффективности основанных на модели доверительных интервалов, когда правильная форма модели неизвестна. Эпидемиология, 5, 171-182. Я не видел никаких исследований, которые конфликтуют. Интересно, что известные мне стандартные GLM-пакеты используют ожидаемую информацию для вычисления интервалов Вальда. Конечно, это не проблема, когда (как в GLM, линейных по естественному параметру) наблюдаемая и ожидаемая информационные матрицы равны.

— Сандер Гренландия
источник