Связь между гессенской матрицей и ковариационной матрицей

Пока я изучаю оценку максимального правдоподобия, чтобы сделать вывод в оценке максимального правдоподобия, нам нужно знать дисперсию. Чтобы выяснить разницу, мне нужно знать нижнюю границу Рао Крамера, которая выглядит как гессианская матрица со вторым производным по кривизне. Я вроде как перепутал, чтобы определить связь между ковариационной матрицей и гессианской матрицей. Надеюсь услышать некоторые объяснения по этому вопросу. Простой пример будет оценен.

— user122358
источник

Сначала вы должны проверить этот базовый вопрос о информационной матрице Фишера и связи с гессенскими и стандартными ошибками.

Предположим, у нас есть статистическая модель (семейство распределений) . В наиболее общем случае мы имеем , так что это семейство параметризовано . При определенных условиях регулярности мы имеем $\{f_{\theta}: \theta \in \Theta\}$ $dim(\Theta) = d$ $\theta = (\theta_1, \dots, \theta_d)^T$

I_{i, j} (θ) = - E_{θ} [\frac{\partial^{2} l (X; θ)}{\partial θ_{i} \partial θ_{j}}] = - E_{θ} [H_{i, j} (l (X; θ))]

$I_{i,j}(\theta) = -E_{\theta}\Big[\frac{\partial^2 l(X; \theta)}{\partial\theta_i\partial\theta_j}\Big] = -E_\theta\Big[H_{i,j}(l(X;\theta))\Big]$

где - информационная матрица Фишера (как функция от ), а - наблюдаемое значение (образец) $I_{i,j}$ $\theta$ $X$

L (Икс; θ) знак равно L N (е_{θ} (Икс)), для некоторых θ \in Θ

$l(X; \theta) = ln(f_{\theta}(X)),\text{ for some } \theta \in \Theta$

Таким образом, информационная матрица Фишера представляет собой отрицательное ожидаемое значение гесиана логарифмической вероятности при некотором $\theta$

Теперь предположим, что мы хотим оценить некоторую векторную функцию неизвестного параметра . Обычно желательно, чтобы оценка была несмещенной, т.е. $\psi(\theta)$ $T(X) = (T_1(X), \dots, T_d(X))$

\forall_{θ \in Θ} Е_{θ} [T (Икс)] знак равно ψ (θ)

$\forall_{\theta \in \Theta}\ E_{\theta}[T(X)] = \psi(\theta)$

Крамер Рао нижняя грань гласит , что для каждого несмещенной в удовлетворяет $T(X)$ $cov_{\theta}(T(X))$

с о v_{θ} (T (Икс)) \geq \frac{\partial ψ (θ)}{\partial θ} я^{- 1} (θ) (\frac{\partial ψ (θ)}{\partial θ})^{T} знак равно В (θ)

$cov_{\theta}(T(X)) \ge \frac{\partial\psi(\theta)}{\partial\theta}I^{-1}(\theta)\Big(\frac{\partial\psi(\theta)}{\partial\theta}\Big)^T = B(\theta)$

где для матриц означает, что является положительно-полуопределенным , $A \ge B$ $A - B$ - просто якобиан. Обратите внимание, что если мы оценим, то есть, то выше упрощается $\frac{\partial\psi(\theta)}{\partial\theta}$ $J_{i,j}(\psi)$ $\theta$ $\psi(\theta) = \theta$

с о v_{θ} (T (Икс)) \geq я^{- 1} (θ)

$cov_{\theta}(T(X)) \ge I^{-1}(\theta)$

Но что это говорит нам на самом деле? Например, напомним, что

v a r_{θ} (T_{i} (X)) = [c o v_{θ} (T (Икс))]_{я, я}

$var_{\theta}(T_i(X)) = [cov_{\theta}(T(X))]_{i,i}$

$A$

\forall_{я} A_{я, я} \geq 0

$\forall_i\ A_{i,i} \ge 0$

$B(\theta)$

\forall_{я} v a р_{θ} (T_{я} (Икс)) \geq [В (θ)]_{я, я}

$\forall_i\ var_{\theta}(T_i(X)) \ge [B(\theta)]_{i,i}$

Таким образом, CRLB не говорит нам дисперсию нашей оценки, но является ли наша оценка оптимальной или нет , т.е. имеет ли она наименьшую ковариацию среди всех несмещенных оценок.

— Лукаш Град
источник

Я ценю ваше объяснение здесь. Я на самом деле не математик, но я серьезно изучаю математику. Тем не менее, это все еще выглядит слишком абстрактным для меня. Я надеюсь, что есть простой пример с простыми числами, который определенно поймет это.

— user122358