Почему информационная матрица Фишера является положительной полуопределенной?

18

Пусть . Информационная матрица Фишера определяется как: $\theta \in R^{n}$

I (θ)_{i, j} = - E [\frac{\partial^{2} \log (f (X | θ))}{\partial θ_{i} \partial θ_{j}} | θ]

$I(\theta)_{i,j} = -E\left[\frac{\partial^{2} \log(f(X|\theta))}{\partial \theta_{i} \partial \theta_{j}}\bigg|\theta\right]$

Как я могу доказать, что информационная матрица Фишера является положительной полуопределенной?

inference linear-algebra fisher-information

— madprob
источник

7

Разве это не ожидаемая ценность внешнего произведения партитуры с самим собой?

— Нил Г

19

Проверьте это: http://en.wikipedia.org/wiki/Fisher_information#Matrix_form

Из определения мы имеем

я_{я J} знак равно Е_{θ} [(\partial_{я} журнал е_{Икс | Θ} (Икс | θ)) (\partial_{J} журнал е_{Икс | Θ} (Икс | θ))],

$I_{ij} = \mathrm{E}_\theta \left[ \left(\partial_i \log f_{X\mid\Theta}(X\mid\theta)\right) \left(\partial_j \log f_{X\mid\Theta}(X\mid\theta)\right)\right] \, ,$ для, в котором. Ваше выражение дляследует из этого в условиях регулярности.

i, j = 1, \dots, k

$i,j=1,\dots,k$

\partial_{i} = \partial / \partial θ_{i}

$\partial_i=\partial /\partial \theta_i$

I_{i j}

$I_{ij}$

Для ненулевой вектор $u = (u_1,\dots,u_k)^\top\in\mathbb{R}^n$ , то из линейности в надежде , что

\sum_{i, j = 1}^{k} u_{i} I_{i j} u_{j} = \sum_{i, j = 1}^{k} (u_{i} E_{θ} [(\partial_{i} \log f_{X ∣ Θ} (X ∣ θ)) (\partial_{j} \log f_{X ∣ Θ} (X ∣ θ))] u_{j}) = E_{θ} [(\sum_{i = 1}^{k} u_{i} \partial_{i} \log f_{X ∣ Θ} (Икс | θ)) (Σ_{J знак равно 1}^{К} U_{J} \partial_{J} журнал е_{Икс | Θ} (Икс | θ))] знак равно Е_{θ} [{(Σ_{я знак равно 1}^{К} U_{я} \partial_{я} журнал е_{Икс | Θ} (Икс | θ))}^{2}] \geq 0,

$\sum_{i,j=1}^k u_i I_{ij} u_j = \sum_{i,j=1}^k \left( u_i \mathrm{E}_\theta \left[ \left(\partial_i \log f_{X\mid\Theta}(X\mid\theta)\right) \left(\partial_j \log f_{X\mid\Theta}(X\mid\theta)\right)\right] u_j \right) \\ = \mathrm{E}_\theta \left[ \left(\sum_{i=1}^k u_i \partial_i \log f_{X\mid\Theta}(X\mid\theta)\right) \left(\sum_{j=1}^k u_j \partial_j \log f_{X\mid\Theta} (X\mid\theta)\right)\right] \\ = \mathrm{E}_\theta \left[ \left(\sum_{i=1}^k u_i \partial_i \log f_{X\mid\Theta}(X\mid\theta)\right)^2 \right] \geq 0 \, .$

Если это компонентное обозначение слишком уродливо, обратите внимание, что информационная матрица Фишера $H=(I_{ij})$ может быть записана как $H = \mathrm{E}_\theta\left[S S^\top\right]$ , в которой вектор $S$ оценок определяется как

S = {(\partial_{1} \log f_{X ∣ Θ} (X ∣ θ), \dots, \partial_{k} \log f_{X ∣ Θ} (X ∣ θ))}^{⊤} .

$S = \left( \partial_1 \log f_{X\mid\Theta}(X\mid\theta), \dots, \partial_k \log f_{X\mid\Theta}(X\mid\theta) \right)^\top \, .$

Следовательно, мы имеем однострочник

U^{⊤} ЧАС U знак равно U^{⊤} Е_{θ} [S S^{⊤}] U знак равно Е_{θ} [U^{⊤} S S^{⊤} U] знак равно Е_{θ} [| | S^{⊤} U | |^{2}] \geq 0.

$u^\top H u = u^\top \mathrm{E}_\theta[S S^\top] u = \mathrm{E}_\theta[u^\top S S^\top u] = \mathrm{E}_\theta\left[|| S^\top u ||^2\right] \geq 0.$

— Zen
источник

3

(+1) Хороший ответ и добро пожаловать обратно, дзен. Я забеспокоился, что мы могли бы навсегда потерять тебя, учитывая продолжительность твоего перерыва. Это было бы настоящим позором!

— кардинал

5

ВНИМАНИЕ: не общий ответ!

$f(X|\theta)$

— гусль
источник