Экспоненциальная семья: наблюдаемая и ожидаемая достаточная статистика

Мой вопрос возникает из прочтения чтения Минки «Оценка распределения Дирихле» , в котором без доказательств говорится следующее в контексте получения оценки максимального правдоподобия для распределения Дирихле на основе наблюдений случайных векторов:

Как всегда в случае экспоненциального семейства, когда градиент равен нулю, ожидаемые достаточные статистические данные равны наблюдаемым достаточным статистическим данным.

Я не видел оценки максимального правдоподобия в экспоненциальной семье, представленной таким образом, и я не нашел подходящих объяснений в своем поиске. Может ли кто-то предложить понимание взаимосвязи между наблюдаемой и ожидаемой достаточной статистикой и, возможно, помочь понять оценку максимального правдоподобия как минимизирующую их разницу?

Это обычное утверждение об экспоненциальной семье, но, по моему мнению, в большинстве случаев оно сформулировано таким образом, что может смутить менее опытного читателя. Потому что, взятый по номиналу, это можно интерпретировать как выражение «если наша случайная переменная следует распределению в семействе экспонент, то если мы возьмем выборку и вставим ее в достаточную статистику, мы получим истинное ожидаемое значение статистики ». Если бы это было так ... Более того, в нем не учитывается размер выборки, что может вызвать дальнейшую путаницу.

Экспоненциальная функция плотности

$$f_X(x) = h(x)e^{\eta(\theta) T(x)}e^{-A(\theta)} \tag{1}$$

где - достаточная статистика.$T(x)$

Поскольку это плотность, она должна интегрироваться в единицу, поэтому ( является опорой X )$S_x$$X$

$$\int_{S_x} h(x)e^{\eta(\theta) T(x)}e^{-A(\theta)}dx =1 \tag{2}$$

Eq. выполняется для всех θ, поэтому мы можем дифференцировать обе стороны относительно него:$(2)$$\theta$

$$\frac {\partial}{\partial \theta} \int_{S_x} h(x)e^{\eta(\theta) T(x)}e^{-A(\theta)}dx =\frac {\partial (1)}{\partial \theta} =0 \tag{3}$$

Меняя порядок дифференцирования и интегрирования, получаем

$$\int_{S_x} \frac {\partial}{\partial \theta} \left(h(x)e^{\eta(\theta) T(x)}e^{-A(\theta)}\right)dx =0 \tag{4}$$

Проводя дифференцирование, мы имеем

$$\frac {\partial}{\partial \theta} \left(h(x)e^{\eta(\theta) T(x)}e^{-A(\theta)}\right) = f_X(x)\big[T(x)\eta'(\theta) - A'(\theta)\big] \tag{5}$$

Вставляя в ( 4 ) получаем$(5)$$(4)$

$$\int_{S_x} f_X(x)\big[T(x)\eta'(\theta) - A'(\theta)\big]dx =0$$

$$\Rightarrow \eta'(\theta)E[T(X)] - A'(\theta) = 0 \Rightarrow E[T(X)] = \frac {A'(\theta)}{\eta'(\theta)} \tag{6}$$

Теперь мы спрашиваем: левая часть является действительным числом. Таким образом, правая часть также должна быть действительным числом, а не функцией . Следовательно, он должен оцениваться при конкретном θ , и это должно быть «истинное» θ , иначе в левой части мы не получили бы истинное ожидаемое значение T ( X ) . Чтобы подчеркнуть это, мы обозначаем истинное значение через θ 0 и переписываем ( 6 ) как$(6)$$\theta$$\theta$$T(X)$$\theta_0$$(6)$

$$E_{\theta_0}[T(X)] = \frac {A'(\theta)}{\eta'(\theta)}\Big |_{\theta =\theta_0} \tag{6a}$$

Теперь перейдем к оценке максимального правдоподобия . Логарифмическая вероятность для выборки размера равна$n$

$$L(\theta \mid \mathbf x) = \sum_{i=1}^n\ln h(x_i) +\eta(\theta)\sum_{i=1}^nT(x_i) -nA(\theta)$$

Полагая его производную по равной 0, получим MLE$\theta$$0$

$$\hat \theta(x) : \frac 1n\sum_{i=1}^nT(x_i) = \frac {A'(\theta)}{\eta'(\theta)}\Big |_{\theta =\hat \theta(x)} \tag {7}$$

Сравните с ( 6 а ) . Правые части не равны, так как мы не можем утверждать, что оценщик MLE достиг истинного значения. Так что ни левые стороны. Но помните, что уравнение 2 справедливо для всех & thetas и поэтому для & thetas также. Таким образом, шаги в уравнении 3 , 4 , 5 , 6 могут быть приняты по отношению к & thetas ; и таким образом , мы можем написать экв. 6 для & thetas :$(7)$$(6a)$$2$ $\theta$$\hat \theta$$3,4,5,6$$\hat \theta$$6a$$\hat \theta$

$$E_{\hat\theta(x)}[T(X)] = \frac {A'(\theta)}{\eta'(\theta)}\Big |_{\theta =\hat\theta(x)} \tag{6b}$$

что в сочетании с приводит нас к верному соотношению$(7)$

$$E_{\hat\theta(x)}[T(X)] = \frac 1n\sum_{i=1}^nT(x_i)$$

$\hat \theta(x)$$\theta$$\mathbf x$

$n=1$