Что подразумевается под стандартной ошибкой оценки максимального правдоподобия?

Я математик, самостоятельно изучающий статистику и особенно борющийся с языком.

В книге, которую я использую, есть следующая проблема:

Случайная переменная задается как распределяется с . (Конечно, для этого вопроса можно взять любое распределение в зависимости от одного параметра.) Затем приводится выборка из пяти значений , , , , . $X$ $\text{Pareto}(\alpha,60)$ $\alpha>0$ $14$ $21$ $6$ $32$ $2$

Первая часть: «Использование метода максимального правдоподобия, найти оценку из на основе [образец].» Это не было проблемой. Ответ: . $\hat{\alpha}$ $\alpha$ $\hat{\alpha}\approx 4.6931$

Но затем: «Дайте оценку для стандартной ошибки ». $\hat{\alpha}$

Что подразумевается под этим? Поскольку - это просто фиксированное действительное число, я не вижу, каким образом оно может иметь стандартную ошибку. Должен ли я определить стандартное отклонение ? $\hat{\alpha}$ $\text{Pareto}(\hat{\alpha},60)$

Если вы думаете, что вопрос не ясен, эта информация также поможет мне.

maximum-likelihood

— Стефан
источник

Что означает ?

60

$60$

— Алекос Пападопулос

У вас есть формула для ? Это поможет вам оценить его стандартную ошибку.

\hat{α}

$\hat \alpha$

— Soakley

@Glen_b Но если бы это был нижний предел, как могло бы быть так, чтобы все значения реализованной выборки были меньше?

— Алекос Пападопулос

@Alecos Это отличный момент. Мой комментарий не имеет смысла; Я удалил это.

— Glen_b

@Alecos: - это распределение с плотностью .

Pareto (α, λ)

$\text{Pareto}(\alpha,\lambda)$

f (x) = \frac{α λ^{α}}{(λ + x)^{α + 1}}

$f(x)=\frac{\alpha\lambda^\alpha}{(\lambda+x)^{\alpha+1}}$

— Стефан

Ответы:

Другой ответ охватил происхождение стандартной ошибки, я просто хочу помочь вам с обозначениями:

Ваша путаница связана с тем, что в статистике мы используем точно такой же символ для обозначения оценщика (который является функцией) и конкретной оценки (которая является значением, которое оценщик принимает, когда получает в качестве входных данных конкретную реализованную выборку).

Таким образом , и для $\hat \alpha = h(\mathbf X)$ $\hat \alpha(\mathbf X = \mathbf x) = 4.6931$ . Таким образом является функцией случайных величин и так самой случайной величины, чтобезусловноимеет дисперсию. $\mathbf x = \{14,\,21,\,6,\,32,\,2\}$ $\hat \alpha(X)$

При оценке ML во многих случаях мы можем вычислить асимптотическую стандартную ошибку, поскольку распределение оценки по конечной выборке неизвестно (не может быть получено).

Строго не имеет асимптотическое распределение, так как она сходится к действительному числу (истинное число почти во всех случаях оценки ML). Но количество $\hat \alpha$ сходится к нормальной случайной величины (путем применения центральной предельной теоремы). $\sqrt n (\hat \alpha - \alpha)$

Вторая точка нотационной путаницы : большинство, если не все тексты, будут писать ( «аварский» = асимптотическую дисперсию ") , а то , что они имели в виду это $\text {Avar}(\hat \alpha)$ , то есть они относятся к асимптотической дисперсии величины $\text {Avar}(\sqrt n (\hat \alpha - \alpha))$ ,не ... Для случая основного распределения Парето мы имеем $\sqrt n (\hat \alpha - \alpha)$ $\hat \alpha$

Авар [\sqrt{N} (\hat{α} - α)] знак равно α^{2}

$\text {Avar}[\sqrt n (\hat \alpha - \alpha)] = \alpha^2$

и так

Авар (\hat{α}) знак равно α^{2} / N

$\text {Avar}(\hat \alpha ) = \alpha^2/n$

(но то , что вы найдете написанное ) $\text {Avar}(\hat \alpha ) = \alpha^2$

Теперь, в каком смысле оценщик имеет «асимптотическую дисперсию», так как сказано, асимптотически сходится к константе? Ну, в приблизительном смысле и для больших, но конечных выборок. Т.е. где-то между «малой» выборкой, где Оценщик является случайной величиной с (обычно) неизвестным распределением, и «бесконечной» выборкой, где оценщик является постоянной величиной, существует эта «большая, но конечная территория выборки», где Оценщик еще не стал константой, и где его распределение и дисперсия получены окольным путем, сначала используя Центральную предельную теорему, чтобы получить правильно асимптотическое распределение величины $\hat \alpha$ (который является нормальным изза CLT), а затем повернуть вещи вокруг и писать $Z = \sqrt n (\hat \alpha - \alpha)$ (при приеме один шаг назад и леченийкак конечные)который показываеткачестве аффинной функции нормального случайной величины, и поэтому обычно себя распределен (всегда приблизительно). $\hat \alpha = \frac 1{\sqrt n} Z + \alpha$ $n$ $\hat \alpha$ $Z$

— Алекос Пападопулос
источник

+1 для различения между

\hat{α}

$\hat{\alpha}$

- конечнообозначение может быть несовместимыми.

\sqrt{n} (\hat{α} - α)

$\sqrt{n}(\hat{\alpha} - \alpha)$

— Нейт Папа

- это оценка максимального правдоподобия - это функция случайной выборки, и поэтому также случайным(не фиксируется). Оценка стандартной ошибки ; может быть получена из информации Фишера, $\hat{\alpha}$ $\hat{\alpha}$

я (θ) знак равно - Е [\frac{\partial^{2} L (θ | Y знак равно Y)}{\partial θ^{2}} |_{θ}]

$I(\theta) = -\mathbb{E}\left[ \frac{\partial^2 \mathcal{L}(\theta|Y = y)}{\partial \theta^2}|_\theta \right]$

Где - параметр, а - логарифмическая функция правдоподобия условная для случайной выборки . Интуитивно понятно, что информация Фишера указывает крутизну кривизны логарифмической поверхности правдоподобия вокруг MLE и, таким образом, количество «информации», которую обеспечивает около . $\theta$ $\mathcal{L}(\theta|Y = y)$ $\theta$ $y$ $y$ $\theta$

Для распределения с одной реализацией логарифмическая вероятность, где , известна: $\mathrm{Pareto}(\alpha,y_0)$ $Y = y$ $y_0$

Подсоединение к определению информации Фишера,

\begin{aligned} L (α | Y, Y_{0}) & знак равно журнал α + α журнал Y_{0} - (α + 1) журнал Y \\ L^{'} (α | Y, Y_{0}) & знак равно \frac{1}{α} + журнал Y_{0} - журнал Y \\ L^{"} (α | Y, Y_{0}) & знак равно - \frac{1}{α^{2}} \end{aligned}

$\begin{aligned} \mathcal{L}(\alpha|y,y_0) &= \log \alpha + \alpha \log y_0 - (\alpha + 1) \log y \\ \mathcal{L}'(\alpha|y,y_0) &= \frac{1}{\alpha} + \log y_0 - \log y \\ \mathcal{L}''(\alpha|y,y_0) &= -\frac{1}{\alpha^2} \end{aligned}$

Для образца

максимального правдоподобия оценки

асимптотически распределены

я (α) знак равно \frac{1}{α^{2}}

$I(\alpha) = \frac{1}{\alpha^2}$

{y_{1}, y_{2}, . . ., y_{n}}

$\{y_1, y_2, ..., y_n\}$

\hat{α}

$\hat{\alpha}$

где

- размер выборки. Поскольку

неизвестно, можно подключить

чтобы получить оценку стандартной ошибки:

\begin{aligned} \hat{α} \overset{N \to \infty}{~} N (α, \frac{1}{N я (α)}) знак равно N (α, \frac{α^{2}}{N}), \end{aligned}

$\begin{aligned} \hat{\alpha} \overset{n \rightarrow \infty}{\sim} \mathcal{N}(\alpha,\frac{1}{nI(\alpha)}) = \mathcal{N}(\alpha,\frac{\alpha^2}{n}),~ \end{aligned}$

n

$n$

α

$\alpha$

\hat{α}

$\hat{\alpha}$

S Е (\hat{α}) \approx \sqrt{{\hat{α}}^{2} / N} \approx \sqrt{{4,6931}^{2} / 5} \approx 2,1

$\mathrm{SE}(\hat{\alpha}) \approx \sqrt{\hat{\alpha}^2/n} \approx \sqrt{4.6931^2/5} \approx 2.1$

— Нейт Папа
источник

\begin{aligned} \hat{α} \overset{n \to \infty}{\sim} N (α, \frac{1}{n I (α)}) \end{aligned}

$\begin{aligned} \hat{\alpha} \overset{n \rightarrow \infty}{\sim} \mathcal{N}(\alpha,\frac{1}{nI(\alpha)}) \end{aligned}$

n \to \infty

$n \to \infty$

n

$n$

\begin{aligned} \hat{α} \dot{\approx} N (α, \frac{1}{n I (α)}) \end{aligned}

$\begin{aligned}\hat{\alpha} \dot{\approx} \mathcal{N}(\alpha,\frac{1}{nI(\alpha)})\end{aligned}$