Как вы рассчитываете стандартные ошибки для преобразования MLE?

Мне нужно сделать вывод о положительном параметре . Чтобы подчеркнуть положительность, я репараметризовал . Используя процедуру MLE, я вычислил точечную оценку и нашел для . Свойство инвариантности MLE напрямую дает мне точечную оценку для , но я не уверен, как вычислить se для . Заранее благодарен за любое предложение или ссылку. $p$ $p=\exp(q)$ $q$ $p$ $p$

maximum-likelihood standard-error delta-method

— завивать волосы щипцами
источник

Разве вы не можете использовать ту же процедуру MLE для вычисления точечной оценки и непосредственно для

p

$p$ ?

— whuber

Ответы:

Для этой цели используется метод Delta . При некоторых стандартных предположениях регулярности мы знаем, что MLE, $\hat{\theta}$ для $\theta$ приблизительно (то есть асимптотически) распределяется как

\hat{θ} ~ N (θ, я^{- 1} (θ))

$\hat{\theta} \sim N(\theta, \mathcal{I}^{-1}(\theta))$

где - это обратная информация Фишера для всей выборки, оцененная в а обозначает нормальное распределение со средним и дисперсия . Функциональная инвариантность ОМП говорит о том , что ОМП , где некоторая известная функция, является (как вы указали) и имеет приблизительное распределение $\mathcal{I}^{-1}(\theta)$ $\theta$ $N(\mu,\sigma^{2})$ $\mu$ $\sigma^{2}$ $g(\theta)$ $g$ $g(\hat{\theta})$

г (\hat{θ}) ~ N (г (θ), я^{- 1} (θ) [г^{'} (θ)]^{2})

$g(\hat{\theta}) \sim N( g(\theta), \mathcal{I}^{-1}(\theta) [g'(\theta)]^{2} )$

где вы можете подключить непротиворечивые оценки для неизвестных величин (то есть подключить где появляется в дисперсии). Я бы предположил, что ваши стандартные ошибки основаны на информации Фишера (так как у вас есть MLE). Обозначим эту стандартную ошибку через . Тогда стандартная ошибка , как в вашем примере, $\hat{\theta}$ $\theta$ $s$ $e^{\hat{\theta} }$

\sqrt{s^{2} е^{2 \hat{θ}}}

$\sqrt{s^{2}e^{2 \hat{\theta}}}$

Возможно, я интерпретирую вас задом наперед, и на самом деле у вас есть дисперсия MLE of и вам нужна дисперсия MLE of в этом случае стандарт будет $\theta$ $\log(\theta)$

\sqrt{s^{2} / {\hat{θ}}^{2}}

$\sqrt{ s^{2}/\hat{\theta}^{2} }$

— макрос
источник

Еще одно замечание: существуют также подходящие многомерные расширения, в которых производные заменяются градиентами, а умножения должны быть умножениями матриц, поэтому при выяснении направления транспонирования возникает немного больше головной боли.

— StasK

Спасибо за указание на это StasK. Я полагаю, что в многомерном случае асимптотическая ковариация равна

g (\hat{θ})

$g(\hat{\theta})$

\nabla g (θ)^{'} I (θ)^{- 1} \nabla g (θ)

$\nabla g(\theta)' \mathcal{I}(\theta)^{-1} \nabla g(\theta)$

— Макрос

(+1) Я добавил ссылку на предположения о регулярности (и некоторые другие вещи), поскольку неясно, удовлетворяются ли они в задаче ОП. Я мог бы сказать, что является асимптотически нормальным и не приблизительно нормальным, поскольку скорость сходимости может иногда быть медленной.

\hat{θ}

$\hat{\theta}$

— MånsT

Спасибо @ MånsT, я также уточнил, что имел в виду асимптотически, когда говорил приблизительно :)

— Макрос

Макро дал правильный ответ о том, как преобразовать стандартные ошибки с помощью дельта-метода. Несмотря на то, что ОП специально просили стандартные ошибки, я подозреваю, что цель состоит в том, чтобы получить доверительные интервалы для . Помимо вычисления оценочных стандартных ошибок вы можете напрямую преобразовать доверительный интервал в параметризации в доверительный интервал в -parametrization. Это совершенно верно, и это может быть даже лучшей идеей в зависимости от того, насколько хорошо нормальная аппроксимация, используемая для обоснования доверительного интервала на основе стандартных ошибок, работает в параметризации сравнению с $p$ $\hat{p}$ $[q_1, q_2]$ $q$ $[\exp(q_1), \exp(q_2)]$ $p$ $q$ $p$ -parametrization. Кроме того, непосредственно преобразованный доверительный интервал будет удовлетворять ограничению положительности.

— NRH
источник