Интуитивное объяснение информации Фишера и границы Крамера-Рао

Мне не нравится информация Фишера, что она измеряет и чем она полезна. Кроме того, для меня не очевидны отношения с Крамером-Рао.

Может ли кто-нибудь дать интуитивное объяснение этих понятий?

Здесь я объясняю, почему асимптотическая дисперсия оценки максимального правдоподобия является нижней границей Крамера-Рао. Надеюсь, это даст некоторое представление об актуальности информации Фишера.

Статистический вывод осуществляется с использованием функции правдоподобия которую вы строите из данных. Точечная оценка - это значение, которое максимизирует . Оценщик является случайной величиной, но помогает понять, что функция правдоподобия является "случайной кривой".θ L ( θ ) θ L ( θ $\mathcal{L}(\theta)$$\hat{\theta}$$\mathcal{L}(\theta)$$\hat{\theta}$ $\mathcal{L}(\theta)$

Здесь мы предполагаем, что данные взяты из распределения , и определяем вероятность L ( θ ) = $f(x|\theta)$

$$\mathcal{L}(\theta) = \frac{1}{n}\sum_{i=1}^n \log f(x_i|\theta)$$

Параметр имеет свойство максимизировать значение «истинного» правдоподобия, . Тем не менее, «наблюдаемая» функция правдоподобия которая построена на основе данных, немного «отличается» от истинного правдоподобия. Тем не менее, как вы можете себе представить, с увеличением размера выборки «наблюдаемая» вероятность сходится к форме кривой истинного вероятности. То же самое относится и к производной вероятности по параметру : функция оценки . (Короче говоря, информация Фишера определяет, насколько быстро наблюдаемая функция оценки сходится к форме функции истинной оценки.E L ( θ ) L ( θ ) ∂ L / ∂ $\theta$$\mathbb{E}\mathcal{L}(\theta)$$\mathcal{L}(\theta)$ $\partial \mathcal{L}/\partial \theta$

При большом размере выборки мы предполагаем, что наша оценка максимального правдоподобия очень близка к . Мы приближаемся к небольшой окрестности вокруг и чтобы функция правдоподобия была "локально квадратичной". ; & thetasthetas ; & thetas$\hat{\theta}$$\theta$$\theta$$\hat{\theta}$

Там, - это точка, в которой функция оценки пересекает начало координат. В этой небольшой области мы рассматриваем функцию оценки как линию , одну с наклоном и случайным пересечением в . Мы знаем из уравнения для линии, что$\hat{\theta}$ $\partial \mathcal{L}/\partial \theta$$a$$b$$\theta$

$$a(\hat{\theta} - \theta) + b = 0$$

или же

$$\hat{\theta} = \theta - b/a .$$

Из последовательности оценки MLE мы знаем, что

$$\mathbb{E}(\hat{\theta}) = \theta$$

в пределе.

Следовательно, асимптотически

$$nVar(\hat{\theta}) = nVar(b/a)$$

Оказывается, что наклон изменяется намного меньше, чем перехват, и асимптотически мы можем рассматривать функцию оценки как наличие постоянного наклона в небольшой окрестности вокруг . Таким образом, мы можем написать$\theta$

$$nVar(\hat{\theta}) = \frac{1}{a^2}nVar(b)$$

Итак, каковы значения и ? Оказывается, из-за чудесного математического совпадения они представляют собой ту же самую величину (по модулю знака минус), как и информация Фишера.$a$$nVar(b)$

$$-a = \mathbb{E}\left[-\frac{\partial^2 \mathcal{L}}{\partial \theta^2}\right] = I(\theta)$$

$$nVar(b) = nVar\left[\frac{\partial \mathcal{L}}{\partial \theta}\right] = I(\theta)$$

Таким образом,

$$nVar(\hat{\theta}) = \frac{1}{a^2}nVar(b) = (1/I(\theta)^2)I(\theta) = 1/I(\theta)$$ асимптотически : нижняя граница Крамера-Рао. (Показывает, что является нижней границей дисперсии несмещенной оценки, это другой вопрос.)$1/I(\theta)$

Один из способов понять информацию о Фишере - это следующее определение:

$$I(\theta)=\int_{\cal{X}} \frac{\partial^{2}f(x|\theta)}{\partial \theta^{2}}dx-\int_{\cal{X}} f(x|\theta)\frac{\partial^{2}}{\partial \theta^{2}}\log[f(x|\theta)]dx$$

Информация о Фишере может быть записана таким образом, когда плотность дважды дифференцируема. Если выборочное пространство не зависит от параметра , то мы можем использовать интегральную формулу Лейбница, чтобы показать, что первый член равен нулю (дифференцируем обе стороны дважды, и вы получите ноль), а второй термин является «стандартным» определением. Я возьму случай, когда первый член равен нулю. Случаи, когда он не равен нулю, не слишком полезны для понимания информации Фишера.$f(x|\theta)$$\cal{X}$$\theta$$\int_{\cal{X}} f(x|\theta)dx=1$

Теперь, когда вы делаете оценку максимального правдоподобия (вставьте здесь «условия регулярности»), вы устанавливаете

$$\frac{\partial}{\partial \theta}\log[f(x|\theta)]=0$$

И решить для . Таким образом, вторая производная говорит о том, как быстро меняется градиент, и в некотором смысле «как далеко» может отойти от MLE, не внося заметных изменений в правой части вышеприведенного уравнения. Еще один способ думать об этом - представить «гору», нарисованную на бумаге - это функция логарифмического правдоподобия. Решение приведенного выше уравнения MLE показывает, где находится пик этой горы как функция случайной величины . Вторая производная говорит вам, насколько крутая гора - что в некотором смысле говорит вам, как легко найти вершину горы. Информация Фишера берется из взятия ожидаемой крутизны пика, и поэтому она имеет некоторую интерпретацию «предварительных данных».$\theta$$\theta$$x$

Одна вещь, которую я до сих пор нахожу любопытной, заключается в том, насколько велика логарифмическая вероятность, а не насколько крутая монотонная функция вероятности (возможно, связана с «правильными» оценочными функциями в теории принятия решений? Или, может быть, с аксиомами согласованности энтропии?) ?).

Информация Фишера также «обнаруживается» во многих асимптотических анализах из-за того, что известно как приближение Лапласа. В основном это связано с тем, что любая функция с «хорошо округленным» одиночным повышением максимума до более высокой степени переходит в гауссову функцию (аналогично теореме о центральном пределе, но немного больше Генеральная). Поэтому, когда у вас большая выборка, вы эффективно находитесь в этой позиции и можете написать:$\exp(-ax^{2})$

$$f(data|\theta)=\exp(\log[f(data|\theta)])$$

И когда вы Тейлор расширите логарифмическую вероятность MLE:

$$f(data|\theta)\approx [f(data|\theta)]_{\theta=\theta_{MLE}}\exp\left(-\frac{1}{2}\left[-\frac{\partial^{2}}{\partial \theta^{2}}\log[f(data|\theta)]\right]_{\theta=\theta_{MLE}}(\theta-\theta_{MLE})^{2}\right)$$ и эта вторая производная логарифмического правдоподобия появляется (но в «наблюдаемой», а не в «ожидаемой» форме). Здесь обычно делается следующее приближение:

$$-\frac{\partial^{2}}{\partial \theta^{2}}\log[f(data|\theta)]=n\left(-\frac{1}{n}\sum_{i=1}^{n}\frac{\partial^{2}}{\partial \theta^{2}}\log[f(x_{i}|\theta)]\right)\approx nI(\theta)$$

Что обычно означает хорошее приближение замены суммы интегралом, но для этого требуется, чтобы данные были независимыми. Таким образом, для больших независимых выборок (заданных ) вы можете видеть, что информация Фишера является переменной MLE для различных значений MLE.$\theta$

Это самая интуитивная статья, которую я когда-либо видел:

Нижняя граница Крамера-Рао по дисперсии: «Принцип неопределенности» Адама и Евы, Майкл Р. Пауэрс, Журнал Risk Finance, Vol. 7, № 3, 2006

Граница объясняется аналогией Адама и Евы в Эдемском саду, бросающих монету, чтобы увидеть, кто должен есть фрукты, и затем они спрашивают себя, насколько большой образец необходим для достижения определенного уровня точности в их оценке, и затем они обнаруживают эту связь ...

Хорошая история с глубоким посланием о реальности.

Хотя приведенные выше объяснения очень интересны, и я с удовольствием ознакомился с ними, я чувствую, что природа нижней границы Крамера-Рао была лучше всего объяснена мне с геометрической точки зрения. Эта интуиция представляет собой краткое изложение концепции эллипсов концентрации из главы 6 книги Шарфа «Статистическая обработка сигналов» .

Рассмотрим любую непредвзятую оценку . Кроме того, предположим, что оценщик имеет гауссово распределение с ковариацией . В этих условиях распределение пропорционально:${\boldsymbol\theta}$$\hat{\boldsymbol\theta}$${\boldsymbol\Sigma}$$\hat{\boldsymbol\theta}$

$f(\hat{\boldsymbol\theta})\propto \exp(-\frac{1}{2}(\hat{\boldsymbol\theta}-{\boldsymbol\theta})^T{\boldsymbol\Sigma}^{-1}(\hat{\boldsymbol\theta}-{\boldsymbol\theta}))$ .

Теперь подумайте о контурах этого распределения для . Любое ограничение верхней границы вероятности (то есть ) приведет к эллипсоиду с центром в с фиксированным радиусом . Легко показать, что существует взаимно-однозначное соотношение между радиусом эллипсоида и желаемой вероятностью . Другими словами, близка к внутри эллипсоида, определяемого радиусом с вероятностьюthetas ; ∫ F ( & thetas ; ) d & thetas ; & le ; Р г & thetas ; г г Р г & thetas${\boldsymbol\theta}\in R^2$$\hat{\boldsymbol\theta}$$\int f(\hat{\boldsymbol\theta})d{\boldsymbol\theta} \le P_r$${\boldsymbol\theta}$$r$$r$$P_r$$\hat{\boldsymbol\theta}$${\boldsymbol\theta}$P $r$$P_r$, Этот эллипсоид называется концентрационным эллипсоидом.

Учитывая приведенное выше описание, мы можем сказать следующее о CRLB. Среди всех объективных оценок CRLB представляет собой оценщик с ковариацией который для фиксированной вероятности "близости" (как определено выше) имеет наименьшую эллипсоид концентрации. На рисунке ниже представлена ​​2D-иллюстрация (вдохновленная иллюстрацией в книге Шарфа ).ЕгрглбР$\hat{\boldsymbol\theta}_{crlb}$$\boldsymbol\Sigma_{crlb}$$P_r$