Определитель информационной матрицы Фишера для сверхпараметрической модели

Рассмотрим случайную переменную Бернулли с параметром (вероятность успеха). Функция правдоподобия и информация Фишера ( матрица ): $X\in\{0,1\}$ $\theta$ $1 \times 1$

\begin{aligned} L_{1} (θ; X) & = p (X | θ) = θ^{X} (1 - θ)^{1 - X} \\ I_{1} (θ) & = det I_{1} (θ) = \frac{1}{θ (1 - θ)} \end{aligned}

$\begin{align} \mathcal{L}_1(\theta;X) &= p(\left.X\right|\theta) = \theta^{X}(1-\theta)^{1-X} \\ \mathcal{I}_1(\theta) &= \det \mathcal{I}_1(\theta) = \frac{1}{\theta(1-\theta)} \end{align}$

Теперь рассмотрим «слишком параметризованную» версию с двумя параметрами: вероятность успеха $\theta_1$ и вероятность отказа $\theta_0$ . (Обратите внимание, что $\theta_1+\theta_0=1$ , и это ограничение подразумевает, что один из параметров является избыточным.) В этом случае функция правдоподобия и информационная матрица Фишера (FIM):

\begin{aligned} L_{2} (θ_{1}, θ_{0}; X) & = p (X | θ_{1}, θ_{0}) = θ_{1}^{X} θ_{0}^{1 - X} \\ I_{2} (θ_{1}, θ_{0}) & = (\begin{matrix} \frac{1}{θ_{1}} & 0 \\ 0 & \frac{1}{θ_{0}} \end{matrix}) \\ det I_{2} (θ) & = \frac{1}{θ_{1} θ_{0}} = \frac{1}{θ_{1} (1 - θ_{1})} \end{aligned}

$\begin{align} \mathcal{L}_2(\theta_1,\theta_0;X) &= p(\left.X\right|\theta_1,\theta_0) = \theta_1^{X}\theta_0^{1-X} \\ \mathcal{I}_2(\theta_1,\theta_0) &= \left( \begin{matrix} \frac{1}{\theta_1} & 0 \\ 0 & \frac{1}{\theta_0} \end{matrix} \right) \\ \det \mathcal{I}_2(\theta) &= \frac{1}{\theta_1 \theta_0} = \frac{1}{\theta_1 (1-\theta_1)} \end{align}$

Обратите внимание, что детерминанты этих двух FIM идентичны. Кроме того, это свойство распространяется на более общий случай категориальных моделей (т. Е. Более двух состояний). Он также распространяется на лог-линейные модели с различными подмножествами параметров, ограниченными до нуля; в этом случае дополнительный «избыточный» параметр соответствует функции логарифмического разбиения, и эквивалентность двух определителей FIM может быть показана на основе дополнения Шура более крупного FIM. (На самом деле, для лог-линейных моделей меньшая FIM является просто дополнением Шура к большей FIM.)

Может ли кто-нибудь объяснить, распространяется ли это свойство на больший набор параметрических моделей (например, на все экспоненциальные семейства), позволяя опцию получения определителей FIM на основе такого «расширенного» набора параметров? Т.е. предположим любую данную статистическую модель с параметрами, которые лежат на мерном многообразии, вложенном в -мерное пространство. Теперь, если мы расширим набор параметров, чтобы включить еще одно измерение (которое полностью ограничено на основе других) и вычислим FIM на основе этих параметров, мы всегда получим тот же определитель, что и исходный (независимых) параметров? Кроме того, как эти два FIM связаны? $n$ $n$ $(n+1)$ $(n+1)$ $n$

Причина, по которой я задаю этот вопрос, состоит в том, что FIM с дополнительным параметром часто выглядит проще. Моя первая мысль - это не должно работать вообще. FIM включает в себя вычисление частных производных логарифмической вероятности по каждому параметру. Эти частные производные предполагают, что, хотя рассматриваемый параметр изменяется, все остальные параметры остаются постоянными, что неверно, если мы задействуем дополнительный (ограниченный) параметр. В этом случае мне кажется, что частные производные больше не действительны, потому что мы не можем предполагать, что другие параметры постоянны; Однако мне еще предстоит найти доказательства того, что это на самом деле проблема. (Если частные производные являются проблематичными в случаях с зависимыми параметрами, являются ли общие производные $(n+1) \times (n+1)$ нужен вместо этого? Я еще не видел пример вычисления FIM с полным производным, но, возможно, это решение ...)

Единственный пример, который я мог найти в Интернете, который вычисляет FIM на основе такого «расширенного» набора параметров, заключается в следующем: эти примечания содержат пример для категориального распределения, вычисляя требуемые частные производные как обычно (т.е. как если бы каждый параметр был независимым даже если среди параметров есть ограничение).

— Тайлер Стритер
источник

Хороший вопрос! Я думаю, что двухпараметрическая спецификация случайной величины Бернулли является довольно неудачным примером, потому что без ограничения больше не обязан быть плотностью. Например, можете ли вы воспроизвести свое наблюдение для изогнутой экспоненциальной семьи?

p (X | θ_{1}, θ_{0}) = θ_{1}^{X} θ_{0}^{1 - X}

$p(\left.X\right|\theta_1,\theta_0) = \theta_1^{X}\theta_0^{1-X}$

— Хашаа

@ Khashaa Я предполагаю, что ограничение применяется в случае с двумя параметрами (тот, который вы упомянули), так что функция правдоподобия все равно будет действительной плотностью. Кроме того, да, я могу воспроизвести это наблюдение, например, для лог-линейных моделей с различными подмножествами параметров, ограниченными до нуля; в этом случае «избыточный» параметр соответствует функции раздела журнала.

θ_{1} + θ_{2} = 1

$\theta_1 + \theta_2 = 1$

— Тайлер Стритер

Как насчет ?

N (μ, μ^{2})

$N(\mu, \mu^2)$

— Хашаа

Ответы:

Для нормального информационная матрица имеет вид Для искривленной нормальнойИтак, ваше наблюдение, что детерминанты равны, не универсально, но это еще не все. $X\sim N(\mu,\sigma^2)$

I_{1} = (\begin{matrix} \frac{1}{σ^{2}} & 0 \\ 0 & \frac{1}{2 σ^{4}} \end{matrix})

$\mathcal{I}_1 = \left( \begin{matrix} \frac{1}{\sigma^2} & 0 \\ 0 & \frac{1}{2\sigma^4} \end{matrix} \right)$

X \sim N (μ, μ^{2})

$X\sim N(\mu,\mu^2)$

I_{2} = \frac{3}{μ^{2}} .

$\mathcal{I}_2=\frac{3}{\mu^2}.$

Как правило, если является информационной матрицей при репараметризации то нетрудно увидеть, что Информационная матрица для исходных параметров имеет вид где - якобиан преобразования . $\mathcal{I}_g$

g (θ) = (g_{1} (θ), . . ., g_{k} (θ))^{'},

$g(\theta)=(g_1(\theta),...,g_k(\theta))',$

I (θ) = G^{'} I_{g} (g (θ)) G

$I(\theta)=G'I_g(g(\theta))G$

G

$G$

g = g (θ)

$g=g(\theta)$

Для примера Бернулли и . Итак, якобиан равен и, таким образом, $(\theta_0,\theta_1)=(p,1-p)$ $g(p)=(p,1-p)$ $(1,-1)'$

I (p) = (\begin{matrix} 1 & - 1 \end{matrix}) (\begin{matrix} \frac{1}{p} & 0 \\ 0 & \frac{1}{1 - p} \end{matrix}) (\begin{matrix} 1 \\ - 1 \end{matrix}) = \frac{1}{p (1 - p)}

$\mathcal{I}(p) = \left( \begin{matrix} 1& -1 \end{matrix} \right)\left( \begin{matrix} \frac{1}{p} & 0 \\ 0 & \frac{1}{1-p} \end{matrix} \right) \left( \begin{matrix} 1 \\ -1 \end{matrix} \right)=\frac{1}{p(1-p)}$

Для изогнутого нормального примера,

I_{2} = (\begin{matrix} 1 & 2 μ \end{matrix}) (\begin{matrix} \frac{1}{μ^{2}} & 0 \\ 0 & \frac{1}{2 μ^{4}} \end{matrix}) (\begin{matrix} 1 \\ 2 μ \end{matrix}) = \frac{3}{μ^{2}} .

$\mathcal{I}_2 = \left( \begin{matrix} 1& 2\mu \end{matrix} \right)\left( \begin{matrix} \frac{1}{\mu^2} & 0 \\ 0 & \frac{1}{2\mu^4} \end{matrix} \right) \left( \begin{matrix} 1 \\ 2\mu \end{matrix} \right)=\frac{3}{\mu^2}.$

Я думаю, что теперь вы можете легко связать детерминанты.

Продолжение после комментария

Если я вас правильно понял, FIM действителен до тех пор, пока вы существенно расширяете параметры: вероятность при новой параметризации должна быть действительной плотностью. Поэтому я назвал пример Бернулли неудачным.

Я думаю, что ссылка, которую вы предоставили, имеет серьезный недостаток при выводе FIM для категориальных переменных, так как у нас есть и . Обнаружение отрицательного гессиана дает , но не для ковариации векторов оценок. Если вы пренебрегаете ограничениями, равенство информационной матрицы не выполняется. $E(x_i^2)=\theta_i(1-\theta_i)\neq \theta_i$ $E(x_ix_j)=\theta_i\theta_j\neq 0$ $\mathrm{diag}\{1/\theta_i\}$

— Khashaa
источник

Спасибо за упоминание подхода преобразования Якоби и за простые, понятные примеры. Можете ли вы (или кто-либо еще) прокомментировать следующую проблему, которая все еще касается меня: при расширении набора параметров на одно измерение, как мы делаем здесь, мы вводим ограничение среди параметров, так что любые частные производные (как того требует FIM) должен быть недействительным, потому что теперь, когда мы изменяем один параметр, другие больше не являются постоянными. Итак, является ли FIM действительным даже для расширенного набора параметров, учитывая, что частные производные недопустимы из-за дополнительного ограничения?

— Тайлер Стритер

@TylerStreeter Я обновил свой ответ для решения вашей проблемы.

— Хашаа

Похоже, что результат имеет место для определенного вида связи между параметрами.

Не претендуя на полную общность приведенных ниже результатов, я придерживаюсь одного-двух параметров. Обозначим неявное уравнение, которое выражает отношения, которые должны соблюдаться между двумя параметрами. Тогда «правильное расширенное», «двухпараметрическое» логарифмическое правдоподобие (не то, что подсчитывает ОП - мы придем туда) $g(\theta_0,\theta_1) =0$

L^{e} = L^{*} (θ_{0}, θ_{1}) + λ g (θ_{0}, θ_{1})

$L^e=L^*(\theta_0,\theta_1) +\lambda g(\theta_0,\theta_1)$ эквивалентно истинному правдоподобию , поскольку , ( является множитель), и мы можем рассматривать два параметра как независимые, в то время как мы дифференцируем.

L

$L$

g (θ_{0}, θ_{1}) = 0

$g(\theta_0,\theta_1)=0$

λ

$\lambda$

Используя индексы для обозначения производных по параметрам (одна первая производная нижнего индекса, вторая вторая производная нижних индексов), определитель гессиана правильного расширенного логарифмического правдоподобия будет

\begin{matrix} (1) & D_{H} (L^{e}) = [L_{00}^{*} + λ g_{00}] [L_{11}^{*} + λ g_{11}] - [L_{01}^{*} + λ g_{01}]^{2} = D_{H} (L) \end{matrix}

$D_H(L^e) = [L^*_{00}+\lambda g_{00}][L^*_{11}+\lambda g_{11}] - [L^*_{01}+\lambda g_{01}]^2 = D_H(L) \tag{1}$

Что делает OP вместо этого?

Он считает неправильное правдоподобие «игнорированием» отношения между двумя параметрами и без учета ограничения . Затем он приступает к дифференциации и получает $L^*(\theta_0,\theta_1)$ $g(\theta_0,\theta_1)$

\begin{matrix} (2) & D_{H} (L^{*}) = L_{00}^{*} L_{11}^{*} - [L_{01}^{*}]^{2} \end{matrix}

$D_H(L^*) = L^*_{00}L^*_{11} - [L^*_{01}]^2 \tag{2}$

Очевидно, что в общем случае не равно . $(2)$ $(1)$

Но если , то $g_{00}=g_{11}=g_{00}=0$

(1) \to D_{H} (L^{e}) = L_{00}^{*} L_{11}^{*} - [L_{01}^{*}]^{2} = D_{H} (L^{*}) = D_{H} (L)

$(1) \rightarrow D_H(L^e) = L^*_{00}L^*_{11} - [L^*_{01}]^2 = D_H(L^*) = D_H(L)$

Таким образом, если связь между фактическим параметром и избыточным параметром такова, что все вторые частные производные неявной функции, которая их связывает, все равны нулю , то подход, который в корне неверен, оказывается «правильным».

Для случая Бернулли мы действительно имеем

g (θ_{0}, θ_{1}) = θ_{0} + θ_{1} - 1 \Rightarrow g_{00} = g_{11} = g_{01} = 0

$g(\theta_0,\theta_1) = \theta_0 + \theta_1 -1 \Rightarrow g_{00}=g_{11}=g_{01}=0$

ADDENDUM
Чтобы ответить на вопрос @Khashaa и показать здесь механику, мы рассмотрим вероятность, указанную с избыточным параметром, но также с ограничением, которое связывает избыточный параметр с истинным. Что мы делаем с логарифмическими правдоподобиями, так это максимизируем их - так что здесь у нас есть случай ограниченного максимизации. Предположим, что образец размером : $n$

max L_{n}^{*} (θ_{0}, θ_{1}) = \ln θ_{0} \sum_{i = 1}^{n} x_{i} + (n - \sum_{i = 1}^{n} x_{i}) \ln θ_{1}, s . t . θ_{1} = 1 - θ_{0}

$\max L_n^*(\theta_0, \theta_1) = \ln \theta_0\sum_{i=1}^nx_i + \left(n-\sum_{i=1}^nx_i\right)\ln\theta_1,\;\; s.t. \;\; \theta_1 = 1-\theta_0$

Эта проблема имеет лангранжеву (то, что неофициально я назвал «правильной расширенной вероятностью» выше),

L^{e} = \ln θ_{0} \sum_{i = 1}^{n} x_{i} + (n - \sum_{i = 1}^{n} x_{i}) \ln θ_{1} + λ (θ_{1} - 1 + θ_{0})

$L^e = \ln \theta_0\sum_{i=1}^nx_i + \left(n-\sum_{i=1}^nx_i\right)\ln\theta_1 + \lambda(\theta_1 - 1+\theta_0)$

Условия первого порядка для максимума

\frac{\sum_{i = 1}^{n} x_{i}}{θ_{0}} + λ = 0, \frac{n - \sum_{i = 1}^{n} x_{i}}{θ_{1}} + λ_{0} = 0

$\frac {\sum_{i=1}^nx_i}{\theta_0} + \lambda = 0,\;\;\; \frac {n-\sum_{i=1}^nx_i}{\theta_1} +\lambda_0 =0$

для которого мы получаем соотношение

\frac{\sum_{i = 1}^{n} x_{i}}{θ_{0}} = \frac{n - \sum_{i = 1}^{n} x_{i}}{θ_{1}} \Rightarrow θ_{1} \sum_{i = 1}^{n} x_{i} = (n - \sum_{i = 1}^{n} x_{i}) θ_{0}

$\frac {\sum_{i=1}^nx_i}{\theta_0} = \frac {n-\sum_{i=1}^nx_i}{\theta_1} \Rightarrow \theta_1\sum_{i=1}^nx_i = \left(n-\sum_{i=1}^nx_i\right)\theta_0$

используя ограничение, при котором вышеприведенные действительны, мы получаем $\theta_1 = 1-\theta_0$

(1 - θ_{0}) \sum_{i = 1}^{n} x_{i} = (n - \sum_{i = 1}^{n} x_{i}) θ_{0}

$(1-\theta_0)\sum_{i=1}^nx_i = \left(n-\sum_{i=1}^nx_i\right)\theta_0$

\Rightarrow \sum_{i = 1}^{n} x_{i} = n θ_{0} \Rightarrow {\hat{θ}}_{0} = \frac{1}{n} \sum_{i = 1}^{n} x_{i}

$\Rightarrow \sum_{i=1}^nx_i = n\theta_0 \Rightarrow \hat \theta_0 = \frac 1n\sum_{i=1}^nx_i$

как мы должны.

Более того, поскольку ограничение является линейным по всем параметрам, его вторые производные будут равны нулю. Это отражается в том факте, что в первых производных лагрангана множитель " "стоит один", и он будет исключен, когда мы возьмем вторые производные лагранжиана. Что, в свою очередь, приведет нас к гессиану, чей определитель будет равен (одномерной) второй производной от исходного однопараметрического логарифмического правдоподобия, после наложения также ограничения (что и делает OP). Тогда взятие отрицательного значения ожидаемого значения в обоих случаях не меняет эту математическую эквивалентность, и мы приходим к соотношению «одномерная информация Фишера = определитель двумерной информации Фишера». Сейчас же $\lambda$ учитывая, что ограничение является линейным по всем параметрам, OP получает тот же результат (на уровне второй производной), не вводя ограничение с множителем в функцию, которая должна быть максимизирована, поскольку на втором уровне производной присутствие / влияние ограничение исчезает в таком случае.

Все это связано с исчислением, а не со статистическими понятиями.

— Алекос Пападопулос
источник

Я не могу следовать твоей логике. Не могли бы вы объяснить, почему Lage-подобный считается «правильным расширенным», «двухпараметрическим» логарифмическим правдоподобием? Кроме того, гессиан совершенно загадочный для меня. Вы рассчитываете наблюдаемую информационную матрицу?

L^{e}

$L^e$

— Хашаа

@ Khashaa В терминологии установлено, что «гессиан» является матрицей вторых производных многомерной функции.

— Алекос Пападопулос

Было бы полезно, если бы здесь внизу опубликовали ответ - потому что конкретный пример ОП существует - и требует объяснения.

— Алекос Пападопулос

Извините, если мой вопрос был неясным. Мой вопрос был о том, как вы связали гессиан с информационной матрицей, так как я не видел никаких ожиданий, воздействующих на нее, и результат казался наблюдаемой информационной матрицей. Кроме того, можете ли вы объяснить, почему является правильным логарифмическим правдоподобием? Я предполагаю, что вы используете какой-то принципиальный метод оценки ограниченной вероятности, но я не понимаю, как это работает.

L^{e}

$L^e$

— Хашаа

@Khashaa Я добавил экспозицию на примере ОП.

— Алекос Пападопулос