Что такое идентификация модели?

Я знаю, что с моделью, которая не может быть идентифицирована, можно сказать, что данные создаются несколькими различными назначениями параметров модели. Я знаю, что иногда можно ограничить параметры так, чтобы все были идентифицируемыми, как в примере в Cassella & Berger 2nd ed, раздел 11.2.

Учитывая конкретную модель, как я могу оценить, можно ли ее идентифицировать?

identifiability

— Джек Таннер
источник

Ответы:

Для идентификации мы говорим о параметре (который может быть вектором), который находится в пространстве параметров , и о семействе распределений (для простоты, представьте PDF-файлы), индексированных по которые мы обычно пишем что-то вроде $\theta$ $\Theta$ $\theta$ . Например, может быть а может быть $\{ f_{\theta}|\, \theta \in \Theta\}$ $\theta$ $\theta = \beta$ $f$

что означает, что. Для того, чтобы модель была идентифицируемой, преобразование, которое отображаетвдолжно бытьвзаимно-однозначным. Учитывая модель на коленях, самый простой способ проверить это - начать с уравнения (это равенство должно выполняться для (почти) всехв

f_{θ} (x) = \frac{1}{β} e^{- x / β}, x > 0, β > 0,

$f_{\theta}(x) = \frac{1}{\beta}\mathrm{e}^{-x/\beta}, \ x>0,\ \beta >0,$

Θ = (0, \infty)

$\Theta = (0,\infty)$

θ

$\theta$

f_{θ}

$f_{\theta}$

f_{θ_{1}} = f_{θ_{2}}

$f_{\theta_{1}} = f_{\theta_{2}}$

x

$x$ поддержка ) и попытаться использовать алгебру (или какой -либо другой аргумент) , чтобы показать , что именно такое уравнение предполагает , что, по сути, &

θ_{1} = θ_{2}

$\theta_{1} = \theta_{2}$

Если вы преуспеете с этим планом, то ваша модель будет идентифицируемой; продолжай свой бизнес. Если вы этого не сделаете, то либо ваша модель не может быть идентифицирована, либо вам нужно найти другой аргумент. Интуиция одна и та же, независимо от того: в идентифицируемой модели невозможно, чтобы два разных параметра (которые могли быть векторами) приводили к одной и той же функции правдоподобия.

Это имеет смысл, потому что, если для фиксированных данных два уникальных параметра приводят к одинаковой вероятности, тогда будет невозможно провести различие между двумя параметрами-кандидатами на основе только данных. В этом случае невозможно определить истинный параметр.

Для приведенного выше примера уравнение равно $f_{\theta_{1}} = f_{\theta_{2}}$ для (почти) всех. Если мы возьмем журналы обеих сторон мы получаем

\frac{1}{β_{1}} e^{- x / β_{1}} = \frac{1}{β_{2}} e^{- x / β_{2}},

$\frac{1}{\beta_{1}}\mathrm{e}^{-x/\beta_{1}} = \frac{1}{\beta_{2}}\mathrm{e}^{-x/\beta_{2}},$

x > 0

$x > 0$

при

, что подразумевает линейную функцию

- \ln β_{1} - \frac{x}{β_{1}} = - \ln β_{2} - \frac{x}{β_{2}}

$-\ln\,\beta_{1} - \frac{x}{\beta_{1}} = -\ln\,\beta_{2} - \frac{x}{\beta_{2}}$

x > 0

$x > 0$

(почти) тождественно равен нулю. Единственная линия, которая делает это, - это та, которая имеет наклон 0 и точку пересечения y с нулем. Надеюсь, вы сможете увидеть все остальное.

- (\frac{1}{β_{1}} - \frac{1}{β_{2}}) x - (\ln β_{1} - \ln β_{2})

$-\left(\frac{1}{\beta_{1}} - \frac{1}{\beta_{2}}\right)x - (\ln\,\beta_{1} - \ln\,\beta_{2})$

$f(y) = y^{2}$ $y$ $[-1,1]$ $y$ $[0,1]$

(+1) Хорошее, всестороннее, практичное объяснение. Проводимые вами аналогии проясняют концепцию.

— кардинал

Вы, конечно, ответили на вопрос, который я задал, но я слишком новичок, чтобы действительно понять ваш ответ. Если вы знаете объяснение, которое лучше для новичка, пожалуйста, дайте мне знать.

— Джек Таннер

@ Cardinal, спасибо. Джеку, хорошо, я вижу. Как насчет этого: если есть что-то выше, что еще не ясно, и если вы укажете мне это, тогда я могу попытаться уточнить это еще немного. Или, если вы предпочитаете, вы можете написать еще один вопрос, который требует объяснения «мирянина» или примеров этих идей. Я думаю, было бы справедливо сказать, что идентификация - это тема, которая обычно возникает после типичного вводного периода обучения, поэтому, если вы хотите представить некоторый контекст того, почему вы сталкиваетесь с этим сейчас, это может помочь потенциальным ответчикам.

+1, хороший ответ. Возможно, стоит указать на один классический и легко видимый пример неидентифицируемой модели - неограниченную версию ANOVA:

Y_{я J} знак равно μ + α_{1} + α_{2} + ... + α_{К} + ε_{я}

$y_{ij}=\mu+\alpha_1+\alpha_2+\ldots+\alpha_k+\varepsilon_i$ Чтобы исправить это, обычно используется эталонное кодирование соты , в котором среднее значение одного уровня задается в качестве эталонного (которое оценивается посредством перехвата), а общее среднее значение не оценивается в явном виде.

— gung - Восстановить Монику

Одним из способов является проверка ковариационной матрицы, $\Sigma$ , вашего параметра оценки. Если две оценки параметров идеально (приблизительно) коррелируют друг с другом или одна оценка параметров является (приблизительно) линейной комбинацией нескольких других, то ваша модель не идентифицируется; параметры, которые являются функциями других, не являются необходимыми. В каждом из этих случаев $\Sigma$ также будет (приблизительно) единичным. Так что если $\Sigma$ примерно единственное число, это может дать вам повод для беспокойства по поводу проблем с идентификацией. (Хотя я не думаю, что это обнаружило бы нелинейные отношения между оценками параметров, которые привели бы к неидентификации).

Практическая проблема заключается в том, что часто трудно рассчитать $\Sigma$ даже для слегка сложных моделей.

Если вы решаете задачу максимального правдоподобия, то вы знаете, что асимптотическая ковариационная матрица ваших оценок равна инверсии информации Фишера, оцененной в MLE. Таким образом, проверка информационной матрицы Фишера на наличие (приблизительной) особенности также является разумным способом оценки идентифицируемости. Это также работает в тех случаях, когда теоретическую информацию о Фишере трудно рассчитать, поскольку зачастую можно очень точно численно аппроксимировать согласованную оценку матрицы информации о Фишере, например, путем оценки ожидаемого внешнего продукта функции оценки по наблюдаемому среднему внешнему продукту. ,

Если вы не решаете проблему ОД, вы можете справиться с $\Sigma$ путем моделирования данных из модели и оценки параметров большое количество раз и расчета выборочной ковариационной матрицы.

— макрос
источник

(+1) Молодец. Я даже не думал подойти к этому вопросу с этой стороны.

Одна из причин, по которой идея вычисления ковариационной матрицы на основе смоделированных данных особенно полезна, заключается в том, что в любом случае необходимо моделировать данные, чтобы выполнить проверку Кука-Гельмана-Рубина .

— Джек Таннер