В чем разница между частичной вероятностью, профильной вероятностью и предельной вероятностью?

56

Я вижу, что эти термины используются, и я все время путаю их. Есть ли простое объяснение различий между ними?

estimation maximum-likelihood

57

Функция правдоподобия обычно зависит от многих параметров. В зависимости от приложения нас обычно интересует только подмножество этих параметров. Например, в линейной регрессии интерес обычно кроется в коэффициентах наклона, а не в дисперсии ошибок.

Обозначим интересующие нас параметры как $\beta$ а параметры, которые не представляют первостепенного интереса, через $\theta$ . Стандартный способ решения проблемы оценки состоит в максимизации функции правдоподобия, чтобы получить оценки $\beta$ и $\theta$ . Однако, поскольку основной интерес заключается в частичном $\beta$ , профиль и предельное правдоподобие предлагают альтернативные способы оценки $\beta$ без оценки $\theta$ .

Чтобы увидеть разницу, обозначим стандартную вероятность через $L(\beta, \theta|\mathrm{data})$ .

Максимальная вероятность

Найти $\beta$ и $\theta$ которые максимизируют $L(\beta, \theta|\mathrm{data})$ .

Частичная вероятность

Если мы можем написать функцию правдоподобия как:

L (β, θ | d a t a) = L_{1} (β | d a t a) L_{2} (θ | d a t a)

$L(\beta, \theta|\mathrm{data}) = L_1(\beta|\mathrm{data}) L_2(\theta|\mathrm{data})$

$L_1(\beta|\mathrm{data})$

Вероятность профиля

$\theta$ $\beta$ $\theta$

$\theta = g(\beta)$

L (β, g (β) | d a t a)

$L(\beta, g(\beta)|\mathrm{data})$

Предельная вероятность

$\theta$ $\theta$ $\beta$

— febstar
источник

2

Обратите внимание, что последнее определение здесь - интегрированное (или байесовское) правдоподобие, а не предельное правдоподобие.

— АРС

Правильно ли это в RHS для частичного правдоподобия: «L2 (θ | theta)»?

— jpalecek

@ars, не могли бы вы отредактировать ответ и дать определение предельной вероятности?

— Вальдир Леонсио

13

Все три используются при работе с параметрами помех в полностью определенной функции правдоподобия.

Предельное правдоподобие является основным методом устранения ложных параметров в теории. Это функция истинного правдоподобия (т.е. она пропорциональна (предельной) вероятности наблюдаемых данных).

Частичная вероятность не является истинной вероятностью в целом. Однако в некоторых случаях это можно рассматривать как вероятность асимптотического вывода. Например, в моделях пропорциональных рисков Кокса, где они возникли, нас интересует наблюдаемое ранжирование в данных (T1> T2> ..) без указания базовой опасности. Эфрон показал, что частичное правдоподобие практически ничего не теряет для различных опасных функций.

Профиль вероятности удобен, когда у нас есть многомерная функция правдоподобия и один интересующий параметр. Это определено заменой неудобства S его MLE в каждом фиксированном T (интересующий параметр), то есть L (T) = L (T, S (T)). Это может хорошо работать на практике, хотя существует потенциальная ошибка в MLE, полученная таким образом; предельная вероятность исправляет этот уклон.

— АРС
источник