Какой из них лучше максимальная вероятность или предельная вероятность и почему?

При выполнении регрессии, если мы перейдем к определению из: Какова разница между частичной вероятностью, профильной вероятностью и предельной вероятностью?

что Максимальное правдоподобие
Найти β и θ, который максимизирует L (β, θ | данных).

В то время как предельное правдоподобие
Мы интегрируем θ из уравнения правдоподобия, используя тот факт, что мы можем определить распределение вероятности θ, условного на β.

Какую методологию лучше использовать и почему?

regression maximum-likelihood

— Анкит Чиплункар
источник

Ответы:

Каждый из них даст разные результаты с различной интерпретацией. Первый находит наиболее вероятную пару , , а второй - наиболее вероятный . Представьте, что ваш дистрибутив выглядит так: $\beta$ $\theta$ $\beta$

$\beta=1$ $\beta=2$
$\theta=1$ 0.0 0.2
$\theta=2$ 0.1 0.2
$\theta=3$ 0.3 0.2

Затем максимального правдоподобия ответ ( ), в то время как максимальная предельная вероятность ответа (так как , маргинализируя над & , ). $\beta=1$ $\theta=3$ $\beta=2$ $\theta$ $P(\beta=2)=0.6$

Я бы сказал, что в общем случае предельное правдоподобие часто является тем, что вы хотите - если вы действительно не заботитесь о значениях параметров , то вам следует просто свернуть их. Но, вероятно, на практике эти методы не дадут очень разных результатов - если они это сделают, то это может указать на некоторую нестабильность в вашем решении, например, на несколько режимов с различными комбинациями , которые все дают схожие прогнозы. $\theta$ $\beta$ $\theta$

— Крис
источник

Я нашел разные результаты для методов максимального / предельного правдоподобия и, следовательно, вопрос. Я бы сказал, что два результата в моем случае дают разные интерпретации, но возможные результаты.

— Анкит Чиплункар

Я сам сейчас занимаюсь этим вопросом. Вот результат, который может быть полезным. Рассмотрим линейную модель

y = X β + ϵ, ϵ \sim N (0, σ^{2})

$y = X\beta + \epsilon, \quad \epsilon \sim N(0,\sigma^2)$

где и ; и являются параметры , представляющие интерес. Совместная вероятность $y \in \mathbb{R}^n, \beta \in \mathbb{R}^p,$ $\beta$ $\sigma^2$

L (β, σ^{2}) = (2 π σ^{2})^{- n / 2} e x p (- \frac{| | y - X β | |^{2}}{2 σ^{2}})

$L(\beta,\sigma^2) = (2 \pi \sigma^2)^{-n/2} exp\left(-\frac{||y-X\beta||^2}{2\sigma^2}\right)$

Оптимизация совместной вероятности доходности

\hat{β} = X^{+} y

$\hat{\beta} = X^+ y$

{\hat{σ}}^{2} = \frac{1}{n} | | r | |^{2}

$\hat{\sigma}^2 = \frac{1}{n}||r||^2$

где представляет собой Псевдообратный и является нужным остаточный вектор. Отметим , что в мы имеем вместо привычных степенями свободы корректируется соотношение . Известно, что эта оценка смещена в случае конечной выборки. $X^+$ $X$ $r=y-X\hat{\beta}$ $\hat{\sigma}^2$ $1/n$ $1/(n-p)$

Теперь предположим, что вместо оптимизации как и мы интегрируем out и оцениваем из полученной интегрированной вероятности: $\beta$ $\sigma^2$ $\beta$ $\sigma^2$

{\hat{σ}}^{2} = {max}_{σ^{2}} \int_{R^{p}} L (β, σ^{2}) d β

$\hat{\sigma}^2 = \text{max}_{\sigma^2} \int_{\mathbb{R}^p} L(\beta,\sigma^2) d\beta$

Используя элементарную линейную алгебру и гауссову интегральную формулу, вы можете показать, что

{\hat{σ}}^{2} = \frac{1}{n - p} | | r | |^{2}

$\hat{\sigma}^2 = \frac{1}{n-p} ||r||^2$

Это имеет поправку на степени свободы, которая делает его беспристрастным и в целом предпочтительным по сравнению с совместной оценкой ОД.

Из этого результата можно было бы спросить, есть ли что-то по преимуществу в интегрированной вероятности, но я не знаю каких-либо общих результатов, которые отвечают на этот вопрос. Похоже, консенсус заключается в том, что интегрированный ML лучше учитывает неопределенность в большинстве проблем оценки. В частности, если вы оцениваете величину, которая зависит от других оценок параметров (даже неявно), то интеграция по другим параметрам будет лучше учитывать их неопределенности.

— Павел
источник

Это интересно. Я, однако, немного обеспокоен тем фактом, что «интеграция

» использует недопустимое предельное распределение, а также отсутствием какого-либо очевидного обоснования для использования этого (неправильного) маргинального по сравнению с любым другим. Что вы думаете об этих проблемах?

β

$\beta$

— whuber

@whuber Я разделяю ваши опасения и не имею готового ответа, но учтите, что вероятность маргинализации - это просто апостериор с равномерным неправильным значением до

, поэтому я думаю, что это связано с «объективным байесовским» подходом. Там все равно, когда такой параметр, как

имеет неправильное предварительное распределение, если апостериорный интегрируем.

β

$\beta$

β

$\beta$

— Пол

На самом деле, основываясь на этом посте и комментариях к нему, я думаю, что интегрированный ML, а не предельный ML, является правильным термином для того, что мы здесь делаем. Отредактировано соответственно.

— Пол

+1 Я знаю, что я довольно опоздал на эту вечеринку, но не интегрирую фиксированные эффекты, накладывая на них неподходящую униформу, в точности то, что делает REML, так что вы на самом деле только что получили оценку REML, и эта коррекция df точно причина в том, что REML лучше для небольших образцов?

— августа

@ Chaconne да, этот пост был мотивирован попыткой понять REML! У меня (почти) нет формального образования в области статистики, поэтому получение этого было для меня новым.

— Пол

$\beta$ $\beta$ $\theta$ $\theta$ $\theta$ $\theta$ $\theta_i$ $p(\theta_i)$ $\theta$ $data$ , you can optimize the marginal likelihood w.r.t. $\beta$ .

— Seeda
источник