Какие распределения имеют замкнутые решения для оценки максимального правдоподобия?

21

Какие распределения имеют решения в замкнутой форме для оценки максимального правдоподобия параметров из выборки независимых наблюдений?

distributions mathematical-statistics maximum-likelihood

— Полковник паника
источник

25

Без какой-либо заметной потери общности мы можем предположить, что плотность вероятности (или масса) для любого наблюдения (из наблюдений) строго положительна, что позволяет нам записать ее как экспоненциальную $f(x_i)$ $x_i$ $n$

е ({Икс}_{я}) знак равно ехр (грамм ({Икс}_{я}, θ))

$f(x_i) = \exp{(g(x_i,\theta))}$

для вектора параметров . $\theta = (\theta_j)$

Приравнивая градиент логарифмической функции правдоподобия к нулю (который находит стационарные точки правдоподобия, среди которых будут все внутренние глобальные максимумы, если таковые существуют), дает набор уравнений вида

\underset{я}{Σ} \frac{d грамм ({Икс}_{я}, θ)}{d θ_{J}} знак равно 0,

$\sum_i\frac{d g(x_i, \theta)}{d\theta_j} = 0,$

один для каждого . Для любого из них , чтобы иметь готовое решение, мы хотели бы, чтобы иметь возможность отделить условия от условий . (Все вытекает из этой ключевой идеи, мотивированной принципом математической лени : выполняйте как можно меньше работы; думайте заранее, прежде чем вычислять; сначала займитесь простыми версиями сложных задач.) Самый общий способ сделать это - взять уравнения форма $j$ $x_i$ $\theta$

\underset{я}{Σ} (η_{J} (θ) τ_{J} ({Икс}_{я}) - α_{J} (θ)) знак равно η_{J} (θ) \underset{я}{Σ} τ_{J} ({Икс}_{я}) - N α_{J} (θ)

$\sum_i \left(\eta_j(\theta) \tau_j(x_i) - \alpha_j(\theta)\right) = \eta_j(\theta)\sum_i \tau_j(x_i) - n \alpha_j(\theta)$

для известных функций $\eta_j$ , $\tau_j$ и $\alpha_j$ , для которых решение получается путем решения уравнений уравнения

\frac{N α_{J} (θ)}{η_{J} (θ)} знак равно \underset{я}{Σ} τ_{J} ({Икс}_{я})

$\frac{n\alpha_j(\theta)}{\eta_j(\theta)}= \sum_i \tau_j(x_i)$

для . В общем случае их будет трудно решить, но при условии, что набор значений даст полную информацию о , мы могли бы просто используйте этот вектор вместо самой (таким образом, несколько обобщая идею решения "закрытой формы", но с высокой производительностью). В таком случае интегрирование по дает $\theta$ $\left(\frac{n\alpha_j(\theta)}{\eta_j(\theta)}\right)$ $\theta$ $\theta$ $\theta_j$

грамм (Икс, θ) знак равно τ_{J} (Икс) \int^{θ} η_{J} (θ) d θ_{J} - \int^{θ} α_{J} (θ) d θ_{J} + В (Икс, θ_{J}^{'})

$g(x, \theta) = \tau_j(x)\int^\theta \eta_j(\theta) d\theta_j - \int^\theta \alpha_j(\theta) d\theta_j + B(x, \theta_j')$

(где обозначает все компоненты кроме ). Поскольку левая часть функционально не зависит от , мы должны иметь это для некоторой фиксированной функции ; что вообще не должен зависеть от ; и являются производными некоторой функции а являются производными некоторой другой функции , причем обе они функционально независимы от данных. Откуда $\theta_j'$ $\theta$ $\theta_j$ $\theta_j$ $\tau_j(x)=T(x)$ $T$ $B$ $\theta$ $\eta_j$ $H(\theta)$ $\alpha_j$ $A(\theta)$

грамм (Икс, θ) знак равно ЧАС (θ) Т (Икс) - A (θ) + В (Икс),

$g(x, \theta) = H(\theta)T(x) - A(\theta) + B(x).$

Плотности, которые можно записать в этой форме, составляют известную семью Купмана-Питмана-Дармуа , или экспоненциальную семью. Он включает в себя важные параметрические семейства, как непрерывные, так и дискретные, в том числе гамма, нормаль, хи-квадрат, пуассон, мультиномиал и многие другие .

— Whuber
источник

А для тех, у кого нет закрытых форм, мы могли бы использовать алгоритм EM. Например, рассмотрим модель Пуассона с нулевым давлением: stats.stackexchange.com/questions/32133/…

— Дэмиен

0

Я не знаю, смогу ли я перечислить их все. На ум приходят экспоненциальные, нормальные и биномиальные, и все они попадают в класс экспоненциальных семейств. Экспоненциальное семейство имеет достаточную статистику по экспоненте, и mle часто является хорошей функцией этой достаточной статистики.

— Майкл Р. Черник
источник

8

Этот вопрос невероятно широк, но кажется, что OP, возможно, спрашивает, что характеризует дистрибутив, который имеет решение MLE в закрытой форме, а не запрашивает исчерпывающий список. В любом случае, исчерпывающий список даже невозможен.

— Макро

2

Это не всегда «хорошая функция», например, достаточная статистика бета-распределения , из которого требуются численные методы для поиска параметров формы и .

[\log x \log (1 - x)]^{T}

$[\log x\; \log (1-x)]^{\rm T}$

a

$a$

b

$b$

— Нейл Дж

Спасибо Нил за указание на это. Я думаю, что не все экспоненциальные семейные распределения имеют решения в замкнутой форме.

— Майкл Р. Черник