Оценка параметров t-распределения Стьюдента

23

Каковы оценки максимального правдоподобия для параметров t-распределения Стьюдента? Существуют ли они в закрытом виде? Быстрый поиск в Google не дал мне никаких результатов.

Сегодня меня интересует одномерный случай, но, вероятно, мне придется расширить модель до нескольких измерений.

РЕДАКТИРОВАТЬ: меня на самом деле больше всего интересуют параметры местоположения и масштаба. Сейчас я могу предположить, что параметр степеней свободы фиксирован, и, возможно, использовать некоторую числовую схему, чтобы найти оптимальное значение позже.

estimation maximum-likelihood t-distribution

— Grzenio
источник

Насколько мне известно, они не существуют в закрытом виде. Может потребоваться подход с градиентным всплытием.

— Пэт

Хотя в распределении Стьюдента есть один параметр, вы ссылаетесь на «параметры» во множественном числе. Возможно, вы включаете параметры местоположения и / или масштаба?

— whuber

@whuber, спасибо за комментарий, меня действительно интересуют параметры местоположения и масштаба, а не степени свободы.

— Грзенио

С

данными уравнение правдоподобия для параметра местоположения алгебраически эквивалентно полиному степени

. Считаете ли вы ноль такого многочлена заданным в «замкнутой форме»?

n

$n$

2 n - 1

$2n-1$

— whuber

@whuber, есть ли особые случаи для малых n, например, n = 3?

— Грзенио

27

Закрытой формы для T не существует, но очень интуитивный и стабильный подход - через алгоритм EM. Теперь, когда ученик представляет собой смесь нормалей, вы можете написать свою модель как

y_{i} = μ + e_{i}

$y_i=\mu+e_i$

где и $e_i|\sigma,w_i \sim N(0,\sigma^2w_i^{-1})$ . Это означаетчто условно наОМП является просто взвешенным средним и стандартным отклонением. Это шаг "М" $w_i\sim Ga(\frac{\nu}{2}, \frac{\nu}{2})$ $w_i$

\hat{μ} = \frac{\sum_{i} w_{i} y_{i}}{\sum_{i} w_{i}}

$\hat{\mu}=\frac{\sum_iw_iy_i}{ \sum_iw_i}$

{\hat{σ}}^{2} = \frac{\sum_{i} w_{i} (y_{i} - \hat{μ})^{2}}{n}

$\hat{\sigma}^2= \frac{\sum_iw_i(y_i-\hat{\mu})^2}{n}$

Теперь шаг «E» заменяет ожидаемым с учетом всех данных. Это дано как: $w_i$

{\hat{w}}_{i} = \frac{(ν + 1) σ^{2}}{ν σ^{2} + (y_{i} - μ)^{2}}

$\hat{w}_i=\frac{(\nu+1) \sigma^2 }{\nu \sigma^2 +(y_i-\mu)^2}$

поэтому вы просто повторяете два вышеупомянутых шага, заменяя «правую часть» каждого уравнения текущими оценками параметров.

$\mu$ $\sigma^2$ $\sigma^2$ $(\nu+1)\sigma^2_{old}$ $\nu$ $\nu$

Следует отметить, что функция логарифмического правдоподобия может иметь более одной стационарной точки, поэтому алгоритм EM может сходиться к локальному режиму вместо глобального режима. Локальные режимы могут быть обнаружены, когда параметр местоположения запускается слишком близко к выбросу. Поэтому начать с медианы - хороший способ избежать этого.

— probabilityislogic
источник

1

Это потрясающе. Некоторое время я играл с идеей подгонки учеников к использованию ЭМ именно по той причине, что это похоже на смесь гауссов. У вас есть цитата / ссылка для обновлений уравнений, которые вы даете? Наличие этого увеличило бы удивительность этого поста еще больше.

— Пэт

На самом деле, я думаю, что я нашел один для смешанной модели студенческого т (которую я так собираюсь использовать для вещей): смеси т-распределений Стьюдента в качестве надежной основы для жесткой регистрации. Димитриос Герогианнис, Христофор Нику, Аристидис Ликас. Image and Vision Computing 27 (2009) 1285–1294.

— Пэт

Ссылка в моем ответе на этот вопрос имеет очень общую структуру EM для нагрузок и нагрузок функций правдоподобия - квантиль, ученик, логистика и выполняет общую регрессию. Ваш конкретный случай - это «регрессия» без ковариат - только для перехвата - так хорошо вписывается в эту структуру. Кроме того, существует огромное количество штрафных терминов, которые вы можете включить в эту структуру.

— вероятностная

ν

$\nu$

Я думаю, что эта ссылка лучше, чем @ Pat's. «ОЦЕНКА ML Распределения с использованием EM и его расширений, ECM и ECME». Вы должны быть очень осторожны при выборе начального значения параметра при запуске алгоритма EM из-за локальной оптимальной проблемы. Другими словами, вы должны что-то знать о своих данных. Обычно я избегаю использования t-распределения в своем исследовании.

4

Следующая статья посвящена именно той проблеме, которую вы опубликовали.

Лю С. и Рубин Д.Б. 1995. «Оценка ML распределения t с использованием EM и его расширений, ECM и ECME». Statistica Sinica 5: 19–39.

Он обеспечивает общую многомерную оценку параметров t-распределения, со знанием или без знания степени свободы. Процедура может быть найдена в Разделе 4, и она очень похожа на вероятность вероятности для 1-измерения.

— mitchshih
источник

7

Похоже, что статья, на которую вы ссылаетесь, содержит полезный ответ на вопрос, но ответы лучше, когда они автономны и не требуют внешних ресурсов (здесь, например, возможно, что OP или читатели не имеют доступа к этой статье ). Не могли бы вы немного конкретизировать свой ответ, чтобы сделать его более автономным?

— Патрик Куломб

3

\frac{Γ (\frac{ν + 1}{2})}{\sqrt{ν π} Γ (\frac{ν}{2})} {(1 + \frac{t^{2}}{ν})}^{- \frac{ν + 1}{2}} = \frac{Γ (\frac{ν + 1}{2})}{\sqrt{ν π} Γ (\frac{ν}{2})} \exp {[\ln (1 + \frac{t^{2}}{ν})] [- \frac{ν + 1}{2}]}

$\frac{\Gamma(\frac{\nu+1}{2})} {\sqrt{\nu\pi}\,\Gamma(\frac{\nu}{2})} \left(1+\frac{t^2}{\nu} \right)^{-\frac{\nu+1}{2}} = \frac{\Gamma(\frac{\nu+1}{2})} {\sqrt{\nu\pi}\,\Gamma(\frac{\nu}{2})} \exp \left \{ \left [ \ln \left(1+\frac{t^2}{\nu} \right) \right ] \left [ {-\frac{\nu+1}{2}} \right ]\right \}$

ν

$\nu$

n

$n$

n

$n$

ν \to \infty

$\nu \rightarrow \infty$

— Lucozade
источник

1

Даже в гауссовой настройке логарифмическая вероятность нелинейна по своим параметрам :-).

— whuber

Я на самом деле интересуюсь параметрами местоположения и масштаба, а не степенями свободы. Пожалуйста, смотрите редактирование вопроса, и извините за то, что он не точный.

— Грзенио

2

Недавно я обнаружил оценку в замкнутой форме для шкалы t-распределения Стьюдента. Насколько мне известно, это новый вклад, но я хотел бы получить комментарии, предлагающие любые связанные результаты. В статье описывается метод в контексте семейства «связанных экспоненциальных» распределений. T Стьюдента упоминается как спаренный гауссиан, где член связи является обратной величиной степени свободы. Статистика в закрытой форме является средним геометрическим значением выборок. Предполагая значение связи или степень свободы, оценка шкалы определяется путем умножения среднего геометрического значения выборок на функцию, включающую связь и число гармоник.

https://arxiv.org/abs/1804.03989 Использование среднего геометрического в качестве статистики для шкалы связанных гауссовских распределений, Кенрик П. Нельсон, Марк А. Кон, Сабир Р. Умаров

— Kenric
источник