Используем ли мы когда-либо оценку максимального правдоподобия?

Мне интересно, использовалась ли когда-либо максимальная оценка правдоподобия в статистике. Мы изучаем понятие этого, но мне интересно, когда это фактически используется. Если мы предположим распределение данных, мы найдем два параметра, один для среднего значения и один для дисперсии, но действительно ли вы используете его в реальных ситуациях?

Может кто-нибудь сказать мне простой случай, в котором он используется?

Мне интересно, использовалась ли когда-либо максимальная оценка правдоподобия в статистике.

Конечно! На самом деле довольно много, но не всегда.

Мы изучаем понятие этого, но мне интересно, когда это фактически используется.

Когда у людей есть параметрическая модель распределения, они довольно часто предпочитают использовать оценку максимального правдоподобия. Когда модель верна, существует ряд полезных свойств оценки максимального правдоподобия.

Для одного примера - использование обобщенных линейных моделей довольно широко распространено, и в этом случае параметры, описывающие среднее значение, оцениваются по максимальной вероятности.

Может случиться так, что некоторые параметры оцениваются по максимальной вероятности, а другие нет. Например, рассмотрим избыточную дисперсию Пуассона GLM - параметр дисперсии не будет оцениваться по максимальной вероятности, поскольку MLE в этом случае бесполезен.

Если мы предположим распределение данных, мы найдем два параметра

Ну, иногда у вас может быть два, но иногда у вас есть один параметр, иногда три или четыре или больше.

один для среднего и один для дисперсии,

Возможно, вы думаете о конкретной модели? Это не всегда так. Рассмотрим оценку параметра экспоненциального распределения, распределения Пуассона или биномиального распределения. В каждом из этих случаев есть один параметр, и дисперсия является функцией параметра, который описывает среднее значение.

Или рассмотрим обобщенное гамма-распределение , которое имеет три параметра. Или бета-распределение с четырьмя параметрами , которое имеет (возможно неудивительно) четыре параметра. Отметим также, что (в зависимости от конкретной параметризации) среднее или дисперсия, или оба могут быть представлены не одним параметром, а функциями нескольких из них.

Например, гамма-распределение, для которого есть три параметризации, которые встречаются довольно часто, и два наиболее распространенных из которых имеют как среднее значение, так и дисперсию, являющиеся функциями двух параметров.

Обычно в регрессионной модели, GLM или модели выживания (среди многих других типов моделей) модель может зависеть от нескольких предикторов, и в этом случае распределение, связанное с каждым наблюдением в рамках модели, может иметь один из своих собственных параметров (или даже несколько параметров), которые связаны со многими переменными предиктора («независимые переменные»).

Хотя оценки максимального правдоподобия могут выглядеть подозрительно, учитывая предположения о распределении данных, часто используются квази-оценки максимального правдоподобия. Идея состоит в том, чтобы начать с предположения о распределении и решить для MLE, затем удалить явное предположение о распределении и вместо этого посмотреть, как ваша оценка работает в более общих условиях. Таким образом, Quasi MLE просто становится разумным способом получения оценки, и большая часть работы затем выводит свойства оценки. Поскольку допущения о распределении отбрасываются, квази-MLE обычно не обладает хорошими характеристиками эффективности.

$x_1, x_2, ..., x_n$$X$$X \sim N (\mu, \sigma^2)$$\hat\sigma^2 = n^{-1}\sum (x_i - \bar x)^2$$\hat\sigma^2$

Оценка максимального правдоподобия часто используется в машинном обучении для обучения:

• нейронные сети, например, можем ли мы использовать MLE для оценки весов нейронных сетей?
• линейная, логистическая регрессия и мультиклассовая логистическая регрессия, например. Почему коэффициенты линейной и логистической регрессии нельзя оценить одним и тем же методом?
• условное случайное поле (CRF), например, https://www.coursera.org/learn/probabilistic-graphical-models-3-learning/lecture/oKJ1x/maximum-likelihood-for-conditional-random-fields
• скрытая марковская модель (HMM), например https://en.wikipedia.org/w/index.php?title=Hidden_Markov_model&oldid=768811108#Learning

Обратите внимание, что в некоторых случаях предпочитают добавить некоторую регуляризацию, которая иногда эквивалентна максимальной апостериорной оценке , например, почему штраф Лассо эквивалентен двойной экспоненте (Лапласу) до? ,

Может кто-нибудь сказать мне простой случай, в котором он используется?

Очень типичный случай - логистическая регрессия. Логистическая регрессия - это метод, часто используемый в машинном обучении для классификации точек данных. Например, логистическая регрессия может использоваться для классификации того, является ли электронная почта спамом или не является спамом, или для классификации того, имеет ли человек заболевание или нет.

$x_i$$h_\theta(x_i) = P[y_i = 1] = \frac{1}{1+e^{-\theta^T x_i}}$

$\theta$

$\hat\theta$$-\sum_{i=1}^n y_i\log(h_\hat\theta(x_i)) + (1-y_i)\log(1-h_{\hat\theta}(x_i))$

Мы все время используем MLE, но можем этого не чувствовать. Я приведу два простых примера, чтобы показать.

Пример 1

$8$$10$$\theta$$\theta=0.8$

Зачем использовать подсчет? это на самом деле неявно с помощью MLE! Где проблема

Чтобы решить уравнение, нам понадобится некоторое исчисление, но вывод подсчитывается.

Пример 2

Как бы мы оценили параметры распределения Гаусса по данным? Мы используем эмпирическое среднее в качестве оценочного среднего, а эмпирическое отклонение - в качестве оценочного отклонения, которое также исходит из MLE !.

Некоторые максимальные вероятности использования в беспроводной связи:

• Декодирование цифровых данных из зашумленных принимаемых сигналов с избыточными кодами или без них.
• Оценка временных, фазовых и частотных смещений в приемниках.
• Оценка (параметров) канала распространения.
• Оценка задержки, угла прихода и доплеровского сдвига (например, радар).
• Оценка мобильной позиции (например, GPS).
• Оценка смещения часов для синхронизации всех видов распределенных настроек.
• Множество процедур калибровки.