Почему MLE имеет смысл, учитывая, что вероятность отдельной выборки равна 0?

Это какая-то странная мысль, которая у меня возникла при просмотре какой-то старой статистики, и по какой-то причине я не могу придумать ответ.

Непрерывный PDF говорит нам о плотности наблюдаемых значений в любом заданном диапазоне. А именно, например, если , то вероятность того, что реализация попадает между и , просто где - это плотность стандартная нормальная.$X \sim N(\mu,\sigma^2)$$a$$b$$\int_a^{b}\phi(x)dx$$\phi$

Когда мы думаем о выполнении MLE-оценки параметра, скажем, , мы записываем общую плотность, скажем, N , случайных величин X_1 .. X_N и дифференцируем логарифмическое правдоподобие относительно \ mu , устанавливаем равным 0 и решаем для \ му . Часто дается интерпретация «даны данные, какой параметр делает эту функцию плотности наиболее вероятной».$\mu$$N$$X_1 .. X_N$$\mu$$\mu$

Часть, которая беспокоит меня, такова: у нас есть плотность $N$ rv, и вероятность того, что мы получим конкретную реализацию, скажем, нашу выборку, равна точно 0. Почему даже имеет смысл максимизировать общую плотность, учитывая наши данные ( так как опять вероятность наблюдения нашей фактической выборки точно равна 0)?

Единственная рационализация, которую я мог бы придумать, заключается в том, что мы хотим, чтобы PDF был максимально возможным вокруг нашей наблюдаемой выборки, чтобы интеграл в области (и, следовательно, вероятность наблюдения материала в этой области) был максимальным.

Вероятность любой выборки, $\mathbb{P}_\theta(X=x)$ , равна нулю, и все же одна выборка реализуется путем извлечения из распределения вероятностей. Следовательно, вероятность - это неправильный инструмент для оценки выборки и вероятности ее возникновения. Статистическая вероятность, как определено Фишером (1912), основана на предельном аргументе вероятности наблюдения выборки $x$ в интервале длины $\delta$ когда $\delta$ стремится к нулю (цитата из Aldrich, 1997) :

$\qquad\qquad\qquad$

при перенормировке этой вероятности на $\delta$ . Термин «функция правдоподобия» введен только у Фишера (1921 г.), а термин «максимальный уровень правдоподобия» у Фишера (1922 г.).

Несмотря на то, что он шел под наименованием «наиболее вероятное значение» и использовал принцип обратной вероятности (байесовский вывод) с плоским априором, Карл Фридрих Гаусс уже получил в 1809 году оценку максимального правдоподобия для параметра дисперсии нормального распределения. Hald (1999) упоминает несколько других случаев оценки максимального правдоподобия до статьи Фишера 1912 года, в которой был установлен общий принцип.

Позднее обоснование подхода максимального правдоподобия заключается в том, что, поскольку перенормированный логарифмический правдоподобие выборки $(x_1,\ldots,x_n)$

$$\frac{1}{n} \sum_{i=1}^n \log f_\theta(x_i)$$ сходится к [Закон больших чисел] $$\mathbb{E}[\log f_\theta(X)]=\int \log f_\theta(x)\,f_0(x)\,\text{d}x$$ (где$f_0$ обозначает истинную плотность образца iid), максимизация вероятности [как функции от$\theta$ ] асимптотически эквивалентна минимизации [в$\theta$ ] расходимости Кульбака-Лейблера $$\int \log \dfrac{f_0(x)}{f_\theta(x)}\, f_0(x)\,\text{d}x=\underbrace{\int \log f_0(x)\,f_0(x)\,\text{d}x}_{\text{constant}\\\text{in }\theta}-\int \log f_\theta(x)\,f_0(x)\,\text{d}x$$ между истинным распределением выборки iid и семейством распределений, представленных символами $f_\theta$ .