Как вывести функцию вероятности для биномиального распределения для оценки параметров?

Согласно «Вероятности и статистике Миллера и Фрейнда для инженеров», 8ed (стр.217-218), функция правдоподобия, которая должна быть максимизирована для биномиального распределения (испытания Бернулли), определяется как

$L(p) = \prod_{i=1}^np^{x_i}(1-p)^{1-x_i}$

Как прийти к этому уравнению? Мне кажется довольно ясным в отношении других распределений, Пуассона и Гаусса;

$L(\theta) = \prod_{i=1}^n \text{PDF or PMF of dist.}$

Но тот, что для бинома, немного отличается. Чтобы быть прямым вперед, как сделал

$nC_x~p^x(1-p)^{n-x}$

стать

$p^{x_i}(1-p)^{1-x_i}$

в приведенной выше функции вероятности?

При оценке максимального правдоподобия вы пытаетесь максимизировать ; однако максимизация этого эквивалентна максимизации для фиксированного . p x ( 1 - p ) n - x$nC_x~p^x(1-p)^{n-x}$$p^x(1-p)^{n-x}$$x$

На самом деле, вероятность для гаусса и пуассона также не включает их ведущие константы, поэтому этот случай такой же, как те, что

---

Обращение к ОП

Вот немного подробнее:

Во-первых, - это общее количество успехов, тогда как - это одно испытание (0 или 1). Следовательно:$x$$x_i$

$$\prod_{i=1}^np^{x_i}(1-p)^{1-x_i} = p^{\sum_1^n x_i}(1-p)^{\sum_1^n1-x_i} = p^{x}(1-p)^{n-x}$$

Это показывает, как вы получаете факторы вероятности (выполнив вышеуказанные шаги в обратном направлении).

Почему постоянная уходит? Неформально, и то, что делает большинство людей (включая меня), просто замечает, что ведущая константа не влияет на значение которое максимизирует вероятность, поэтому мы просто игнорируем ее (фактически установите ее равной 1).$p$

Мы можем получить это, взяв журнал функции правдоподобия и найдя, где ее производная равна нулю:

$$\ln\left(nC_x~p^x(1-p)^{n-x}\right) = \ln(nC_x)+x\ln(p)+(n-x)\ln(1-p)$$

Возьмите производную по и установите в :$p$$0$

$$\frac{d}{dp}\ln(nC_x)+x\ln(p)+(n-x)\ln(1-p) = \frac{x}{p}- \frac{n-x}{1-p} = 0$$

$$\implies \frac{n}{x} = \frac{1}{p} \implies p = \frac{x}{n}$$

Обратите внимание, что ведущая постоянная выпала из расчета MLE.

С точки зрения философии, правдоподобие имеет смысл только для умозаключения вплоть до постоянной умножения, так что если у нас есть две функции правдоподобия и , то они являются косвенно эквивалентными. Это называется законом правдоподобия . Поэтому, если мы сравниваем разные значения используя одну и ту же функцию правдоподобия, начальный член становится неактуальным.$L_1,L_2$$L_1=kL_2$$p$

На практическом уровне логический вывод с использованием функции правдоподобия фактически основан на отношении правдоподобия, а не на абсолютном значении правдоподобия. Это связано с асимптотической теорией отношений правдоподобия (которые асимптотически являются хи-квадрат - подчиняются определенным условиям регулярности, которые часто являются подходящими). Тесты отношения правдоподобия предпочтительны благодаря лемме Неймана-Пирсона . Поэтому, когда мы попытаемся проверить две простые гипотезы, мы возьмем соотношение, и общий ведущий фактор отменит.

ПРИМЕЧАНИЕ. Этого не произойдет, если вы сравниваете две разные модели, например, бином и пуассон. В этом случае константы важны.

Из приведенных выше причин первая (несоответствие поиску максимизатора L) наиболее прямо отвечает на ваш вопрос.

XI в продукте относится к каждому отдельному испытанию. Для каждого отдельного испытания xi может быть 0 или 1, а n всегда равно 1. Следовательно, тривиально, биномиальный коэффициент будет равен 1. Следовательно, в формуле произведения для вероятности произведение биномиальных коэффициентов будет равно 1, и, следовательно, в формуле нет nCx. Осознал это, работая шаг за шагом :) (Извините за форматирование, не привык отвечать на математические выражения в ответах ... пока :))