Как строго определить вероятность?

Вероятность может быть определена несколькими способами, например:

• функция $L$ из $\Theta\times{\cal X}$ которая отображает в т.е. .$(\theta,x)$$L(\theta \mid x)$$L:\Theta\times{\cal X} \rightarrow \mathbb{R}$

• случайная функция$L(\cdot \mid X)$

• мы также можем учитывать, что вероятность - это только «наблюдаемая» вероятность $L(\cdot \mid x^{\text{obs}})$

• на практике вероятность доводит информацию о $\theta$ только до мультипликативной константы, поэтому мы можем рассматривать вероятность как класс эквивалентности функций, а не как функцию

Другой вопрос возникает при рассмотрении изменения параметризации: если $\phi=\theta^2$ - это новая параметризация, которую мы обычно обозначаем через $L(\phi \mid x)$ вероятность для $\phi$ и это не оценка предыдущей функции $L(\cdot \mid x)$ в $\theta^2$ но в $\sqrt{\phi}$ . Это оскорбительное, но полезное обозначение, которое может вызвать трудности у начинающих, если оно не подчеркнуто.

Какое ваше любимое строгое определение вероятности?

Кроме того, как вы называете $L(\theta \mid x)$ ? Я обычно говорю что-то вроде «вероятность на $\theta$ когда $x$ наблюдается».

РЕДАКТИРОВАТЬ: с учетом некоторых комментариев ниже, я понимаю, что я должен был уточнить контекст. Я рассматриваю статистическую модель, заданную параметрическим семейством $\{f(\cdot \mid \theta), \theta \in \Theta\}$ плотностей относительно некоторой доминирующей меры, с каждым $f(\cdot \mid \theta)$ определено в пространстве наблюдений ${\cal X}$ . Следовательно, мы определяем $L(\theta \mid x)=f(x \mid \theta)$ и возникает вопрос "что такое $L$ ?" (вопрос не в общем определении вероятности)

Ваш третий пункт - тот, который я видел наиболее часто используемым в качестве строгого определения.

Остальные тоже интересны (+1). В частности, первое является привлекательным, поскольку трудно определить размер выборки (пока), сложнее определить набор «от».

Для меня фундаментальная интуиция вероятности состоит в том, что она является функцией модели + ее параметров, а не функцией случайных величин (также важным моментом в учебных целях). Поэтому я бы придерживался третьего определения.

Источником злоупотребления нотацией является то, что множество вероятностей «от» является неявным, что обычно не относится к четко определенным функциям. Здесь наиболее строгий подход состоит в том, чтобы понять, что после преобразования вероятность связана с другой моделью. Это эквивалентно первой, но все же другой модели. Таким образом, запись правдоподобия должна показывать, к какой модели она относится (подстрочный или другой). Я никогда не делаю это, конечно, но для обучения, я мог бы.

Наконец, чтобы соответствовать моим предыдущим ответам, я говорю «вероятность θ » в вашей последней формуле.$\theta$

Я думаю, я бы назвал это чем-то другим. Вероятность - это плотность вероятности для наблюдаемого x с учетом значения параметра θ, выраженного как функция от θ для данного x . Я не разделяю мнение о константе пропорциональности. Я думаю, что это вступает в игру только потому, что максимизация любой монотонной функции вероятности дает такое же решение для θ . Таким образом, вы можете максимизировать c L ( θ ∣ x ) для c > 0 или других монотонных функций, таких как log ( L ( θ ∣ x ) $θ$$θ$$x$$θ$$cL(θ∣x)$$c>0$$\log(L(θ∣x))$ что обычно делается.

Вот попытка строгого математического определения:

Пусть X : Ом → R п случайный вектор , который допускает плотность п ( х | & thetas ; 0 ) относительно некоторой меры v , на R п , где для & thetas ∈ & thetas ; , { F ( х | & thetas ; ) : & thetas ; ∈ & thetas ; } семейство плотностей на R n относительно ν . Тогда для любого x ∈ R n определим функцию правдоподобия$X: \Omega \to \mathbb R^n$$f(x | \theta_0)$$\nu$$\mathbb R^n$$\theta \in \Theta$$\{f(x|\theta): \theta \in \Theta\}$$\mathbb R^n$$\nu$$x \in \mathbb R^n$L ( θ | x ) будет f ( x | θ ) ; для ясности, для каждого х мы имеем L х : & thetas → R . Можно думать, что x является конкретным потенциалом x o b s, а θ 0 является «истинным» значением θ .$L(\theta | x)$$f(x | \theta)$$x$$L_x : \Theta \to \mathbb R$$x$$x_{obs}$$\theta_0$$\theta$

Пара замечаний по поводу этого определения:

1. Определение достаточно прочная для обработки дискретных, непрерывных и других видов семейств распределений X .$X$
2. Мы определяем вероятность на уровне функций плотности, а не на уровне распределения вероятностей / мер. Причина этого заключается в том, что плотности не являются уникальными, и оказывается, что это не та ситуация, когда можно перейти к классам эквивалентности плотностей и при этом быть безопасными: разные варианты выбора плотности приводят к разным MLE в непрерывном случае. Однако в большинстве случаев существует естественный выбор семейства плотностей, которые теоретически желательны.
3. Мне нравится это определение, потому что оно включает в себя случайные переменные, с которыми мы работаем, и по замыслу, поскольку мы должны назначить им распределение, мы также строго встроили понятие «истинного, но неизвестного» значения θ , которое здесь обозначается θ 0 . Для меня, как студента, задача быть строгим о вероятности всегда была , как согласовать реальные мировые концепции «истинного» & thetas и «наблюдаемым» х о б ы с математикой; это часто не помогалось инструкторами, утверждающими, что эти понятия не были формальными, но затем поворачивались и использовали их формально при доказательстве! Таким образом, мы имеем дело с ними формально в этом определении.$\theta$$\theta_0$$\theta$$x_{obs}$
4. EDIT: Of course, we are free to consider the usual random elements $L(\theta | X)$, $S(\theta | X)$ and $\mathcal I(\theta | X)$ and under this definition with no real problems with rigor as long as you are careful (or even if you aren't if that level of rigor is not important to you).