Наличие сопряженного априора: глубокая собственность или математическая случайность?

Некоторые дистрибутивы имеют сопряженные приоры, а некоторые нет. Это различие просто случайность? То есть вы занимаетесь математикой, и она работает так или иначе, но на самом деле она не говорит вам ничего важного о распределении, кроме самого факта?

Или наличие или отсутствие сопряженного априора отражает более глубокое свойство распределения? Распространяются ли в дистрибутивах с сопряженными априорами какое-либо другое интересное свойство или свойства, которых нет в других дистрибутивах, что приводит к тому, что эти, а не другие, имеют предшествующее сопряжение?

bayesian mathematical-statistics conjugate-prior

— andrewH
источник

Хорошо, вы должны знать, что любой дистрибутив, который может быть записан как член регулярного экспоненциального семейства, должен иметь сопряженный предшествующий элемент.

Известны ли нам какие-либо интересные классы распределений, которые, как было показано, определенно не имеют сопряженных априорных значений? Мне известно об очень немногих дистрибутивах с 3 или более параметрами, которые имеют известные CP, но я не уверен, знаем ли мы, что их не существует, или просто знаем, что мы их не нашли.

— andrewH

Интересный. Это можно рассматривать как свойство оператора, транспортирующего предшествующее заднему, в том же параметрическом семействе. Что еще более интересно, его можно рассматривать как свойство замыкания триплета (предварительное распределение, распределение выборки, оператор обновления Байеса).

— JohnRos

@JohnRos. Мне нравится, как вы думаете.

— andrewH

Что касается вашего вступительного заявления, просто будьте осторожны с тривиальным случаем априоров, которые помещают всю массу в одно значение пространства параметров (не очень полезно для выполнения логического вывода, а?). Теорема Байеса показывает, что это сопряженные априоры для каждой модели. Конечно, они представляют собой предварительные знания кого-то с «фиксированными идеями».

— Дзен

Ответы:

Это не случайно. Здесь вы найдете краткий и очень хороший обзор сопряженных приоров. Конкретно, в нем упоминается, что если для заданной функции правдоподобия существует набор достаточных статистик фиксированной размерности, то для него можно построить сопряженное ранее. Наличие набора достаточных статистических данных означает, что вы можете факторизовать вероятность в форме, которая позволит вам оценить параметры эффективным вычислительным способом.

Кроме того, имея сопряженные априорные значения, это не только вычислительно удобно. Он также обеспечивает сглаживание и позволяет работать с очень маленькими выборками или без предыдущих выборок, что необходимо для таких проблем, как принятие решений, в случаях, когда у вас очень мало доказательств.

— jpmuc
источник

Я очень плохо знаком с байесовской статистикой, но мне кажется, что все эти распределения (и если не все, то, по крайней мере, те, которые являются полезными) имеют то свойство, что они описываются некоторой ограниченной метрикой относительно наблюдений, которые их определяют , Т.е. для нормального распределения вам не нужно знать каждую деталь о каждом наблюдении, только их общее количество и сумму.

Другими словами, предполагая, что вы уже знаете класс / семейство распределения, распределение имеет строго меньшую информационную энтропию, чем наблюдения, которые привели к этому.

Это кажется тривиальным, или это то, что вы ищете?

— Фабио Бельтрамини
источник

Какие свойства являются «глубокими», это очень субъективный вопрос! так что ответ зависит от вашего понятия "глубокий". Но если в некотором смысле наличие сопряженных априорных значений является «глубоким» свойством, то этот смысл является математическим, а не статистическим. Единственная причина, по которой (некоторые) статистики интересуются сопряженными априорами, заключается в том, что они упрощают некоторые вычисления. Но это менее важно для каждого дня, который проходит!

 EDIT

$h$ $[0,1]$ $f(p;\alpha,\beta)$ $h(p)f(p;\alpha,\beta)$

Е {Е (θ | Икс знак равно Икс)} знак равно a Икс + б

$\DeclareMathOperator{\E}{\mathbb{E}} \E \left\{ \E (\theta \mid X=x)\right\} = ax+b$

a, b

$a,b$

$\text{prior}\times\text{likelihood}$ предыдущие интерпретации данных для параметров в (обычных) перечисленных семействах сопряженных.

Таким образом, суммируя, обычные сопряженные семейства в экспоненциальных семействах могут быть оправданы как приоры, ведущие к линейным методам, или как приоры, основанные на представлении предыдущих данных. Надеюсь, этот расширенный ответ поможет!

— Къетил б Халворсен
источник

Это действительно комментарий, а не ответ, @kjetil. Он должен быть разработан в ответ или преобразован в комментарий.

— gung - Восстановить Монику

@gung Я не хочу превращать этот ответ в комментарий, потому что кажется, что его можно интерпретировать как ответ: он утверждает, что существование предшествующего сопряженного не имеет большого значения, кроме упрощения вычислений. (Я полагаю, что могут быть причины оспаривать обоснованность этого утверждения, но неправильность - это не то же самое, что не отвечать!)

— whuber

@whuber: о каких причинах помимо вычислительной простоты вы думаете? Я постараюсь рассказать о том, что было написано ...

— kjetil b halvorsen

Потому что явная математическая формулировка отношения - это то, что может быть проанализировано и понято, тогда как простой вычислительный результат - это просто результат, обычно не дающий обобщающего понимания. Это похоже на разницу между картой страны, которую вы можете изучать и изучать, по сравнению с наличием только голосового GPS-устройства, которое будет указывать направление движения. Оба приведут вас из одной точки в другую, но первая расскажет вам гораздо больше о пространстве, через которое вы проезжаете.

— whuber