Преимущества экспоненциальной семьи: почему мы должны ее изучать и использовать?

Так что здесь я изучаю вывод. Мне бы хотелось, чтобы кто-то мог перечислить преимущества экспоненциальной семьи. Под экспоненциальным семейством я подразумеваю распределения, которые задаются как

\begin{aligned} f (x | θ) = h (x) \exp {η (θ) T (x) - B (θ)} \end{aligned}

$\begin{align*} f(x|\theta) = h(x)\exp\left\{\eta(\theta)T(x) - B(\theta)\right\} \end{align*}$

чья поддержка не зависит от параметра . Вот некоторые преимущества, которые я узнал: $\theta$

(а) Включает в себя широкий спектр распределений.

(б) Он предлагает естественную достаточную статистику согласно теореме Неймана-Фишера. $T(x)$

(d) Это позволяет легко отделить связь между ответом и предиктором от условного распределения ответа (через функции связи).

Кто-нибудь может предоставить какое-то другое преимущество?

self-study exponential-family

— user1337
источник

чтобы обеспечить общность ответов: есть ли полезные PDF, которые не входят в экспоненциальное семейство?

— Медуз

Ответы:

... почему мы должны изучать это и использовать это?

Я думаю, что ваш список преимуществ эффективно отвечает на ваш собственный вопрос, но позвольте мне предложить несколько метаматематических комментариев, которые могут прояснить эту тему. Вообще говоря, математики любят обобщать понятия и результаты вплоть до максимальной точки, которую они могут, в пределах их полезности, То есть, когда математики разрабатывают концепцию и обнаруживают, что к этой концепции применима одна или несколько полезных теорем, они, как правило, будут стремиться обобщать концепцию и результаты все больше и больше, пока не дойдут до того, что дальнейшее обобщение сделает результаты неприменимыми. или больше не полезно. Как видно из вашего списка, к экспоненциальному семейству прикреплен ряд полезных теорем, и он охватывает широкий класс распределений. Этого достаточно, чтобы сделать его достойным объектом изучения и полезным математическим занятием на практике.

Кто-нибудь может предоставить какое-то другое преимущество?

Этот класс обладает различными хорошими свойствами в байесовском анализе. В частности, экспоненциальные семейные распределения всегда имеют сопряженные априорные, а результирующее апостериорное предиктивное распределение имеет простую форму. Это делает чрезвычайно полезным класс распределений в байесовской статистике. Действительно, он позволяет проводить байесовский анализ с использованием сопряженных априоров с чрезвычайно высоким уровнем общности, охватывающим все распределительные семейства в экспоненциальном семействе.

— Восстановить Монику
источник

Я второй номинации «сопряженный до» в качестве причины, чтобы любить экспоненциальную семью. Действительно, сопряженные априорные значения и достаточная статистика играют очень хорошо вместе, поэтому вместе они будут на вершине моего списка причин для использования экспоненциального семейства.

— Питер Леопольд

Ах! Я вижу, байесовец!

— Восстановить Монику

Как вы знаете, апостериорный прогноз имеет простую форму? Например, апостериорный прогноз нормальной модели с неизвестным средним и дисперсией является нецентральным, измеренным по шкале студента. Это простая форма?

— Нил Дж

@Neil G: С данными IID из экспоненциального семейства и сопряженным предшествованием, прогнозирующее распределение является отношением двух экземпляров нормализующей функции для предшествующего, где аргументы знаменателя обновляются путем добавления достаточной статистики и количества наблюдений для новые данные. Это простая и общая форма прогнозирующего распределения, которая получается путем нахождения нормализующего коэффициента для предшествующего конъюгата (см., Например, раздел 9.0.5 этих примечаний ).

— Восстановить Монику

Хорошо, я вижу. Я никогда не видел этого раньше, спасибо.

— Нил Дж

Я бы сказал, что наиболее убедительной мотивацией для экспоненциальных семейств является то, что они представляют собой минимальное предполагаемое распределение с учетом измерений . Если у вас есть действительный датчик, измерения которого суммируются по среднему значению и дисперсии, то минимальное допущение, которое вы можете сделать относительно его наблюдений, состоит в том, что они обычно распределены. Каждое экспоненциальное семейство является результатом аналогичного набора допущений.

Джейнс придерживается этого принципа максимальной энтропии:

«Максимально-энтропийное распределение можно утверждать по положительной причине, что оно однозначно определяется как то, которое является максимально не обязательным в отношении недостающей информации, вместо отрицательного, что не было оснований думать иначе. Таким образом, концепция энтропии обеспечивает недостающий критерий выбора… »

— Нил Г
источник