Почему распределение Дирихле является приоритетным для многочленного распределения?

В алгоритме модели темы LDA я видел это предположение. Но я не знаю, почему выбрал дистрибутив Дирихле? Я не знаю, можем ли мы использовать равномерное распределение по многочлену в паре?

Распределение Дирихле является сопряженным априором для многочленного распределения. Это означает, что если предыдущим распределением полиномиальных параметров является Dirichlet, то заднее распределение также является распределением Dirichlet (с параметрами, отличающимися от параметров предыдущего). Преимущество этого состоит в том, что (а) апостериорное распределение легко вычислить и (б) в некотором смысле можно количественно определить, насколько наши убеждения изменились после сбора данных.

Можно, конечно, обсудить, являются ли это вескими причинами для выбора конкретного априора, поскольку эти критерии не связаны с фактическими априорными убеждениями ... Тем не менее, сопряженные априорные значения популярны, поскольку они часто достаточно гибки и удобны в использовании по причинам, указанным выше. ,

For the special case of the multinomial distribution, let $(p_1,\ldots,p_k)$ be the vector of multinomial parameters (i.e. the probabilities for the different categories). If

$$(p_1,\ldots,p_k)\sim \mbox{Dirichlet}(\alpha_1,\ldots,\alpha_k)$$ prior to collecting the data, then, given observations $(x_1,\ldots,x_k)$ in the different categories, $$(p_1,\ldots,p_k)\Big|(x_1,\ldots,x_k)\sim \mbox{Dirichlet}(\alpha_1+x_1,\ldots,\alpha_k+x_k).$$

The uniform distribution is actually a special case of the Dirichlet distribution, corresponding to the case $\alpha_1=\alpha_2=\cdots=\alpha_k=1$. So is the least-informative Jeffreys prior, for which $\alpha_1=\cdots=\alpha_k=1/2$. The fact that the Dirichlet class includes these natural "non-informative" priors is another reason for using it.

In addition rather than contradiction to Måns T's answer, I simply point out that there is no such thing as "the prior" in Bayesian modelling! The Dirichlet distribution is a convenient choice because of (a) conjugacy, (b) computing, and (c) connection with non-parametric statistics (since this is the discretised version of the Dirichlet process).

However, (i) whatever prior you put on the weights of the multinomial is a legitimate answer at the subjective Bayes level and (ii) in case of prior information being available there is no reason it simplifies into a Dirichlet distribution. Note also that mixtures and convolutions of Dirichlet distributions can be used as priors.