Формула вероятности для многомерного распределения Бернулли

13

Мне нужна формула для вероятности события в n-вариативном распределении Бернулли $X\in\{0,1\}^n$ с заданными вероятностями $P(X_i=1)=p_i$ для одного элемента и для пар элементов $P(X_i=1 \wedge X_j=1)=p_{ij}$ . Эквивалентное я мог бы дать среднее значение и ковариация $X$ .

Я уже узнал, что существует много распределений, имеющих свойства, так же как существует много распределений, имеющих данное среднее значение и ковариацию. Я ищу каноническое значение на , так же как гауссово является каноническим распределением для и заданного среднего значения и ковариации. $\{0,1\}^n$ $\{0,1\}^n$ $R^n$

multivariate-analysis discrete-data

— mpiktas
источник

11

Случайная переменная, принимающая значения в является дискретной случайной величиной. Его распределение полностью описывается вероятностями с . Приведенные вами вероятности и являются суммами для определенных индексов . $\{0,1\}^n$ $p_{\mathbf{i}}=P(X=\mathbf{i})$ $\mathbf{i}\in\{0,1\}^n$ $p_{i}$ $p_{ij}$ $p_{\mathbf{i}}$ $\mathbf{i}$

Теперь кажется, что вы хотите описать , используя только и . Это невозможно без принятия определенных свойств на $p_{\mathbf{i}}$ $p_i$ $p_{ij}$ $p_{\mathbf{i}}$ . Для того, чтобы увидеть , что попытаться вывести характеристической функции из . Если мы возьмем мы получим $X$ $n=3$

Невозможно переставить это выражение так, чтобы

\begin{aligned} E e^{i (t_{1} X_{1} + t_{2} X_{2} + t_{3} X_{3})} & = p_{000} + p_{100} e^{i t_{1}} + p_{010} e^{i t_{2}} + p_{001} e^{i t_{3}} \\ + p_{110} e^{i (t_{1} + t_{2})} + p_{101} e^{i (t_{1} + t_{3})} + p_{011} e^{i (t_{2} + t_{3})} + p_{111} e^{i (t_{1} + t_{2} + t_{3})} \end{aligned}

$\begin{align} Ee^{i(t_1X_1+t_2X_2+t_3X_3)}&=p_{000}+p_{100}e^{it_1}+p_{010}e^{it_2}+p_{001}e^{it_3}\\\\ &+p_{110}e^{i(t_1+t_2)}+p_{101}e^{i(t_1+t_3)}+p_{011}e^{i(t_2+t_3)}+p_{111}e^{i(t_1+t_2+t_3)} \end{align}$

p_{i}

$p_{\mathbf{i}}$ dissapear. For the gaussian random variable the characteristic function depends only on mean and covariance parameters. Characteristic functions uniquely define distributions, so this is why Gaussian can be described uniquely by using only mean and covariance. As we see for random variable

X

$X$ this is not the case.

— mpiktas
источник

10

See the following paper:

J. L. Teugels, Some representations of the multivariate Bernoulli and binomial distributions, Journal of Multivariate Analysis, vol. 32, no. 2, Feb. 1990, 256–268.

Here is the abstract:

Multivariate but vectorized versions for Bernoulli and binomial distributions are established using the concept of Kronecker product from matrix calculus. The multivariate Bernoulli distribution entails a parameterized model, that provides an alternative to the traditional log-linear model for binary variables.

— Hamed
источник

2

Thank you for sharing that, Hamed. Welcome to our site!

— whuber

1

I don't know what the resulting distribution is called, or if it even has a name, but it strikes me the obvious way to set this up is to think of the model you'd use to model a 2×2×2×…×2 table using a log-linear (Poisson regression) model. As you know the 1st-order interactions only, it's then natural to assume that all higher-order interactions are zero.

Using the questioner's notation, this gives the model:

P (X_{1} = x_{1}, X_{2} = x_{2}, \dots, X_{n} = x_{n}) = \prod_{i} [p_{i}^{x_{i}} (1 - p_{i})^{1 - x_{i}} \prod_{j < i} {(\frac{p_{i j}}{p_{i} p_{j}})}^{x_{i} x_{j}}]

$P(X_1=x_1, X_2=x_2,\ldots,X_n=x_n) = \prod_i \left[ p_i^{x_i}(1-p_i)^{1-x_i} \prod_{j<i} \left(\frac{p_{ij}}{p_i p_j}\right)^{x_i x_j} \right]$

— onestop
источник

This formula has notational problems: there are

p

$p$ 's on the left and the right. The right side makes no reference at all to the subscript

i

$\mathbf{i}$ . Furthermore, still interpreting the

p_{i}

$p_i$ as probabilities (as in the original question), the rhs clearly is positive whereas the lhs cannot be positive.

— whuber

@whuber Quite right! I stick by the model I set out in the first para, but my equation was screwed up in several ways... Goes to show I haven't actually used log-linear modelling of contingency tables since my MSc, and I haven't got the notes or books to hand. I believe I've fixed it now though. Let me know if you agree! Apols for the delay. Some days my brain just doesn't do algebra.

— onestop

1

I don't think this works. Assume

p_{i} = 1 / n

$p_i=1/n$ and

p_{i j} = 0 \forall i \neq j

$p_{ij}=0 \forall i \ne j$ . This is a valid combination of probabilities, realized when

I

$I$ is a uniform random variable

\in {1, . . ., n}

$\in\{1,...,n\}$ and

X_{I} = 1

$X_I=1$ and all

X_{j} = 0 \forall j \neq I

$X_j=0 \forall j\ne I$ . Still the formula above would be 0 for all events. Still thanks for helping!