Как смоделировать сумму случайных величин Бернулли для зависимых данных?

У меня есть почти такие же вопросы, как этот: Как я могу эффективно моделировать сумму случайных величин Бернулли?

Но настройка совсем другая:

1. P ( X i = 1 ) = p i N p $S=\sum_{i=1,N}{X_i}$ , , ~ 20, ~ 0,1$P(X_{i}=1)=p_i$$N$$p_i$

2. У нас есть данные для результатов случайных величин Бернулли: ,$X_{i,j}$$S_j=\sum_{i=1,N}{X_{i,j}}$

3. Если мы оценим с максимальной оценкой правдоподобия (и получим ), то получится, что намного больше, чем ожидается по другим критериям:$p_i$P { S = 3 } ( р М Л Е я ) Р { S = 3 } ( р М Л Е я ) - Р е х р е с т е д { S = 3 } ≈ $\hat p^{MLE}_i$$\hat P\{S=3\} (\hat p^{MLE}_i)$$\hat P\{S=3\} (\hat p^{MLE}_i) - \hat P^{expected} \{S=3\}\approx 0.05$

4. Таким образом, и (j> k) не могут рассматриваться как независимые (они имеют небольшую зависимость).$X_{i}$$X_{j}$ $(j>k)$

5. Есть некоторые ограничения, подобные этим: $p_{i+1} \ge p_i$ и $\sum_{s \le 2}\hat P\{S=s\}=A$ (известный), который должен помочь с оценкой $P\{S\}$ .

Как мы можем попытаться смоделировать сумму случайных величин Бернулли в этом случае?

Какая литература может быть полезна для решения задачи?

ОБНОВЛЕНО

Есть еще несколько идей:

(1) Можно предположить, что неизвестная зависимость между начинается после 1 или более последовательных успехов. Поэтому, когда , и . ∑ i = 1 , K X i >0 p K + 1 → p ′ K + 1 p ′ K + 1 < p K + ${X_i}$$\sum_{i=1,K}{X_i} > 0$$p_{K+1} \to p'_{K+1}$$p'_{K+1} < p_{K+1}$

(2) Чтобы использовать MLE, нам нужна наименее сомнительная модель. Вот вариант:

Σ я = 1 , к Й я = 0 P { X 1 , . , , , Х к , Х к + 1 , . , , , X $P\{X_1,...,X_k\}= (1-p_1) ... (1-p_k)$ если для любого k if и , а для любого k.$\sum_{i=1,k}{X_i} = 0$∑ i = 1 , k - 1 X i = 0 X k = 1 P ′ { X k + 1 = 1 , X k + 2 = 1 $P\{X_1,...,X_k,X_{k+1},...,X_N\}= (1-p_1) ... p_k P'\{X_{k+1},...,X_N\}$$\sum_{i=1,k-1}{X_i} = 0$$X_k = 1$$P'\{X_{k+1}=1,X_{k+2}=1,...,X_N=1\} \le p_{k+1} p_{k+2} ... p_N$

(3) Поскольку нас интересует только мы можем установить (вероятность успеха для N- (k + 1) +1 слагаемых из хвоста). И используйте параметризациюР ' { Х к + 1 , . , , , X N } ≈ P ″ { ∑ i = 1 , k X i = s ′ ; N - ( k + 1 ) + 1 = l } ∑ i = k + 1 , N X i P ″ { $P\{S\}$$P'\{X_{k+1},...,X_N\} \approx P''\{\sum_{i=1,k}{X_i}=s' ; N-(k+1)+1=l\}$$\sum_{i=k+1,N}{X_i}$$P''\{\sum_{i=k,N}{X_i}=s' ; N-k+1=l\}= p_{s',l}$

(4) Используйте MLE для модели, основанной на параметрах и с для (и любого ) и некоторых других собственных ограничений ,p 0 , 1 , p 1 , 1 ; p 0 , 2 , p 1 , 2 , p 2 , 2 ; , , , р в сек ' , л = 0 с ' ≥ 6 $p_1,...,p_N$$p_{0,1}, p_{1,1}; p_{0,2}, p_{1,2}, p_{2,2};...$$p_{s',l}=0$$s' \ge 6$$l$

Все ли в порядке с этим планом?

ОБНОВЛЕНО 2

Некоторые примеры эмпирического распределения (красный) по сравнению с распределением Пуассона (синий) (среднее значение Пуассона составляет 2,22 и 2,45, размеры выборки 332 и 259):$P\{S\}$

Для образцов (А1, А2) с пуассоновскими значениями 2,28 и 2,51 (размеры образцов 303 и 249):

Для объединенного samlpe A1 + A2 (размер выборки 552):

Похоже, исправление Пуассона должно быть лучшей моделью :).

Одним из подходов было бы моделирование с обобщенной линейной моделью (GLM). Здесь вы бы сформулировали , вероятность успеха в -м испытании как (логистическую линейную) функцию недавней истории наблюдений. Таким образом, вы по сути устанавливаете авторегрессионную GLM, где шум - это Бернулли, а функция связи - логит. Настройка:$X$$p_i$$i$

$p_i = f(b + a_1 X_{i-1} + a_2 X_{i-2} + \ldots a_k X_{i-k})$ , где

$f(x) = \frac{1}{1+\exp(x)}$ и

$X_i \sim Bernoulli(p_i)$

Параметры модели: , которые можно оценить с помощью логистической регрессии. (Все, что вам нужно сделать, это настроить матрицу проектирования, используя соответствующую часть истории наблюдений в каждом испытании, и передать ее в функцию оценки логистической регрессии; логарифмическая вероятность является вогнутой, поэтому для параметров существует уникальный глобальный максимум). Если результаты действительно независимы, тогда будет установлен на ноль; положительное значение означает, что последующие значения увеличиваются всякий раз, когда наблюдается успех.a i a i p $\{b, a_1, \ldots a_k\}$$a_i$$a_i$$p_i$

Модель не предоставляет простого выражения для вероятности по сумме значений , но это легко вычислить путем моделирования (фильтрация частиц или MCMC), поскольку модель имеет простую марковскую структуру.$X_i$

Этот тип модели с большим успехом использовался для моделирования временных зависимостей между «пиками» нейронов в мозге, и существует обширная литература по моделям авторегрессионных точечных процессов. См., Например, Truccolo et al 2005 (хотя в этой статье вместо вероятности Бернулли используется Пуассон, но отображение от одного к другому просто).

Если зависимость вызвана комкованием, то решением может быть составная модель Пуассона в качестве модели . Несколько случайная ссылка - это Барбур и Криссафину.$S_j$

В совершенно другом направлении, поскольку вы указываете, что равно 20, и, следовательно, относительно мало, можно построить графическую модель , но я не знаю, позволяют ли ваши настройки и данные сделать это возможным. Как комментарии @chl, будет полезно, если вы опишите, что такое .X i j X i , $N$$X_{ij}$$X_{i,j}$

Если представляют собой последовательные измерения, например, во времени, и зависимость связана с этим, третья возможность - и в некоторой степени компромисс между двумя вышеупомянутыми предложениями - это использовать скрытую марковскую модель «с. X i , $X_{i,j}$$X_{i,j}$