Переключиться с моделирования процесса с использованием распределения Пуассона, чтобы использовать отрицательное биномиальное распределение?

$\newcommand{\P}{\mathbb{P}}$ Мы имеем случайный процесс , который может или может-не-происходить несколько раз в течение заданного периода времени $T$ . У нас есть поток данных из уже существующей модели этого процесса, который обеспечивает вероятность ряда событий, происходящих в период $0 \leq t < T$ . Эта существующая модель устарела, и нам нужно выполнить живые проверки данных фида для ошибок оценки. Старая модель, производящая поток данных (который обеспечивает вероятность $n$ событий, происходящих за оставшееся время $t$ ), приблизительно распределена по Пуассону.

Таким образом, чтобы проверить наличие аномалий / ошибок, мы допустим, чтобы $t$ было оставшимся временем, а $X_t$ - общим числом событий, произошедших за оставшееся время $t$ . Старая модель подразумевает оценки $\P(X_t \leq c)$ . Таким образом, по нашему предположению $X_t\sim \operatorname{Poisson}(\lambda_{t})$ имеем:

P (X_{t} \leq c) = e^{- λ} \sum_{k = 0}^{c} \frac{λ_{t}^{k}}{k!} .

$\P(X_t \leq c) = e^{-\lambda}\sum_{k=0}^c\frac{\lambda_t^k}{k!}\,.$ Чтобы вывести нашу частоту событий

λ_{t}

$\lambda_t$ из выходных данных старой модели (наблюдения

y_{t}

$y_{t}$ ), мы используем подход пространства состояний и моделируем отношение состояний следующим образом:

y_{t} = λ_{t} + ε_{t} (ε_{t} \sim N (0, H_{t})) .

$y_t = \lambda_t + \varepsilon_t\quad (\varepsilon_t \sim N(0, H_t))\,.$ Мы фильтруем наблюдения из старой модели, используя модель пространства состояний [затухание с постоянной скоростью] для эволюции

λ_{t}

$\lambda_t$ чтобы получить отфильтрованное состояние

E (λ_{t} | Y_{t})

$E(\lambda_t|Y_t)$ и

аномалию / ошибку в расчетной частоте события из данные канала, если

E (λ_{t} | Y_{t}) < y_{t}

$E(\lambda_t|Y_t) < y_t$ .

Этот подход прекрасно работает при обнаружении ошибок в подсчитанных событиях за полный период времени $T$ , но не так хорошо, если мы хотим сделать то же самое для другого периода $0 \leq t < \sigma$ где $\sigma < \frac{2}{3} T$ . Чтобы обойти это, мы решили, что теперь хотим переключиться на использование отрицательного биномиального распределения, так что теперь мы предполагаем $X_t\sim NB(r, p)$ и имеем:

P (X_{t} \leq c) = p^{r} \sum_{k = 0}^{c} (1 - p)^{k} (\binom{k + r - 1}{r - 1}),

$\P(X_{t} \leq c) = p^{r}\sum_{k = 0}^c (1 - p)^{k}\binom{k + r -1}{r - 1},$ где параметр

λ

$\lambda$ теперь заменен на

r

$r$ и

p

$p$ , Это должно быть легко реализовать, но у меня возникли некоторые трудности с интерпретацией, и поэтому у меня есть несколько вопросов, с которыми я бы хотел вам помочь:

1. Можем ли мы просто установить $p = \lambda$ в отрицательном биномиальном распределении? Если нет, то почему?

2. Предполагая, что мы можем установить $p = f(\lambda)$ где $f$ - некоторая функция, как мы можем правильно установить $r$ (нужно ли нам соответствовать $r$ используя прошлые наборы данных)?

3. Зависит ли $r$ от числа событий, которые мы ожидаем произойти во время данного процесса?

Дополнение к извлечению оценок для $r$ (и $p$ ):

Мне известно, что если бы у нас на самом деле была эта проблема, и у нас было число событий для каждого процесса, мы могли бы принять оценку максимального правдоподобия для и . Конечно, максимальная оценка правдоподобия существует только для выборок, для которых выборочная дисперсия больше среднего значения выборки, но если бы это было так, мы могли бы установить функцию вероятности для независимых идентично распределенных наблюдений as: из которого мы можем записать логарифмическую функцию правдоподобия как: $r$ $p$ $N$ $k_1, k_2, \ldots, k_{N}$

L (r, p) = \prod_{i = 1}^{N} P (k_{i}; r, p),

$L(r, p) = \prod_{i = 1}^{N}\P(k_i; r, p),$

l (r, p) = \sum_{i = 1}^{N} \ln (Γ (k_{i} + r)) - \sum_{i = 1}^{N} \ln (k_{i}!) - N \ln (Γ (r)) + \sum_{i = 1}^{N} k_{i} \ln (p) + N r \ln (1 - p) .

$l(r, p) = \sum_{i = 1}^{N} \ln(\Gamma(k_i + r)) - \sum_{i = 1}^{N} \ln(k_{i}!) - N\ln(\Gamma(r)) + \sum_{i = 1}^{N} k_i \ln(p) + N r\ln(1 - p).$ Чтобы найти максимум, мы берем частные производные по и и устанавливаем их равными нулю: Установка и настройка находим:

r

$r$

p

$p$

\begin{aligned} \partial_{r} l (r, p) & = \sum_{i = 1}^{N} ψ (k_{i} + r) - N ψ (r) + N \ln (1 - p), \\ \partial_{p} l (r, p) & = \sum_{i = 1}^{N} k_{i} \frac{1}{p} - N r \frac{1}{1 - p} . \end{aligned}

$\begin{align*} \partial_{r} l(r, p) &= \sum_{i = 1}^{N} \psi(k_i + r) - N\psi(r) + N\ln(1 - p), \\ \partial_{p} l(r, p) &= \sum_{i = 1}^{N} k_i\frac{1}{p} - N r \frac{1}{1 - p} \enspace . \end{align*}$

\partial_{r} l (r, p) = \partial_{p} l (r, p) = 0

$\partial_{r} l(r, p) = \partial_{p} l(r, p) = 0$

p = \sum_{i = 1}^{N} \frac{k_{i}}{(N r + \sum_{i = 1}^{N} k_{i})},

$p = \displaystyle\sum_{i = 1}^{N} \displaystyle\frac{k_i} {(N r + \sum_{i = 1}^{N} k_i)},$

\partial_{r} l (r, p) = \sum_{i = 1}^{N} ψ (k_{i} + r) - N ψ (r) + N \ln (\frac{r}{r + \sum_{i = 1}^{N} \frac{k_{i}}{N}}) = 0.

$\partial_{r} l(r, p) = \sum_{i = 1}^{N} \psi(k_i + r) - N \psi(r) + N\ln\left(\frac{r}{r + \sum_{i = 1}^{N} \frac{k_i}{N}}\right) = 0.$ Это уравнение не может быть решено для r в замкнутой форме с использованием Ньютона или даже EM. Однако в этой ситуации это не так. Хотя мы могли бы использовать прошлые данные для получения статических и это на самом деле бесполезно для нашего процесса, нам нужно адаптировать эти параметры во времени, как мы это делали с помощью Пуассона.

r

$r$

p

$p$

— Moonknight
источник

Почему бы просто не подключить ваши данные к модели регрессии Пуассона или отрицательной биномиальной модели?

— StatsStudent

Я не чувствую , что это должно иметь , чтобы использовать. Принимая во внимание, что Пуассон является предельным случаем отрицательного бинома, должен быть какой-то способ параметризовать эту проблему аналогично тому, как я это сделал для Пуассона. Кроме того, этот процесс происходит одновременно для тысяч разностных процессов, и ни один из них не имеет одинаковую «частоту событий», что означает, что анализ регрессии для этих параметров должен проводиться при каждом новом наблюдении для всех живых процессов. Это неосуществимо. Большое спасибо, что

— нашли

С точки зрения связывания пуассона с NB, если у вас есть со скрытой переменной дисперсии так что и . Это даст предельное распределение NB при интегрировании . Вы можете использовать это, чтобы помочь.

(X_{t} | λ_{t}, r_{t}, g_{t}) \sim P o i s (λ_{t} g_{t})

$(X_t|\lambda_t,r_t,g_t)\sim Pois (\lambda_tg_t)$

(g_{t} | r_{t}) \sim G a m m a (r_{t}, r_{t})

$(g_t|r_t)\sim Gamma (r_t,r_t)$

E (g_{t}) = 1

$E (g_t)=1$

v a r (g_{t}) = r_{t}^{- 1}

$var(g_t)=r_t^{-1}$

g_{t}

$g_t$

— вероятностная

Это отличная помощь, но можете ли вы уточнить это немного подробнее и предоставить некоторые подробности? Большое спасибо за ваше время ...

— MoonKnight

Как насчет использования бинома, а не отрицательного бинома? Это может быть проще сделать. Анскомб FJ. Преобразование пуассоновских, биномиальных и отрицательно-биномиальных данных. Biometrika. 1948; 35: 246-54.

— Карл

Отрицательное биномиальное распределение очень похоже на модель биномиальной вероятности. это применимо, когда следующие предположения (условия) остаются в силе 1) Любой эксперимент проводится при тех же условиях, пока не будет достигнуто фиксированное количество успехов, скажем, C 2) Результат каждого эксперимента можно классифицировать в одну из двух категорий , успех или неудача 3) Вероятность P успеха одинакова для каждого эксперимента. Каждый эксперимент не зависит от всех остальных. Первое условие является единственным ключевым дифференцирующим фактором между биномиальным и отрицательным биномиальным

— Вишва Дхарма
источник

Распределение Пуассона может быть разумным приближением бинома при определенных условиях, таких как 1) Вероятность успеха для каждого испытания очень мала. P -> 0 2) np = m (скажем) отлично. Правило, наиболее часто используемое статистиками, состоит в том, что пуассон является хорошим приближением бинома, когда n равно или больше 20, а p равно или меньше 5 %

— Вишва Дхарма
источник