Невозможная проблема оценки?

Вопрос

Дисперсия отрицательного биномиального (NB) распределения всегда больше его среднего значения. Когда среднее значение выборки превышает ее дисперсию, попытка подобрать параметры NB с максимальной вероятностью или с оценкой момента не удастся (решения с конечными параметрами не существует).

Однако возможно, что выборка, взятая из распределения NB, имеет среднее значение, превышающее дисперсию. Вот воспроизводимый пример в R.

set.seed(167)
x = rnbinom(100, size=3.2, prob=.8);
mean(x) # 0.82
var(x) # 0.8157576

Существует ненулевая вероятность того, что NB произведет выборку, для которой параметры не могут быть оценены (методами максимального правдоподобия и момента).

Можно ли дать достойные оценки для этого образца?
Что говорит теория оценки, когда оценки не определены для всех выборок?

Об ответе

Ответы @MarkRobinson и @Yves заставили меня понять, что параметризация является главной проблемой. Плотность вероятности НБ обычно записывается как

или как

P (X = k) = \frac{Γ (r + k)}{Γ (r) k!} (1 - p)^{r} p^{k}

$P(X = k) = \frac{\Gamma(r+k)}{\Gamma(r)k!}(1-p)^rp^k$

P (X = k) = \frac{Γ (r + k)}{Γ (r) k!} {(\frac{r}{r + m})}^{r} {(\frac{m}{r + m})}^{k} .

$P(X = k) = \frac{\Gamma(r+k)}{\Gamma(r)k!} \left(\frac{r}{r+m}\right)^r \left(\frac{m}{r+m}\right)^k.$

При первой параметризации оценка максимального правдоподобия равна всякий раз, когда дисперсия выборки меньше среднего, поэтому ничего полезного нельзя сказать о . Под вторым это , поэтому мы можем дать разумную оценку . Наконец, @MarkRobinson показывает, что мы можем решить проблему бесконечных значений, используя $(\infty, 0)$ $p$ $(\infty, \bar{x})$ $m$ вместо. $\frac{r}{1+r}$ $r$

В заключение, в этой проблеме оценки нет ничего принципиально неправильного, за исключением того, что вы не всегда можете дать значимые интерпретации и для каждой выборки. Честно говоря, идеи присутствуют в обоих ответах. Я выбрал @MarkRobinson как правильный для дополнений, которые он дает. $r$ $p$

estimation maximum-likelihood negative-binomial

— gui11aume
источник

Неверно утверждать, что в таком случае максимальная вероятность не срабатывает. Только моментальные методы могут столкнуться с трудностями.

— Сиань

@ Сиань Вы можете расширить? Вероятность этого образца не имеет максимума в области

(также см это , например). Я что-то пропустил? В любом случае, если вы можете дать оценки ML параметров для этого случая, я обновлю вопрос.

(0, \infty) \times (0, 1)

$(0,\infty) \times (0,1)$

— gui11aume

Вероятность может иметь максимум на бесконечном расстоянии при

. Аналогичная проблема, но с более простой диагностикой, относится к распределению Ломакса : известно, что оценка ML формы бесконечна, когда образец имеет коэффициент вариации

. Тем не менее, вероятность этого события положительна для любого размера выборки и довольно велика, скажем, для

p \to 0

$p \to 0$

r \to \infty

$r \to \infty$

CV < 1

$\text{CV} < 1$

α = 20

$\alpha = 20$

n = 200

$n = 200$

— Ив

@Yves Спасибо за этот другой пример (о котором я не знал). Что люди делают в этом случае?

— gui11aume

В примере Lomax некоторые люди предпочли бы использовать экспоненциальное распределение, которое является пределом для

. Это сводится к принятию бесконечной оценки ML. Ради инвариантности путем повторной параметризации, я считаю, что бесконечные параметры могут иметь смысл в некоторых случаях. Для вашего примера NB то же самое происходит, если мы решили использовать распределение Пуассона, получающееся из

α \to \infty

$\alpha \to \infty$

λ / α \to θ > 0

$\lambda / \alpha \to \theta >0$

r p / (1 - p) \to λ

$rp/(1-p) \to \lambda$

— Ив

Ответы:

По сути, для вашего примера оценка параметра размера находится на границе пространства параметров. Можно также рассмотреть вопрос о репараметризации, такой как d = размер / (размер + 1); когда размер = 0, d = 0, когда размер стремится к бесконечности, d приближается к 1. Оказывается, что для заданных вами параметров настройки оценки размера бесконечности (d, близкие к 1) происходят примерно в 13% времени для Оценки скорректированного профиля (APL) Кокса-Рейда, которые являются альтернативой оценкам MLE для NB (пример показан здесь) . Оценки среднего параметра (или «вероятности»), кажется, в порядке (см. Рисунок, синие линии - истинные значения, красная точка - оценка для вашего семени = 167 выборок). Более подробная информация о теории APL здесь .

Итак, я бы сказал, что 1 .: Оценки приличного параметра могут быть получены .. размер = бесконечность или дисперсия = 0 является разумной оценкой, учитывая выборку. Рассмотрим другое пространство параметров, и оценки будут конечными.

— Марк Робинсон
источник

Спасибо, что присоединились к сайту, чтобы ответить на мой вопрос! Детализация скорректированного профиля Cox-Reid с вероятностью выглядит очень многообещающе.

— gui11aume

$p \to 0$ $r \to \infty$ $\Theta := (0,\,1)\times(0,\,\infty)$ $\lambda >0$ $[p,\,r] \in \Theta$ $p \to 0$ $r \to \infty$ $rp/(1-p) \to \lambda$

$\text{CV} < 1$ $>0.3$ $\alpha = 20$ $n = 200$

Свойства ML предназначены для большого размера выборки: в условиях регулярности показано, что оценка ML существует, является уникальной и имеет тенденцию к истинному параметру. Тем не менее, для данного конечного размера выборки оценка ML может не существовать в области, например, потому что максимум достигнут на границе. Он также может существовать в домене, который больше, чем тот, который используется для максимизации.

$\alpha \to \infty$ $\lambda / \alpha \to \theta >0$ $\text{GPD}(\sigma,\,\xi)$ $\xi >0$ $\widehat{\xi} < 0$ $\widehat{\xi} = 0$

Ради инвариантности путем повторной параметризации, я считаю, что бесконечные параметры могут иметь смысл в некоторых случаях.

— Ив
источник