Оценка максимального правдоподобия для отрицательного биномиального распределения

Вопрос в следующем:

Случайная выборка из n значений собирается из отрицательного биномиального распределения с параметром k = 3.

Найти оценку максимального правдоподобия параметра π.

Найти асимптотическую формулу для стандартной ошибки этой оценки.

Объясните, почему отрицательное биномиальное распределение будет приблизительно нормальным, если параметр k достаточно велик. Каковы параметры этого нормального приближения?

Моя работа заключалась в следующем:
1. Я чувствую, что это то, что нужно, но я не уверен, что я здесь прав, или могу ли я пойти дальше, учитывая предоставленную информацию?

p (x) = (\binom{x - 1}{k - 1}) π^{k} (1 - π)^{x - k} L (π) = Π_{i}^{n} p (x_{n} | π) ℓ (π) = Σ_{i}^{n} \ln (p (x_{n} | π)) ℓ ‘ (π) = Σ_{i}^{n} \frac{k}{π} - \frac{(x - k)}{(1 - π)}

$p(x) = {x-1 \choose k-1}\pi^k(1-\pi)^{x-k}\\ L(\pi) = \Pi_i^n p(x_n|\pi)\\ \ell(\pi) = \Sigma_i^n\ln(p(x_n|\pi))\\ \ell`(\pi) = \Sigma_i^n\dfrac{k}{\pi}-\dfrac{(x-k)}{(1-\pi)}$

Я думаю, что следующее - то, о чем просят. В заключительной части я чувствую, что мне нужно заменить $\hat{\pi}$ на $\dfrac{k}{x}$
$ℓ ‘ ‘ (\hat{π}) = - \frac{k}{{\hat{π}}^{2}} + \frac{x}{(1 - \hat{π})^{2}} s e (\hat{π}) = \sqrt{- \frac{1}{ℓ ‘ ‘ (\hat{π})}} s e (\hat{π}) = \sqrt{\frac{{\hat{π}}^{2}}{k} - \frac{(1 - \hat{π})^{2}}{x}}$ $\ell``(\hat{\pi}) = -\dfrac{k}{\hat{\pi}^2} + \dfrac{x}{(1-\hat{\pi})^2}\\ se(\hat{\pi}) = \sqrt{-\dfrac{1}{\ell``(\hat{\pi})}}\\ se(\hat{\pi}) = \sqrt{\dfrac{\hat{\pi}^2}{k} - \dfrac{(1-\hat{\pi})^2}{x}}\\$
Я не совсем уверен, как доказать это, и все еще исследую это. Любые советы или полезные ссылки будут с благодарностью. Я чувствую, что это связано либо с тем фактом, что отрицательное биномиальное распределение можно рассматривать как совокупность геометрических распределений, либо с инверсией биномиального распределения, но не знаю, как к нему подойти.

Любая помощь будет принята с благодарностью

self-study maximum-likelihood negative-binomial

— Syzorr
источник

(1) Чтобы найти оценку максимального правдоподобия вам нужно найти, где функция логарифмического правдоподобия достигает своего максимума. Вычисление оценки (первая производная логарифмической функции правдоподобия по отношению к ) является началом - какое значение это примет в максимуме? (И помните, вам не нужно оценивать .)

\hat{π}

$\hat \pi$

π

$\pi$

k

$k$

— Scortchi - Восстановить Монику

Я забыл добавить производную логарифмического правдоподобия = 0 с целью выяснения максимума. Если я понял это правильно (работал над этим еще с момента публикации), то у меня есть

\frac{k}{π} - \frac{Σ_{i = 0}^{n} (x_{i} - k)}{(1 - π)} = 0

$\dfrac{k}{\pi}-\dfrac{\Sigma_{i=0}^n(x_i-k)}{(1-\pi)} = 0$

— Сызорр,

Будьте осторожны:Также обратите внимание, что

\sum_{i = 1}^{n} \frac{k}{π} - \sum_{i = 1}^{n} \frac{(x_{i} - k)}{(1 - π)} = ?

$\sum_{i=1}^n \frac{k}{\pi} - \sum_{i=1}^n{\frac{(x_i-k)}{(1-\pi)}} = \ ?$

i

$i$

— начинаю с

В (2) редко бывает, чтобы обратная разница была разностью обратных величин. Эта ошибка сильно влияет на вашу окончательную формулу для .

s e (\hat{π})

$se(\hat\pi)$

— whuber

$p(x) = {x_i-1 \choose k-1}\pi^k(1-\pi)^{x_i-k}$

$L(\pi;x_i) = \prod_{i=1}^{n}{x_i-1 \choose k-1}\pi^k(1-\pi)^{x_i-k}\\$

$\ell(\pi;x_i) = \sum_{i=1}^{n}[log{x_i-1 \choose k-1}+klog(\pi)+(x_i-k)log(1-\pi)]\\ \frac{d\ell(\pi;x_i)}{d\pi} = \sum_{i=1}^{n}[\dfrac{k}{\pi}-\dfrac{(x_i-k)}{(1-\pi)}]$

Установите это в ноль,

$\frac{nk}{\pi}=\frac{\sum_{i=1}^nx_i-nk}{1-\pi}$

$\therefore$ $\hat\pi=\frac{nk}{\sum_{i=1}^nx}$

Для второй части вам нужно использовать теорему, что , является информацией рыболова здесь. Следовательно, стандартное отклонение будет . Или вы называете это стандартной ошибкой, так как вы используете CLT здесь. $\sqrt{n}(\hat\theta-\theta) \overset{D}{\rightarrow}N(0,\frac{1}{I(\theta)})$ $I(\theta)$ $\hat\theta$ $[nI(\theta)]^{-1/2}$

Поэтому нам нужно вычислить информацию Фишера для отрицательного биномиального распределения.

$\frac{\partial^2 \log(P(x;\pi))}{\partial\pi^2}=-\frac{k}{\pi^2}-\frac{x-k}{(1-\pi)^2}$

$I(\theta)=-E(-\frac{k}{\pi^2}-\frac{x-k}{(1-\pi)^2})=\frac{k}{\pi^2}+\frac{k(1-\pi)}{(1-\pi)^2\pi}$

Примечание: для отрицательного бинома pmf $E(x) =\frac{k}{\pi}$

Поэтому стандартной ошибкой для является $\hat \pi$ $[n(\frac{k}{\pi^2}+\frac{k(1-\pi)}{(1-\pi)^2\pi})]^{-1/2}$

Проще говоря, мы получаем $se(\pi)=\sqrt{\dfrac{\pi^2(\pi-1)}{kn}}$

Геометрическое распределение является частным случаем отрицательного биномиального распределения, когда k = 1. Примечание является геометрическим распределением $\pi(1-\pi)^{x-1}$

Следовательно, отрицательная биномиальная переменная может быть записана как сумма k независимых одинаково распределенных (геометрических) случайных величин.

Таким образом, по CLT отрицательное биномиальное распределение будет примерно нормальным, если параметр k достаточно велик

— Глубокий Север
источник

Пожалуйста, прочитайте, какие темы я могу задать здесь? по вопросам самообучения: вместо того, чтобы делать домашнее задание для людей, мы стараемся помочь им сделать это самим.

— Scortchi - Восстановить Монику

Вы действительно должны рассмотреть размер выборки при вычислении ОМП. Возможно, вы путаете учет независимых наблюдений, каждый из которых нет. испытаний, необходимых для достижения отказов ( ) с учетом одного наблюдения нет. испытаний, необходимых для достижения неудач ( ). Первый дает вероятность ; последний, .

n

$n$

n

$n$

k

$k$

x_{1}, x_{2}, \dots, x_{n}

$x_1, x_2, \ldots, x_n$

k

$k$

n

$n$

\sum_{i = 1}^{n} π^{(} 1 - π)^{x_{i} - k}

$\sum_{i=1}^n{\pi^(1-\pi)^{x_i-k}}$

π^{k} (1 - π)^{n - k}

$\pi^k(1-\pi)^{n-k}$

— Scortchi - Восстановить Монику

Вы правы, я всегда сбиваю с толку в этой части. Большое спасибо. Я также задаю много вопросов на этой доске, но я действительно надеюсь, что люди могут дать мне очень подробный ответ, тогда я смогу изучить его самостоятельно, шаг за шагом.

— Глубокий север

Да. Я понимаю, почему правило против предоставления слишком большого количества деталей, но этот ответ в сочетании с моими собственными заметками из лекции позволили мне связать воедино множество свободных концов. Я собираюсь пойти и поговорить с моим лектором сегодня об этом, чтобы я мог получить от него разъяснения. Здесь пятница сейчас. Назначение в понедельник, как указано выше. Мы узнали об этом в среду, и у нас есть только один пример с использованием биномиального распределения. Большое спасибо за детали.

— Сызорр,

В вашей работе есть некоторые недостатки, потому что я (θ) = E [] не -E [] (что сбивало меня с толку, пока я не начал искать уравнения, которые вы использовали) В конечном итоге получилось с

s e (π) = \sqrt{\frac{π^{2} (π - 1)}{k n}}

$se(\pi)=\sqrt{\dfrac{\pi^2(\pi-1)}{kn}}$

— Сызорр,