UMVUE при выборке из популяции

Пусть - случайная выборка из плотности $(X_1,X_2,\ldots,X_n)$
$f_{θ} (x) = θ x^{θ - 1} 1_{0 < x < 1}, θ > 0$ $f_{\theta}(x)=\theta x^{\theta-1}\mathbf1_{0<x<1}\quad,\,\theta>0$

Я пытаюсь найти UMVUE . $\frac{\theta}{1+\theta}$

Совместная плотность является $(X_1,\ldots,X_n)$

\begin{aligned} f_{θ} (x_{1}, \dots, x_{n}) & = θ^{n} {(\prod_{i = 1}^{n} x_{i})}^{θ - 1} 1_{0 < x_{1}, \dots, x_{n} < 1} \\ = \exp [(θ - 1) \sum_{i = 1}^{n} \ln x_{i} + n \ln θ + \ln (1_{0 < x_{1}, \dots, x_{n} < 1})], θ > 0 \end{aligned}

$\begin{align} f_{\theta}(x_1,\cdots,x_n)&=\theta^n\left(\prod_{i=1}^n x_i\right)^{\theta-1}\mathbf1_{0<x_1,\ldots,x_n<1} \\&=\exp\left[(\theta-1)\sum_{i=1}^n\ln x_i+n\ln\theta+\ln (\mathbf1_{0<x_1,\ldots,x_n<1})\right],\,\theta>0 \end{align}$

Поскольку совокупность pdf относится к семипараметрическому экспоненциальному семейству, это показывает, что полной достаточной статистикой для является $f_{\theta}$ $\theta$

T (X_{1}, \dots, X_{n}) = \sum_{i = 1}^{n} \ln X_{i}

$T(X_1,\ldots,X_n)=\sum_{i=1}^n\ln X_i$

Так как , на первый взгляд даст мне UMVUE от Теорема Лемана-Шеффе. Не уверен, можно ли найти это условное ожидание напрямую или нужно найти условное распределение . $E(X_1)=\frac{\theta}{1+\theta}$ $E(X_1\mid T)$ $\frac{\theta}{1+\theta}$ $X_1\mid \sum_{i=1}^n\ln X_i$

С другой стороны, я рассмотрел следующий подход:

У нас есть , так что . $X_i\stackrel{\text{i.i.d}}{\sim}\text{Beta}(\theta,1)\implies -2\theta\ln X_i\stackrel{\text{i.i.d}}{\sim}\chi^2_2$ $-2\theta\, T\sim\chi^2_{2n}$

Таким образом , необработанный момент го порядка около нуля, рассчитанный с использованием pi-хи-квадрата: $r$ $-2\theta\,T$

E (- 2 θ T)^{r} = 2^{r} \frac{Γ (n + r)}{Γ (n)}, n + r > 0

$E(-2\theta\,T)^r=2^r\frac{\Gamma\left(n+r\right)}{\Gamma\left(n\right)}\qquad ,\,n+r>0$

Таким образом, кажется, что для разных целочисленных вариантов я бы получил объективные оценки (и UMVUE) с разными целочисленными степенями . Например, и прямо дайте мне UMVUE и соответственно. $r$ $\theta$ $E\left(-\frac{T}{n}\right)=\frac{1}{\theta}$ $E\left(\frac{1-n}{T}\right)=\theta$ $\frac{1}{\theta}$ $\theta$

Теперь, когда мы имеем . $\theta>1$ $\frac{\theta}{1+\theta}=\left(1+\frac{1}{\theta}\right)^{-1}=1-\frac{1}{\theta}+\frac{1}{\theta^2}-\frac{1}{\theta^3}+\cdots$

Я определенно могу получить UMVUE и так далее. Таким образом, комбинируя эти UMVUE, я могу получить требуемое UMVUE из . Этот метод действителен или я должен продолжить с первым методом? Поскольку UMVUE уникален, когда он существует, оба должны дать мне один и тот же ответ. $\frac{1}{\theta},\frac{1}{\theta^2},\frac{1}{\theta^3}$ $\frac{\theta}{1+\theta}$

Чтобы быть точным, я получаю

E (1 + \frac{T}{n} + \frac{T^{2}}{n (n + 1)} + \frac{T^{3}}{n (n + 1) (n + 2)} + \dots) = 1 - \frac{1}{θ} + \frac{1}{θ^{2}} - \frac{1}{θ^{3}} + \dots

$E\left(1+\frac{T}{n}+\frac{T^2}{n(n+1)}+\frac{T^3}{n(n+1)(n+2)}+\cdots\right)=1-\frac{1}{\theta}+\frac{1}{\theta^2}-\frac{1}{\theta^3}+\cdots$

То есть

E (\sum_{r = 0}^{\infty} \frac{T^{r}}{n (n + 1) . . . (n + r - 1)}) = \frac{θ}{1 + θ}

$E\left(\sum_{r=0}^\infty \frac{T^r}{n(n+1)...(n+r-1)}\right)=\frac{\theta}{1+\theta}$

Возможно ли, что мое требуемое UMVUE - это когда ? $\displaystyle\sum_{r=0}^\infty \frac{T^r}{n(n+1)...(n+r-1)}$ $\theta>1$

Для я бы получил , и поэтому UMVUE будет отличаться. $0<\theta<1$ $g(\theta)=\theta(1+\theta+\theta^2+\cdots)$

Убедившись, что условное ожидание в первом подходе не может быть найдено напрямую, и, поскольку , я продолжил найти условное распределение . Для этого мне понадобилась плотность соединения . $E(X_1\mid \sum\ln X_i=t)=E(X_1\mid \prod X_i=e^t)$ $X_1\mid \prod X_i$ $(X_1,\prod X_i)$

Я использовал замену переменных , что для всех , Это привело к совместной поддержке : . $(X_1,\cdots,X_n)\to (Y_1,\cdots,Y_n)$ $Y_i=\prod_{j=1}^i X_j$ $i=1,2,\cdots,n$ $(Y_1,\cdots,Y_n)$ $S=\{(y_1,\cdots,y_n): 0<y_1<1, 0<y_j<y_{j-1} \text{ for } j=2,3,\cdots,n\}$

Определитель якобиана оказался . $J=\left(\prod_{i=1}^{n-1}y_i\right)^{-1}$

Таким образом, я получил объединенную плотность как $(Y_1,\cdots,Y_n)$

f_{Y} (y_{1}, y_{2}, \dots, y_{n}) = \frac{θ^{n} y_{n}^{θ - 1}}{\prod_{i = 1}^{n - 1} y_{i}} 1_{S}

$f_Y(y_1,y_2,\cdots,y_n)=\frac{\theta^n\, y_n^{\theta-1}}{\prod_{i=1}^{n-1}y_i}\mathbf1_S$

Следовательно, объединенная плотность $(Y_1,Y_n)$

f_{Y_{1}, Y_{n}} (y_{1}, y_{n}) = \frac{θ^{n} y_{n}^{θ - 1}}{y_{1}} \int_{0}^{y_{n - 2}} \int_{0}^{y_{n - 3}} \dots \int_{0}^{y_{1}} \frac{1}{y_{3} y_{4} . . . y_{n - 1}} \frac{d y_{2}}{y_{2}} \dots d y_{n - 2} d y_{n - 1}

$f_{Y_1,Y_n}(y_1,y_n)=\frac{\theta^n\,y_n^{\theta-1}}{y_1}\int_0^{y_{n-2}}\int_0^{y_{n-3}}\cdots\int_0^{y_1}\frac{1}{y_3y_4...y_{n-1}}\frac{\mathrm{d}y_2}{y_2}\cdots\mathrm{d}y_{n-2}\,\mathrm{d}y_{n-1}$

Могу ли я использовать другое преобразование, которое сделало бы вывод плотности соединения менее громоздким? Я не уверен, что принял правильное преобразование здесь.

Основываясь на некоторых превосходных предложениях в разделе комментариев, я нашел объединенную плотность вместо общей плотности где и . $(U,U+V)$ $(X_1,\prod X_i)$ $U=-\ln X_1$ $V=-\sum_{i=2}^n\ln X_i$

Сразу видно, что и независимы. $U\sim\text{Exp}(\theta)$ $V\sim\text{Gamma}(n-1,\theta)$

И действительно, . $U+V\sim\text{Gamma}(n,\theta)$

Для плотность соединений равна $n>1$ $(U,V)$

f_{U, V} (u, v) = θ e^{- θ u} 1_{u > 0} \frac{θ^{n - 1}}{Γ (n - 1)} e^{- θ v} v^{n - 2} 1_{v > 0}

$f_{U,V}(u,v)=\theta e^{-\theta u}\mathbf1_{u>0}\frac{\theta^{n-1}}{\Gamma(n-1)}e^{-\theta v}v^{n-2}\mathbf1_{v>0}$

Изменяя переменные, я получил плотность соединения как $(U,U+V)$

f_{U, U + V} (u, z) = \frac{θ^{n}}{Γ (n - 1)} e^{- θ z} (z - u)^{n - 2} 1_{0 < u < z}

$f_{U,U+V}(u,z)=\frac{\theta^n}{\Gamma(n-1)}e^{-\theta z}(z-u)^{n-2}\mathbf1_{0<u<z}$

Итак, условная плотность равна $U\mid U+V=z$

f_{U ∣ U + V} (u ∣ z) = \frac{(n - 1) (z - u)^{n - 2}}{z^{n - 1}} 1_{0 < u < z}

$f_{U\mid U+V}(u\mid z)=\frac{(n-1)(z-u)^{n-2}}{z^{n-1}}\mathbf1_{0<u<z}$

Теперь мое UMVUE точно , как я уже упоминал в начале этого поста. $E(e^{-U}\mid U+V=z)=E(X_1\mid \sum_{i=1}^n\ln X_i=-z)$

Так что все, что осталось сделать, это найти

E (e^{- U} ∣ U + V = z) = \frac{n - 1}{z^{n - 1}} \int_{0}^{z} e^{- u} (z - u)^{n - 2} d u

$E(e^{-U}\mid U+V=z)=\frac{n-1}{z^{n-1}}\int_0^z e^{-u}(z-u)^{n-2}\,\mathrm{d}u$

Но этот последний интеграл имеет замкнутую форму с точки зрения неполной гамма-функции в соответствии с Mathematica , и мне интересно, что теперь делать.

— StubbornAtom
источник

Вы должны приступить к первому методу, найдя условное распределение , с какой формой достаточной статистики легче работать в этом приложении.

X_{[1]} | \prod X_{i}

$X_{[1]} | \prod X_i$

— jbowman

В точке (в начале), где вы вводите вы должны работать с точки зрения переменныхПочти сразу же они пропорциональны , что быстро сводит вашу проблему к рассмотрению совместного распределения где и Это позволит сократить оставшиеся две страницы математики и даст вам быстрый путь к решению.

T

$T$

Y_{i} = - \log X_{i} .

$Y_i=-\log X_i.$

Γ (1)

$\Gamma(1)$

(U, U + V)

$(U,U+V)$

U \sim Γ (1)

$U\sim\Gamma(1)$

V \sim Γ (n - 1) .

$V\sim\Gamma(n-1).$

— whuber

@whuber Чтобы было ясно, вы предлагаете мне сначала найти плотность а затем найти плотность ? Я заметил, что - экспоненциальные переменные со скоростью (которая, как вы говорите, также является гамма-переменной), но не думал о работе с этим.

(- \ln X_{1}, - \ln X_{1} - \sum_{i = 2}^{n} \ln X_{i})

$(-\ln X_1,-\ln X_1-\sum_{i=2}^n\ln X_i)$

(X_{1}, \prod X_{i})

$(X_1,\prod X_i)$

- \ln X_{i}

$-\ln X_i$

θ

$\theta$

— StubbornAtom

@whuber Но как мне получить от напрямую?

E (X_{1} ∣ . . .)

$E(X_1\mid ...)$

E (\ln X_{1} ∣ . . .)

$E(\ln X_1\mid ...)$

— StubbornAtom

@whuber Пожалуйста, посмотрите на мои изменения. Я почти сделал это, но не уверен, что делать с этим интегралом. Я довольно уверен, что мои расчеты верны.

— StubbornAtom

Ответы:

Оказывается, что оба подхода (моя первоначальная попытка и другой, основанный на предложениях в разделе комментариев) в моем исходном посте дают один и тот же ответ. Я опишу оба метода здесь для полного ответа на вопрос.

Здесь означает гамма-плотность где и обозначают экспоненциальное распределение со средним значением , ( ). Ясно, что . $\text{Gamma}(n,\theta)$ $f(y)=\frac{\theta^n}{\Gamma(n)}e^{-\theta y}y^{n-1}\mathbf1_{y>0}$ $\theta,n>0$ $\text{Exp}(\theta)$ $1/\theta$ $\theta>0$ $\text{Exp}(\theta)\equiv\text{Gamma}(1,\theta)$

Поскольку вполне достаточно для и , по теореме Лемана-Шеффа - это UMVUE . Таким образом, мы должны найти это условное ожидание. $T=\sum_{i=1}^n\ln X_i$ $\theta$ $\mathbb E(X_1)=\frac{\theta}{1+\theta}$ $\mathbb E(X_1\mid T)$ $\frac{\theta}{1+\theta}$

Отметим, что . $X_i\stackrel{\text{i.i.d}}{\sim}\text{Beta}(\theta,1)\implies-\ln X_i\stackrel{\text{i.i.d}}{\sim}\text{Exp}(\theta)\implies-T\sim\text{Gamma}(n,\theta)$

Метод I:

Пусть и , так что и независимы. Действительно, и , подразумевая . $U=-\ln X_1$ $V=-\sum_{i=2}^n\ln X_i$ $U$ $V$ $U\sim\text{Exp}(\theta)$ $V\sim\text{Gamma}(n-1,\theta)$ $U+V\sim\text{Gamma}(n,\theta)$

Итак, . $\mathbb E(X_1\mid \sum_{i=1}^n\ln X_i=t)=\mathbb E(e^{-U}\mid U+V=-t)$

Теперь мы находим условное распределение . $U\mid U+V$

Для и плотность соединения равна $n>1$ $\theta>0$ $(U,V)$

\begin{aligned} f_{U, V} (u, v) & = θ e^{- θ u} 1_{u > 0} \frac{θ^{n - 1}}{Γ (n - 1)} e^{- θ v} v^{n - 2} 1_{v > 0} \\ = \frac{θ^{n}}{Γ (n - 1)} e^{- θ (u + v)} v^{n - 2} 1_{u, v > 0} \end{aligned}

$\begin{align}f_{U,V}(u,v)&=\theta e^{-\theta u}\mathbf1_{u>0}\frac{\theta^{n-1}}{\Gamma(n-1)}e^{-\theta v}v^{n-2}\mathbf1_{v>0}\\&=\frac{\theta^n}{\Gamma(n-1)}e^{-\theta(u+v)}v^{n-2}\mathbf1_{u,v>0}\end{align}$

Изменяя переменные, сразу становится очевидным, что объединенная плотность равна $(U,U+V)$

f_{U, U + V} (u, z) = \frac{θ^{n}}{Γ (n - 1)} e^{- θ z} (z - u)^{n - 2} 1_{0 < u < z}

$f_{U,U+V}(u,z)=\frac{\theta^n}{\Gamma(n-1)}e^{-\theta z}(z-u)^{n-2}\mathbf1_{0<u<z}$

Пусть быть плотность . Таким образом, условная плотность равна $f_{U+V}(\cdot)$ $U+V$ $U\mid U+V=z$

\begin{aligned} f_{U ∣ U + V} (u ∣ z) & = \frac{f_{U, U + V} (u, z)}{f_{U + V} (z)} \\ = \frac{(n - 1) (z - u)^{n - 2}}{z^{n - 1}} 1_{0 < u < z} \end{aligned}

$\begin{align}f_{U\mid U+V}(u\mid z)&=\frac{f_{U,U+V}(u,z)}{f_{U+V}(z)}\\&=\frac{(n-1)(z-u)^{n-2}}{z^{n-1}}\mathbf1_{0<u<z}\end{align}$

Следовательно, . $\displaystyle\mathbb E(e^{-U}\mid U+V=z)=\frac{n-1}{z^{n-1}}\int_0^z e^{-u}(z-u)^{n-2}\,\mathrm{d}u$

То есть UMVUE для является $\frac{\theta}{1+\theta}$ $\displaystyle\mathbb E(X_1\mid T)=\frac{n-1}{(-T)^{n-1}}\int_0^{-T} e^{-u}(-T-u)^{n-2}\,\mathrm{d}u\tag{1}$

Способ II:

Поскольку является полной достаточной статистикой для , любая несмещенная оценка которая является функцией от будет UMVUE для по теореме Лемана-Шеффе. Итак, приступим к поиску моментов , распределение которых нам известно. У нас есть, $T$ $\theta$ $\frac{\theta}{1+\theta}$ $T$ $\frac{\theta}{1+\theta}$ $-T$

E (- T)^{r} = \int_{0}^{\infty} y^{r} θ^{n} \frac{e^{- θ y} y^{n - 1}}{Γ (n)} d y = \frac{Γ (n + r)}{θ^{r} Γ (n)}, n + r > 0

$\mathbb E(-T)^r=\int_0^\infty y^r\theta^n\frac{e^{-\theta y}y^{n-1}}{\Gamma(n)}\,\mathrm{d}y=\frac{\Gamma(n+r)}{\theta^r\,\Gamma(n)},\qquad n+r>0$

Используя это уравнение, мы получаем несмещенные оценки (и UMVUE) в для каждого целого числа . $1/\theta^r$ $r\ge1$

Теперь для мы имеем $\theta>1$ $\displaystyle\frac{\theta}{1+\theta}=\left(1+\frac{1}{\theta}\right)^{-1}=1-\frac{1}{\theta}+\frac{1}{\theta^2}-\frac{1}{\theta^3}+\cdots$

Объединяя несмещенные оценки мы получаем $1/\theta^r$

E (1 + \frac{T}{n} + \frac{T^{2}}{n (n + 1)} + \frac{T^{3}}{n (n + 1) (n + 2)} + \dots) = 1 - \frac{1}{θ} + \frac{1}{θ^{2}} - \frac{1}{θ^{3}} + \dots

$\mathbb E\left(1+\frac{T}{n}+\frac{T^2}{n(n+1)}+\frac{T^3}{n(n+1)(n+2)}+\cdots\right)=1-\frac{1}{\theta}+\frac{1}{\theta^2}-\frac{1}{\theta^3}+\cdots$

То есть

E (\sum_{r = 0}^{\infty} \frac{T^{r}}{n (n + 1) . . . (n + r - 1)}) = \frac{θ}{1 + θ}

$\mathbb E\left(\sum_{r=0}^\infty \frac{T^r}{n(n+1)...(n+r-1)}\right)=\frac{\theta}{1+\theta}$

Таким образом, предполагая , UMVUE равен $\theta>1$ $\frac{\theta}{1+\theta}$ $g(T)=\displaystyle\sum_{r=0}^\infty \frac{T^r}{n(n+1)...(n+r-1)}\tag{2}$

Я не уверен насчет случая во втором методе. $0<\theta<1$

Согласно Mathematica , уравнение имеет замкнутую форму в терминах неполной гамма-функции. И в уравнении мы можем выразить произведение через обычную гамма-функцию как . Возможно, это обеспечивает очевидную связь между и . $(1)$ $(2)$ $n(n+1)(n+2)...(n+r-1)$ $n(n+1)(n+2)...(n+r-1)=\frac{\Gamma(n+r)}{\Gamma(n)}$ $(1)$ $(2)$

Используя Mathematica, я мог убедиться, что и действительно одно и то же. $(1)$ $(2)$

— StubbornAtom
источник

Фактически, равенство между и следует, записав разложение степенного ряда в а затем поменяв местами интеграл и сумму.

(1)

$(1)$

(2)

$(2)$

e^{- u}

$e^{-u}$

(2)

$(2)$

— StubbornAtom

Я думаю, что мы можем получить более компактный ответ, на который вы ссылались в отношении верхней неполной гамма-функции. Используя первый метод, я нашел выражение

E [X_{1} | X_{1} X_{2} \dots X_{n} = e^{T}] = (n - 1) \int_{0}^{1} z^{r} {(1 - r)}^{n - z} d r,

$E \left[ X_1 | X_1X_2 \cdots X_n=e^T \right]=\left( n - 1 \right) \int_0^1 z^r \left( 1 - r \right)^{n-z}dr,$ где

z = e^{T} .

$z=e^T.$

Wolfram Alpha интегрирует это, чтобы получить

E [X_{1} | X_{1} X_{2} \dots X_{n} = e^{T}] = \frac{e^{T} (n - 1)}{T^{n - 1}} [(n - 2)! - Γ (n - 1, T)]

$E \left[ X_1 | X_1X_2 \cdots X_n=e^T \right] = \frac{e^T \left( n-1 \right)}{T^{n-1} } \left[ \left( n-2 \right) !-\Gamma \left(n-1,T \right) \right]$

Теперь член неполной гамма-функции имеет замкнутую форму, когда является целым числом. это $n$

Γ (n - 1, T) = \frac{Γ (n - 1)}{e^{T}} \sum_{j = 0}^{n - 2} \frac{T^{j}}{j!}

$\Gamma \left(n-1,T \right)=\frac{\Gamma \left(n-1 \right)}{e^T} \sum_{j=0}^{n-2} \frac{T^j}{j!}$

Переписывая ожидания и упрощая, мы находим

E [X_{1} | X_{1} X_{2} \dots X_{n} = e^{T}] = \frac{Γ (n)}{T^{n - 1}} [e^{T} - \sum_{j = 0}^{n - 2} \frac{T^{j}}{j!}]

$E \left[ X_1 | X_1X_2 \cdots X_n=e^T \right] = \frac{\Gamma \left( n \right)}{T^{n-1}} \left[ e^T-\sum_{j=0}^{n-2} \frac{T^j}{j!} \right]$

У меня нет доступа к программному обеспечению, которое проверит эквивалентность ваших результатов и , но ручные вычисления для и совпадают с вашими . $(1)$ $(2)$ $n=2$ $n=3$ $(1)$

— soakley
источник

Где вы написали вы должны иметь

E [X_{1} ∣ x_{1} x_{2} \dots x_{n} = e^{T}],

$\operatorname E\left[ X_1\mid x_1x_2\cdots x_n=e^T \right],$

E [X_{1} ∣ X_{1} X_{2} \dots X_{n} = e^{T}] .

$\operatorname E\left[ X_1\mid X_1X_2\cdots X_n=e^T \right]. \qquad$

— Майкл Харди