О существовании УМВУЭ и выборе оценки в популяции

Пусть представляет собой случайную выборку взяты из население , где . $(X_1,X_2,\cdots,X_n)$ $\mathcal N(\theta,\theta^2)$ $\theta\in\mathbb R$

Я ищу UMVUE of . $\theta$

Совместная плотность составляет $(X_1,X_2,\cdots,X_n)$

\begin{aligned} f_{θ} (x_{1}, x_{2}, \dots, x_{n}) & = \prod_{i = 1}^{n} \frac{1}{θ \sqrt{2 π}} \exp [- \frac{1}{2 θ^{2}} (x_{i} - θ)^{2}] \\ = \frac{1}{(θ \sqrt{2 π})^{n}} \exp [- \frac{1}{2 θ^{2}} \sum_{i = 1}^{n} (x_{i} - θ)^{2}] \\ = \frac{1}{(θ \sqrt{2 π})^{n}} \exp [\frac{1}{θ} \sum_{i = 1}^{n} x_{i} - \frac{1}{2 θ^{2}} \sum_{i = 1}^{n} x_{i}^{2} - \frac{n}{2}] \\ = g (θ, T (x)) h (x) \forall (x_{1}, \dots, x_{n}) \in R^{n}, \forall θ \in R \end{aligned}

$\begin{align} f_{\theta}(x_1,x_2,\cdots,x_n)&=\prod_{i=1}^n\frac{1}{\theta\sqrt{2\pi}}\exp\left[-\frac{1}{2\theta^2}(x_i-\theta)^2\right] \\&=\frac{1}{(\theta\sqrt{2\pi})^n}\exp\left[-\frac{1}{2\theta^2}\sum_{i=1}^n(x_i-\theta)^2\right] \\&=\frac{1}{(\theta\sqrt{2\pi})^n}\exp\left[\frac{1}{\theta}\sum_{i=1}^n x_i-\frac{1}{2\theta^2}\sum_{i=1}^nx_i^2-\frac{n}{2}\right] \\&=g(\theta,T(\mathbf x))h(\mathbf x)\qquad\forall\,(x_1,\cdots,x_n)\in\mathbb R^n\,,\forall\,\theta\in\mathbb R \end{align}$

, где и . $g(\theta, T(\mathbf x))=\frac{1}{(\theta\sqrt{2\pi})^n}\exp\left[\frac{1}{\theta}\sum_{i=1}^n x_i-\frac{1}{2\theta^2}\sum_{i=1}^nx_i^2-\frac{n}{2}\right]$ $h(\mathbf x)=1$

Здесь зависит от и от до и не зависит от . Таким образом, по теореме факторизации Фишера-Неймана двумерная статистика достаточна для . $g$ $\theta$ $x_1,\cdots,x_n$ $T(\mathbf x)=\left(\sum_{i=1}^nx_i,\sum_{i=1}^nx_i^2\right)$ $h$ $\theta$ $T(\mathbf X)=\left(\sum_{i=1}^nX_i,\sum_{i=1}^nX_i^2\right)$ $\theta$

Тем не менее, не является полной статистикой. Это потому, что $T$

E_{θ} [2 {(\sum_{i = 1}^{n} X_{i})}^{2} - (n + 1) \sum_{i = 1}^{n} X_{i}^{2}] = 2 n (1 + n) θ^{2} - (n + 1) 2 n θ^{2} = 0 \forall θ

$E_{\theta}\left[2\left(\sum_{i=1}^n X_i\right)^2-(n+1)\sum_{i=1}^nX_i^2\right]=2n(1+n)\theta^2-(n+1)2n\theta^2=0\qquad\forall\,\theta$

и функция не тождественно ноль. $g^*(T(\mathbf X))=2\left(\sum_{i=1}^n X_i\right)^2-(n+1)\sum_{i=1}^nX_i^2$

Но я знаю, что - минимально достаточная статистика. $T$

Я не уверен, но я думаю, что полная статистика может не существовать для этого изогнутого экспоненциального семейства. Так как же тогда получить UMVUE? Если полная статистика не существует, может ли UMVUE быть объективной оценкой (например, в этом случае), которая является функцией минимально достаточной статистики? (Связанный поток: Каково необходимое условие для беспристрастной оценки, чтобы быть UMVUE? ) $\bar X$

Что, если я считаю Лучшим линейным объективным оценщиком (СИНИМ) of ? Может ли СИНИЙ быть УМВОМ? $\theta$

Предположим, я рассматриваю линейную несмещенную оценку of где и . Поскольку мы знаем, что . Моя идея - минимизировать чтобы был СИНИМ из . Будет ли тогда UMVUE of ? $T^*(\mathbf X)=a\bar X+(1-a)cS$ $\theta$ $c(n)=\sqrt{\frac{n-1}{2}}\frac{\Gamma\left(\frac{n-1}{2}\right)}{\Gamma\left(\frac{n}{2}\right)}$ $S^2=\frac{1}{n-1}\sum_{i=1}^n(X_i-\bar X)^2$ $E_{\theta}(cS)=\theta$ $\text{Var}(T^*)$ $T^*$ $\theta$ $T^*$ $\theta$

Я взял линейную несмещенную оценку, основанную на и поскольку также достаточно для . $\bar X$ $S$ $(\bar X,S^2)$ $\theta$

Редактировать:

Действительно, была проделана большая работа по оценке в более общем семействе где известно. Ниже приведены некоторые из наиболее важных ссылок: $\theta$ $\mathcal N(\theta,a\theta^2)$ $a>0$

Оценка среднего нормального распределения с известным коэффициентом вариации по Глезеру / Хили.
Замечание об оценке среднего нормального распределения с известным коэффициентом вариации Р. А. Хана.
Замечание об оценке среднего значения нормального распределения с известным коэффициентом вариации Р. А. Хана.
Эту главу извлекают.

Я нашел первую из этих ссылок в этом упражнении из Статистического вывода от Casella / Berger:

Мой вопрос не об этом упражнении.

В последнем примечании (извлечение главы) говорится, что UMVUE of не существует, $\theta$ поскольку минимальная достаточная статистика не является полной. Я хотел бы знать, что позволяет нам сделать вывод, что UMVUE не существует просто потому, что не может быть найдена полная достаточная статистика? Есть ли связанный с этим результат? Я вижу существование UMVUE, даже если в связанной ветке нет достаточной статистики.

Теперь, если предположить, что несмещенной оценки с равномерной минимальной дисперсией не существует, какими должны быть наши следующие критерии для выбора «лучшей» оценки? Ищем ли мы минимальную MSE, минимальную дисперсию или MLE? Или выбор критериев будет зависеть от нашей цели оценки?

Например, скажем, у меня есть объективный оценщик и другой необъективный оценщик из . Предположим, что MSE для (что является его дисперсией) больше, чем для . Поскольку минимизация MSE означает минимизацию смещения, а также дисперсии одновременно, я думаю , что должен быть «лучшим» выбором оценки, чем хотя первый является смещенным. $T_1$ $T_2$ $\theta$ $T_1$ $T_2$ $T_2$ $T_1$

Возможные варианты оценок перечислены на странице 4 последней заметки. $\theta$

Следующий отрывок из « Теории оценки точек » Лемана / Казеллы (второе издание, стр. 87-88):

Весьма вероятно, что я все неправильно понял, но последнее предложение говорит о том, что при определенных условиях наличие полной статистики необходимо для существования UMVUE? Если так, то это результат, на который я должен смотреть?

Последний результат из-за Р.Р. Бахадура, который упоминается в конце, относится к этой записке.

После дальнейшего поиска я нашел результат, утверждающий, что если минимально достаточная статистика не является полной, то полная статистика не существует. Так что, по крайней мере, я почти уверен, что полной статистики здесь не существует.

Другой результат, который я забыл рассмотреть, - это тот, который грубо говорит о том, что необходимым и достаточным условием для беспристрастной оценки быть UMVUE является то, что она должна быть некоррелирована с каждой несмещенной оценкой нуля. Я попытался использовать эту теорему, чтобы показать, что UMVUE здесь не существует, а также тот факт, что несмещенный оценщик, такой как , не является UMVUE. Но это не так просто, как, например, здесь , на последней иллюстрации. $\bar X$

— StubbornAtom
источник

Обновить:

Рассмотрим оценку где указано в вашем посте. Это объективная оценка, равная будет явно коррелировать с оценкой, приведенной ниже (для любого значения ).

\hat{0} = \bar{X} - c S

$\hat 0 = \bar{X} - cS$

c

$c$

0

$0$

a

$a$

Теорема 6.2.25 из C & B показывает, как найти полную достаточную статистику для экспоненциального семейства, если содержит открытое множество в . К сожалению, это распределение дает и который НЕ формирует открытое множество в (так как ). Именно поэтому статистика не является полной для , и по той же причине мы можем построить несмещенную оценку это будет связано с любой непредвзятой оценкой

{(w_{1} (θ), \dots w_{k} (θ)}

$\{(w_1(\theta), \cdots w_k(\theta)\}$

R^{k}

$\mathbb R^k$

w_{1} (θ) = θ^{- 2}

$w_1(\theta) = \theta^{-2}$

w_{2} (θ) = θ^{- 1}

$w_2(\theta) = \theta^{-1}$

R^{2}

$R^2$

w_{1} (θ) = w_{2} (θ)^{2}

$w_1(\theta) = w_2(\theta)^2$

(\bar{X}, S^{2})

$(\bar{X}, S^2)$

θ

$\theta$

0

$0$

θ

$\theta$ , основанная на достаточной статистике.

Еще одно обновление:

Отсюда, аргумент является конструктивным. Должно быть так, что существует другая объективная оценка такая что хотя бы для одного . $\tilde\theta$ $Var(\tilde\theta) < Var(\hat\theta)$ $\theta \in \Theta$

Доказательство. Предположим, что , и (для некоторого значения ). Рассмотрим новый оценщик Этот оценщик явно несмещен с дисперсией Пусть . $E(\hat\theta) = \theta$ $E(\hat 0) = 0$ $Cov(\hat\theta, \hat 0) < 0$ $\theta$

\tilde{θ} = \hat{θ} + b \hat{0}

$\tilde\theta = \hat\theta + b\hat0$

V a r (\tilde{θ}) = V a r (\hat{θ}) + b^{2} V a r (\hat{0}) + 2 b C o v (\hat{θ}, \hat{0})

$Var(\tilde\theta) = Var(\hat\theta) + b^2Var(\hat0) + 2bCov(\hat\theta,\hat0)$

M (θ) = \frac{- 2 C o v (\hat{θ}, \hat{0})}{V a r (\hat{0})}

$M(\theta) = \frac{-2Cov(\hat\theta, \hat0)}{Var(\hat0)}$

По предположению, должно существовать такое, что . Если мы выберем , то в . Следовательно, не может быть УМВУ. $\theta_0$ $M(\theta_0) > 0$ $b \in (0, M(\theta_0))$ $Var(\tilde\theta) < Var(\hat\theta)$ $\theta_0$ $\hat\theta$ $\quad \square$

Итак , тот факт, что соотносится с (для любого выбора ), подразумевает, что мы можем построить новую оценку, которая лучше, чем по крайней мере для одной точки , нарушая единообразие претендует на лучшую непредвзятость. $\hat\theta$ $\hat0$ $a$ $\hat\theta$ $\theta_0$ $\hat\theta$

Давайте посмотрим на вашу идею линейных комбинаций более подробно.

\hat{θ} = a \bar{X} + (1 - a) c S

$\hat\theta = a \bar X + (1-a)cS$

Как вы указали, является разумной оценкой, поскольку она основана на достаточной (хотя и не полной) статистике. Понятно, что эта оценка объективна, поэтому для вычисления MSE нам нужно только вычислить дисперсию. $\hat\theta$

\begin{aligned} M S E (\hat{θ}) & = a^{2} V a r (\bar{X}) + (1 - a)^{2} c^{2} V a r (S) \\ = \frac{a^{2} θ^{2}}{n} + (1 - a)^{2} c^{2} [E (S^{2}) - E (S)^{2}] \\ = \frac{a^{2} θ^{2}}{n} + (1 - a)^{2} c^{2} [θ^{2} - θ^{2} / c^{2}] \\ = θ^{2} [\frac{a^{2}}{n} + (1 - a)^{2} (c^{2} - 1)] \end{aligned}

$\begin{align*} MSE(\hat\theta) &= a^2 Var(\bar{X}) + (1-a)^2 c^2 Var(S) \\ &= \frac{a^2\theta^2}{n} + (1-a)^2 c^2 \left[E(S^2) - E(S)^2\right] \\ &= \frac{a^2\theta^2}{n} + (1-a)^2 c^2 \left[\theta^2 - \theta^2/c^2\right] \\ &= \theta^2\left[\frac{a^2}{n} + (1-a)^2(c^2 - 1)\right] \end{align*}$

Дифференцируя, мы можем найти «оптимальное » для данного размера выборки . $a$ $n$

a_{o p t} (n) = \frac{c^{2} - 1}{1 / n + c^{2} - 1}

$a_{opt}(n) = \frac{c^2 - 1}{1/n + c^2 - 1}$ где

c^{2} = \frac{n - 1}{2} {(\frac{Γ ((n - 1) / 2)}{Γ (n / 2)})}^{2}

$c^2 = \frac{n-1}{2}\left(\frac{\Gamma((n-1)/2)}{\Gamma(n/2)}\right)^2$

Участок этого оптимального выбора приводится ниже. $a$

Несколько интересно отметить, что как , мы имеем (подтверждено через Wolframalpha). $n\rightarrow \infty$ $a_{opt}\rightarrow \frac{1}{3}$

Хотя нет гарантии, что это UMVUE, этот оценщик является оценщиком минимальной дисперсии всех несмещенных линейных комбинаций достаточной статистики.

— knrumsey
источник

Спасибо за обновления. Я не следовал C & B как учебник, только смотрел на упражнения.

— StubbornAtom

@StubbornAtom Я добавил доказательство, показывающее, почему не может быть UMVUE (заимствовано из C & B стр. 344). Посмотрите и дайте мне знать, если это поможет.

\hat{θ}

$\hat\theta$

— Knrumsey