Почему Рао-Blackwell теорема требует

Теорема Рао-Блэквелла утверждает

Пусть быть оценкой & с для всех & . Предположим , что является достаточным для & , и пусть & Тогда для всех & , Неравенство является строгим , если $\hat{\theta}$ $\theta$ $\Bbb E (\hat{\theta}^2) < \infty$ $\theta$ $T$ $\theta$ $\theta ^ * = \Bbb E (\hat{\theta}|T)$ $\theta$
$E (θ^{*} - θ)^{2} \leq E (\hat{θ} - θ)^{2}$ $\Bbb E (\theta^* - \theta )^2 \leq \Bbb E (\hat{\theta} - \theta )^2$ является функцией $\hat{\theta}$ $T$

$T$ $\theta$ $\hat{\theta}$ $T$ $\min_{\hat{\theta}} \Bbb E$ $(\hat{\theta}-\theta)^2$

Мои квесты

Правильно ли я понимаю, что минимизирует ? $\theta^*$ $\Bbb E$ $(\hat{\theta}-\theta)^2$
Почему теорема Рао-Блэквелла требует ? $\Bbb E(\hat{\theta}^2) < \infty$
Почему неравенство строгое, если является функцией от ? $\hat{\theta}$ $T$

rao-blackwell

— Стэн Шунпайк
источник

Возможный дубликат интуитивного и формульного обоснования для теоремы Рао-Блэквелла

— Сиань,

Что требуется для поиска ?

min_{\hat{θ}} E

$\min_{\hat{\theta}} \Bbb E$

(\hat{θ} - θ)^{2}

$(\hat{\theta}-\theta)^2$

— Стэн Шунпайк

Ответы:

Нет, - лучшая оценка, чем но не обязательно лучшая (что бы это ни значило!) $\theta^*$ $\hat\theta$
Если оценщик не имеет дисперсии, то его риск бесконечен, и нет никакой гарантии, что имеет конечный риск (даже если это может произойти, как указал Хорст Грюнбуш в своих комментариях). $\theta^*$
При конечной дисперсии для неравенство является строгим из-за разложения дисперсии как суммы ожидаемой условной дисперсии плюс дисперсия условного ожидания Если ожидаемая условная дисперсия не равна нулю, то есть является функцией только от $\hat\theta$ $var (\hat{θ}) = E_{T} [var (\hat{θ} | T)] + {var}_{T} (E [\hat{θ} | T]) = E_{T} [var (θ | T)] + {var}_{T} (θ^{*})$ $\text{var}(\hat\theta)=\mathbb{E}_T[\text{var}(\hat\theta|T)]+ \text{var}_T(\mathbb{E}[\hat\theta|T])=\mathbb{E}_T[\text{var}(\theta|T)]+\text{var}_T(\theta^*)$ $\hat\theta$ $T$

— Сиань
источник

Объявление 2: Почему невозможно, чтобы ? Рассмотрим качестве оценки для , где , а - несвязанный распределенный по Коши rv.

E ({\hat{θ}}^{2} | T) < E ({\hat{θ}}^{2}) = \infty

$E(\hat{\theta}^2|T)<E(\hat{\theta}^2)=\infty$

\hat{θ} = X + C

$\hat{\theta} = X + C$

μ

$\mu$

X \sim N (μ, σ^{2})

$X \sim \mathcal{N}(\mu,\sigma^2)$

C

$C$

— Хорст Грюнбуш

@ HorstGrünbusch Почему кусок Коши уйдет, когда вы включите ? Также не является объективной оценкой.

T

$T$

\hat{θ}

$\hat{\theta}$

— dsaxton

@ HorstGrünbusch Мне кажется, что у вашего нет даже условного ожидания (поскольку у нет ожидания), поэтому будет неопределенным.

\hat{θ}

$\hat{\theta}$

∣ T

$\mid T$

C

$C$

θ^{*}

$\theta^\ast$

— Юхо Коккала

Хорошо, все, что я хотел, было без дисперсии, не без ожидания. ;) Теперь возьмите , то есть студент-т-распределенный с 2 степенями свободы и и , не зависящими от . Достаточная статистика явно . Тогда , но

C

$C$

C \sim t_{2}

$C \sim t_2$

E (C) = 0

$E(C)=0$

C

$C$

X

$X$

X

$X$

E (X + C | X) = E (X | X) + E (C | X) = X + E (C) = X

$E(X+C|X) = E(X|X) + E(C|X) = X + E(C) = X$

\infty = V a r (C) + V a r (X) = V a r (X + C) > V a r (X + C | X) = σ^{2}

$\infty=Var(C) + Var(X) = Var(X+C)>Var(X+C|X)=\sigma^2$

— Хорст Грюнбуш

Поэтому я считаю, что неправильно, что оценка Рао-Блэквелла обязательно имеет бесконечную дисперсию, если исходная оценка имеет бесконечную дисперсию. (Тем не менее, даже если бы обе вариации обязательно были бы бесконечными, все равно сохранялись бы.)

\infty \leq \infty

$\infty \leq \infty$

— Хорст Грюнбуш

Обратите внимание, что достаточная статистика не уникальна. Как правило, полных данных достаточно, но их оценка не меняет ничего. Таким образом, одной лишь достаточной статистики недостаточно (каламбур!) Для получения минимальной среднеквадратичной ошибки. См. Теорему Лемана-Шеффе, которая использует теорему Рао-Блэквелла в доказательстве для достаточной достаточности (фактически достаточной и полной).
Если оба бесконечны, слабое неравенство всегда верно. Но тогда, в качестве контрпримера, вы можете построить достаточную статистику, которая не является функцией от но все еще имеет бесконечную дисперсию (такую, что выполняется только ). $T$ $\leq$

Возьмем, к примеру, , смещенную случайную переменную с распределением с и , и в качестве другой независимой случайной величины . Параметр для оценки . Исходная оценка: . Достаточная статистика, конечно, . Оценщик Рао-Блэквелла и имеют бесконечную дисперсию. Так что неравенство будет держаться слабо. С другой стороны, не является простой функцией $C_1 \sim t_2 + \mu$ $t_2$ $E(C_1) = \mu$ $Var(C_1) = \infty$ $C_2 \sim t_2$ $\mu$ $\hat{\theta} = C_1 + C_2$ $C_1$ $E(\hat{\theta}|C_1)=C_1$ $\hat{\theta}$ $C_1+C_2$ $C_1$ : Это включает в себя другую случайную переменную, так что это будет противоречить последнему предложению, о котором вы задали третий вопрос. Фактически, некоторые учебники допускают бесконечную дисперсию для первоначальной оценки, но, в свою очередь, они не могут указывать, когда выполняется . $<$

Если является функцией от , то по теореме факторизации вы можете доказать, что уже достаточно для . Итак, снова мы ничего не улучшаем. Помимо этого случая, неравенство строгое, и это нетривиальное утверждение теоремы. $\hat{\theta}$ $T$ $\hat{\theta}$ $\theta$

— Хорст Грюнбуш
источник