Асимптотическая согласованность с ненулевой асимптотической дисперсией - что она представляет?

Проблема возникла раньше, но я хочу задать конкретный вопрос, который попытается получить ответ, который прояснит (и классифицирует) его:

В «Асимптотике бедного человека» проводится четкое различие между

(а) последовательность случайных величин, сходящаяся по вероятности к константе

в отличие от

(б) последовательность случайных величин, которая сходится по вероятности к случайной переменной (и, следовательно, по распределению к ней).

Но в «Асимптотике мудреца» мы также можем иметь случай

(c) последовательность случайных величин, которая сходится по вероятности к константе, сохраняя ненулевую дисперсию на пределе.

Мой вопрос (кража из моего собственного исследовательского ответа ниже):

Как мы можем понять оценку, которая асимптотически непротиворечива, но также имеет ненулевую конечную дисперсию? Что отражает эта разница? Чем его поведение отличается от «обычной» последовательной оценки?

Темы, связанные с явлением, описанным в (c) (смотрите также в комментариях):

— Алекос Пападопулос
источник

То, как вы пишете с заглавной буквы «Асимптотика бедного человека», заставляет меня думать, что я, должно быть, упускаю знание ссылки (или, возможно, видел ее, но забыл ее, что равносильно тому же); или настоящая книга или бумага, или, возможно, даже просто культурный справочник. Я знаю об «увеличении данных бедняков» (Таннер и Вэй), но я не думаю, что это связано с тем, к чему вы стремитесь. Что мне не хватает?

— Glen_b

@Glen_B Вы ничего не пропускаете - я просто придумал термин, чтобы противопоставить уровень знания (= интеллектуального доступа) асимптотической теории, которую имеют такие люди, как я, и, скажем, людей вроде кардинала. Капитализация была просто маркетинговой тактикой.

— Алекос Пападопулос

Ответы:

27-10-2014: К сожалению (для меня это так), никто еще не дал здесь ответ - возможно, потому что это выглядит как странная, "патологическая" теоретическая проблема и ничего более?

Хорошо, чтобы процитировать комментарий для пользователя Cardinal (который я буду позже исследовать)

«Это, по общему признанию, абсурдный, но простой пример. Идея состоит в том, чтобы проиллюстрировать, что именно может пойти не так и почему. Это имеет практическое применение (мой акцент). Пример: рассмотрим типичную модель с конечным вторым моментом. Пусть где не зависит от и каждый с вероятностью и равен нулю в противном случае с произвольным Тогда несмещен, имеет дисперсию, ограниченную снизу на , и почти наверняка (это сильно согласуется). Я оставляю в качестве упражнения случай смещения ". $\hat θ_n=\bar X_n+Z_n$ $Z_n$ $\bar X_n$ $Z_n=\pm an$ $1/n^2$ $a>0$ $\hat θ_n$ $a^2$ $\hat θ_n→\mu$

Здесь случайная переменная - это , поэтому давайте посмотрим, что мы можем сказать по этому поводу. Переменная поддерживает с соответствующими вероятностями . Это симметрично вокруг нуля, поэтому мы имеем $Z_n$
$\{-an,0,an\}$ $\{1/n^2,1-2/n^2,1/n^2\}$

E (Z_{n}) = 0, Var (Z_{n}) = \frac{(- a n)^{2}}{n^{2}} + 0 + \frac{(a n)^{2}}{n^{2}} = 2 a^{2}

$E(Z_n) = 0,\;\; \text{Var}(Z_n) = \frac {(-an)^2}{n^2} + 0 + \frac {(an)^2}{n^2} = 2a^2$

Эти моменты не зависят от так что я думаю, что нам разрешено писать тривиально $n$

lim_{n \to \infty} E (Z_{n}) = 0, lim_{n \to \infty} Var (Z_{n}) = 2 a^{2}

$\lim_{n\rightarrow \infty} E(Z_n) = 0,\;\;\lim_{n\rightarrow \infty}\text{Var}(Z_n) = 2a^2$

В «Асимптотике бедняка» мы знаем об условии, что пределы моментов равны моментам предельного распределения. Если момент конечного случая распределения сходится к константе (как в нашем случае), то, кроме того, если $r$

\exists δ > 0 : lim sup E (| Z_{n} |^{r + δ}) < \infty

$\exists \delta >0 :\lim \sup E(|Z_n|^{r+\delta}) < \infty$

предел момента будет моментом предельного распределения. В нашем случае $r$ $r$

E (| Z_{n} |^{r + δ}) = \frac{| - a n |^{r + δ}}{n^{2}} + 0 + \frac{| a n |^{r + δ}}{n^{2}} = 2 a^{r + δ} \cdot n^{r + δ - 2}

$E(|Z_n|^{r+\delta}) = \frac {|-an|^{r+\delta}}{n^2} + 0 + \frac {|an|^{r+\delta}}{n^2} = 2a^{r+\delta}\cdot n^{r+\delta-2}$

Для это расходится для любого , поэтому это достаточное условие не выполняется для дисперсии (оно действительно для среднего). Возьмем другой путь: каково асимптотическое распределение ? ли CDF к невырожденному CDF на пределе? $r\geq2$ $\delta >0$
$Z_n$ $Z_n$

Это не похоже на это: ограничивающая поддержка будет (если нам разрешено писать это), и соответствующие вероятности . Выглядит как константа для меня. Но если у нас нет предельного распределения в первую очередь, как мы можем говорить о его моментах? $\{-\infty, 0, \infty\}$ $\{0,1,0\}$

Затем, возвращаясь к , поскольку также сходится к константе, кажется, что $\hat \theta_n$ $\bar X_n$

$\hat \theta_n$ не имеет (нетривиального) предельного распределения, но имеет предельную дисперсию. Или, может быть, эта разница бесконечна? Но бесконечная дисперсия с постоянным распределением?

Как мы можем это понять? Что это говорит нам об оценке? Какова существенная разница на границе между и ? $\hat \theta_n = \bar X_n + Z_n$ $\tilde \theta_n = \bar X_n$

— Алекос Пападопулос
источник

Глупый справочный запрос: есть ли у вас (хороший) источник для: «если r-й момент сходится к константе, то все моменты с индексом ниже r сходятся к моментам предельного распределения?». Я знаю, что это правда, но я так и не нашел хорошего источника

— Гийом Дехен

Во-вторых, теорема, которую вы пытаетесь использовать, не может быть применена в этом случае: для r = 2 (который вы хотите использовать: вы хотите доказать, что дисперсия сходится), a для любой строго положительной , расходятся!

δ

$\delta$

E (| Z_{n} |^{r + δ}

$E(|Z_n|^{r+\delta}$

— Гийом Дехен

Возможно, было бы хорошо как-нибудь пропинговать @cardinal (в чате?), Чтобы он присоединился к этой дискуссии.

— говорит амеба, восстанови Монику

@amoeba Кардинал является оценщиком, который сходится к истинному ответу здесь, но я помню, как пытался вовлечь его в прошлое без успеха.

— Алекос Пападопулос

@GuillaumeDehaene Ссылка - AW Van der Vaart (1998) «Асимптотическая статистика», гл. 2.5 «Сходимость моментов». Это дается в качестве примера 2.21 теоремы 2.20. И вы правы: у меня сложилось впечатление, что этого достаточно, чтобы иметь ограниченность для конечного но именно конечность должна быть конечной. Я исправляю свой пост.

n

$n$

— Алекос Пападопулос

Я не буду давать удовлетворительный ответ на ваш вопрос, потому что он мне кажется слишком открытым, но позвольте мне попытаться пролить свет на то, почему этот вопрос сложный.

Я думаю, что вы боретесь с тем фактом, что обычные топологии, которые мы используем для распределения вероятностей и случайных величин, являются плохими. Я написал более крупную статью об этом в своем блоге, но позвольте мне подвести итог: вы можете сходиться в слабом (и полном вариативном) смысле, нарушая общепринятые предположения о том, что означает конвергенция.

Например, вы можете сходиться в слабой топологии к константе, имея дисперсию = 1 (это именно то, что делает ваша последовательность ). Затем существует предельное распределение (в слабой топологии), которое является этой чудовищной случайной величиной, которая в большинстве случаев равна 0, но бесконечно редко редко равна бесконечности. $Z_n$

Я лично понимаю, что это означает, что слабая топология (и топология полного изменения) является плохим понятием сходимости, от которого следует отказаться. Большинство конвергенций, которые мы на самом деле используем, сильнее этого. Тем не менее, я не знаю, что мы должны использовать вместо слабой топологии ооочень ...

Если вы действительно хотите найти существенную разницу между и , вот мое : обе оценки эквивалентны потере [0,1] (когда размер вашей ошибки не имеет значения). Однако, намного лучше, если размер ваших ошибок имеет значение, потому что иногда терпит неудачу катастрофически. $\hat \theta= \bar X+Z_n$ $\tilde \theta=\bar X$ $\tilde \theta$ $\hat \theta$

— Гийом Дехене
источник

Оценщик непротиворечив в вероятности, но не в MSE, если существует произвольно малая вероятность взрыва оценщика. Хотя интересное математическое любопытство, для любых практических целей это не должно вас беспокоить. Для любой практической цели оценщики имеют конечные опоры и поэтому не могут взорваться (реальный мир не бесконечно мал и не велик).

Если вы все еще хотите призвать к непрерывному приближению «реального мира», и ваше приближение таково, что оно сходится по вероятности, а не в MSE, то примите это так, как есть: ваш оценщик может быть прав с произвольно большой вероятностью, но всегда будет сколь угодно малая вероятность его взрыва. К счастью, когда это произойдет, вы заметите, так что в противном случае вы можете доверять этому. :-)

— JohnRos
источник

У меня сложилось впечатление, что действительно сходится в среднем квадрате, так как

\hat{θ} = \bar{X} + Z_{n}

$\hat \theta = \bar X + Z_n$

lim E ({\hat{θ}}^{2}) = 2 a^{2}

$\lim E(\hat \theta^2) = 2a^2$

— Алекос Пападопулос

Вопрос конкретно касается интерпретации оценки, которая сходится по вероятности, а не в MSE (из-за неисчезающей дисперсии).

— JohnRos

Вы правы, я просто перепутал знак плюс с минус.

— Алекос Пападопулос