Предположения относительно начальных оценок неопределенности

62

Я ценю полезность начальной загрузки при получении оценок неопределенности, но меня всегда беспокоит одна вещь: распределение, соответствующее этим оценкам, является распределением, определяемым выборкой. В целом, кажется плохой идеей полагать, что частоты наших выборок выглядят точно так же, как и базовое распределение, так почему обоснованно / приемлемо получать оценки неопределенности на основе распределения, где частоты выборки определяют базовое распределение?

С другой стороны, это может быть не хуже (возможно, лучше), чем другие предположения о распределении, которые мы обычно делаем, но я все же хотел бы немного лучше понять обоснование.

bootstrap uncertainty

— user4733
источник

3

Есть несколько связанных вопросов, которые вы можете просмотреть. Некоторые из них перечислены на боковом поле этой страницы. Вот что касается того, когда бутстрап терпит неудачу и что это значит для него.

— кардинал

55

Есть несколько способов, которыми можно разумно применить бутстрап. Два самых основных подхода - это то, что называется «непараметрическим» и «параметрическим» бутстрапом. Второй предполагает, что используемая модель (по существу) является правильной.

Давайте сосредоточимся на первом. Мы предполагаем , что у вас есть случайный образец распределенного в соответствии с функцией распределения . (Предполагается, что в противном случае требуются модифицированные подходы.) Пусть будет эмпирическим кумулятивным распределением функция. Большая часть мотивации для начальной загрузки исходит из нескольких фактов. $X_1, X_2, \ldots, X_n$ $F$ $\hat{F}_n(x) = n^{-1} \sum_{i=1}^n \mathbf{1}(X_i \leq x)$

Неравенство Дворецкого – Кифера – Вулфовица

P (sup_{x \in R} | {\hat{F}}_{n} (x) - F (x) | > ε) \leq 2 e^{- 2 n ε^{2}} .

$\renewcommand{\Pr}{\mathbb{P}} \Pr\big( \textstyle\sup_{x \in \mathbb{R}} \,|\hat{F}_n(x) - F(x)| > \varepsilon \big) \leq 2 e^{-2n \varepsilon^2} \> .$

Что это свидетельствует о том , что эмпирическая функция распределения сходится равномерно к истинной функции распределения экспоненциально быстро по вероятности. Действительно, это неравенство в сочетании с леммой Бореля – Кантелли сразу показывает, что почти наверняка. $\sup_{x \in \mathbb{R}} \,|\hat{F}_n(x) - F(x)| \to 0$

На форме нет дополнительных условий, гарантирующих эту сходимость. $F$

Эвристически, тогда, если нас интересует некоторый функционал гладкой функции распределения , то мы ожидаем, что будет близко к . $T(F)$ $T(\hat{F}_n)$ $T(F)$

(Точечно) Беспристрастность $\hat{F}_n(x)$

Простая линейность ожидания и определение для каждого , $\hat{F}_n(x)$ $x \in \mathbb{R}$

E_{F} {\hat{F}}_{n} (x) = F (x) .

$\newcommand{\e}{\mathbb{E}} \e_F \hat{F}_n(x) = F(x) \>.$

Предположим, нас интересует среднее значение . Тогда беспристрастность эмпирической меры распространяется на беспристрастность линейных функционалов эмпирической меры. Итак, $\mu = T(F)$

E_{F} T ({\hat{F}}_{n}) = E_{F} {\bar{X}}_{n} = μ = T (F) .

$\e_F T(\hat{F}_n) = \e_F \bar{X}_n = \mu = T(F) \> .$

Таким образом, в среднем является правильным, и поскольку быстро приближается к , то (эвристически) быстро приближается к . $T(\hat{F}_n)$ $\hat{F_n}$ $F$ $T(\hat{F}_n)$ $T(F)$

Чтобы построить доверительный интервал ( который, по сути, является тем, что представляет собой бутстрап ), мы можем использовать центральную предельную теорему, согласованность эмпирических квантилей и дельта-метод в качестве инструментов для перехода от простых линейных функционалов к более сложной статистике, представляющей интерес ,

Хорошие ссылки

Б. Эфрон, Методы начальной загрузки: еще один взгляд на складной нож , Энн. Стат. том 7, нет. 1, 1–26.
Б. Эфрон и Р. Тибширани . Введение в бутстрап , Чепмен-Холл, 1994.
Г. А. Янг и Р. Л. Смит, Основы статистического вывода , издательство Кембриджского университета, 2005, глава 11 .
А. В. ван дер Ваарт, Асимптотическая статистика , издательство Кембриджского университета, 1998, глава 23 .
П. Бикель и Д. Фридман, Некоторые асимптотические теории для бутстрапа . Анна. Стат. том 9, нет. 6 (1981), 1196–1217.

— кардинальный
источник

Очень мило, @cardinal (+1).

Четкое объяснение, ссылки даны, отличный ответ.

— Вессабо

если подумать, то условие, что - это «случайная выборка» из на самом деле это место, где все рушится. Например, используя образец из популяции Facebook. Если вы хотите сделать вывод о пользователях Facebook, загрузчик будет работать. Если вы хотите сделать вывод об общей численности населения, начальная загрузка здесь не поможет, поскольку сходящаяся не является распределением интереса.

X_{i}

$X_i$

F

$F$

F (x)

$F(x)$

— вероятностная

12

Вот другой подход к размышлению об этом:

Начнем с теории, где мы знаем истинное распределение, мы можем обнаружить свойства выборочной статистики, моделируя из истинного распределения. Так Госсет разработал t-распределение и t-критерий, выбирая из известных нормалей и вычисляя статистику. На самом деле это форма параметрической начальной загрузки. Обратите внимание, что мы моделируем, чтобы обнаружить поведение статистики (иногда относительно параметров).

Теперь, что если мы не знаем распределения населения, у нас есть оценка распределения в эмпирическом распределении, и мы можем сделать выборку из этого. Взяв выборку из эмпирического распределения (которое известно), мы можем увидеть взаимосвязь между образцами начальной загрузки и эмпирическим распределением (совокупностью для выборки начальной загрузки). Теперь мы сделаем вывод, что отношение от выборок начальной загрузки к эмпирическому распределению такое же, как и от выборки к неизвестной популяции. Конечно, насколько хорошо эти отношения преобразуются, будет зависеть от того, насколько репрезентативна выборка среди населения.

Помните, что мы не используем средства выборочных загрузок для оценки среднего значения популяции, для этого мы используем среднее значение выборки (или какую-либо статистику, представляющую интерес). Но мы используем образцы начальной загрузки для оценки свойств (разброса, смещения) процесса выборки. И использование выборки из известной группы населения (которая, как мы надеемся, является репрезентативной для группы интересов) для изучения эффектов выборки имеет смысл и является гораздо менее круговым.

— Грег Сноу
источник

8

Основная хитрость (и уловка) начальной загрузки состоит в том, что это асимптотическая теория: если у вас есть бесконечная выборка для начала, эмпирическое распределение будет настолько близко к фактическому распределению, что разница будет незначительной.

К сожалению, начальная загрузка часто применяется для небольших выборок. По общему мнению, самозагрузка показала себя в некоторых очень не асимптотических ситуациях, но, тем не менее, будьте осторожны. Если ваш выборочный размер слишком мал, вы фактически работаете с условием, чтобы ваш образец был «хорошим представлением» истинного распределения, что очень легко приводит к рассуждению в кругах :-)

— Ник Сабби
источник

это то, о чем я думал, но в этом рассуждении есть что-то круглое. Я не статистик, но я чувствовал, что статистический вывод работает, когда ваши оценки быстро сходятся, поэтому, даже если ваша выборка не сходится по распределению, ваши выводы являются правильными. В этом случае мы полагаемся на все эмпирическое распределение, чтобы сходиться к фактическому распределению. Может быть, есть теоремы, утверждающие, что некоторые оценки при начальной загрузке сходятся быстро, но я обычно вижу, что начальная загрузка применяется без обращения к таким теоремам.

— user4733

4

Очевидное круговое рассуждение - то, почему это прозвище было начальной загрузкой Чувствовалось, что люди пытаются поднять себя своими собственными бутстрапами. Позже Эфрон показал, что это действительно работает.

— Грег Сноу

Если размер выборки очень маленький, вам нужно много доверять любым методам, которые вы используете ...

— kjetil b halvorsen

5

Я бы поспорил не с точки зрения «асимптотически, эмпирическое распределение будет близко к фактическому распределению» (что, конечно, очень верно), но с «долгосрочной перспективы». Другими словами, в любом конкретном случае эмпирическое распределение, полученное при начальной загрузке, будет отключено (иногда смещено слишком далеко таким образом, иногда слишком смещено таким образом, иногда слишком искажено таким образом, иногда слишком искажено таким образом), но в среднем оно будет хорошим приближением к фактическому распределению. Точно так же ваши оценки неопределенности, полученные из распределения начальной загрузки, будут в любом конкретном случае неверными, но, опять же, в среднем они будут (приблизительно) правильными.

— Wolfgang
источник