Есть ли результат, который обеспечивает загрузку является действительным, если и только если статистика гладкая?

Во всем мы предполагаем, что наша статистика является функцией некоторых данных которые взяты из функции распределения ; Эмпирическая функция распределения нашей выборки - . Таким образом, - это статистика, рассматриваемая как случайная величина, а - это версия статистики для начальной загрузки. Мы используем в качестве расстояния KS $\theta(\cdot)$ $X_1, \ldots X_n$ $F$ $\hat{F}$ $\theta(F)$ $\theta(\hat{F})$ $d_\infty$

Существуют «если и только если» результаты для достоверности начальной загрузки, если статистика является простой линейной статистикой. Например, теорема 1 от Маммена "Когда работает бутстрап?"

Если для некоторой произвольной функции то загрузчик работает в том смысле, что если и только если существуют и такие, что Где мы можем определить как некоторую функцию нашего образца и $\theta(F) = \frac{1}{n} \sum_{i-1}^n h_n(X_i)$ $h_n$
$d_{\infty} [L (θ (\hat{F}) - {\hat{T}}_{N}), L (θ (F) - T_{N})] \underset{п}{\to} 0$ $d_\infty\big[\mathscr{L}(\theta(\hat{F})-\hat{t}_n), \mathscr{L}(\theta(F)-t_n)\big] \underset{p}{\rightarrow} 0$ $\sigma_n$ $t_n$ $d_{\infty} [L (θ (F) - T_{N}), N (0, σ_{N}^{2})] \underset{п}{\to} 0$ $d_\infty\big[\mathscr{L}(\theta(F)-t_n), N(0, \sigma_n^2)\big]\underset{p}{\rightarrow} 0$ $\hat{t_n}$ $t_n = \mathbb{E}(\hat{t}_n)$

Есть также более общие результаты, что бутстрап работает для общей статистики, например, теорема 1.6.3 из Subsampling от Politis Romano и Wolf:

Предположим, что $F$ взят из класса всех распределений с конечным носителем. Предположим, что статистика $\theta(\cdot)$ дифференцируема по Фреше в $F$ относительно нормы супремума, а производная $g_F$ удовлетворяет условию $0 < \textrm{Var}_F[g_F(x)] < \infty$ . Тогда $\theta(F)$ асимптотически нормальна, и бутстрап работает в смысле предыдущей теоремы.

Я хотел бы вариант второй теоремы "если и только если". Для этого потребуется понятие гладкости, отличное от дифференцируемости по Фреше, поскольку Politis, Romano and Wolf (1999) показывают, что медиана выборки не дифференцируема по Фреше, но бутстрап все еще работает. Однако медиана выборки все еще является гладкой функцией данных.

В Mammen есть неформальные комментарии о том, что гладкость необходима:

Обычно локальная асимптотическая линейность необходима для согласованности бутстрапа

Цитата должна:

van Zwet, W (1989). Доклад на конференции «Асимптотические методы для компьютерных интенсивных процедур в статистике» в Ольбервольфахе.

Но я не могу найти никаких следов этого разговора, кроме нескольких цитат.

— Оризон
источник

Отличная тема. Верно ли, что все приведенные результаты являются асимптотическими для размеров выборки, идущих в бесконечность?

— Майкл М

@ Майкл Спасибо и да, все асимптотически, как . Кстати, есть некоторая недавняя работа с результатами для конечных выборок (например, arxiv.org/pdf/1212.6906.pdf ), но она очень техническая.

n \to \infty

$n \rightarrow \infty$

— Орион

Сложная тема. Некоторые говорят, что бутстрап не работает вообще. Ван Цвер и соавт. говорит, что нужно быть осторожным с загрузкой . Я думаю, что нужно определить, что нужно загружать, а что не загружать, прежде чем будет гарантировано дальнейшее тестирование.

— Карл

Теперь я обновил ответ в ответ на комментарий Маммена, надеюсь, что проясню вашу путаницу дальше. И если вы хотите, вы можете немного рассказать о приложении, которое побуждает вас спрашивать о необходимости. Это поможет мне улучшить мой ответ.

— Henry.L

$\blacksquare$ (1) Почему квантильные оценки не дифференцируемы по Фреше, а их начальная оценка все еще непротиворечива?

Дифференцируемость по Адамару (или компактная дифференцируемость в зависимости от исходного источника) необходима в качестве достаточного условия, чтобы заставить загрузчик работать в этом случае, медиана и любой квантиль дифференцируемы по Адамару. Дифференцируемость по Фреше слишком сильна в большинстве приложений.

Поскольку обычно достаточно обсудить польское пространство, вы хотите, чтобы локально линейный функционал применял типичный аргумент компактности, чтобы распространить ваш результат согласованности на глобальную ситуацию. Также см. Комментарий по линеаризации ниже.

Теорема 2.27 [Вассермана] даст вам интуитивное представление о том, что производная Адамара является более слабым понятием. А теорема 3.6 и 3.7 из [Shao & Tu] даст достаточное условие слабой согласованности в терминах дифференциации Адамара статистического функционала с размером наблюдения . $\rho$ $T_{n}$ $n$

$\blacksquare$ (2) Что повлияет на последовательность оценок бутстрапов?

[Shao & Tu] pp.85-86 иллюстрирует ситуации, когда может возникнуть несоответствие оценок бутстрапов.

(1) самозагрузки чувствительны к хвостовому поведению населения . Для согласованности требуются моментные условия, которые являются более строгими, чем те, которые необходимы для существования предела . $F$ $H_{BOOT}$ $H_0$

(2) Непротиворечивость оценки начальной загрузки требует определенных степеней гладкости от данного статистического (функционального) . $T_{n}$

(3) Поведение оценщика начальной загрузки иногда зависит от метода, используемого для получения данных начальной загрузки.

А в разделе 3.5.2 [Шао & Tu] они вновь пример квантиля с помощью сглаживающего ядра . Обратите внимание, что моменты являются линейными функционалами. Цитата в вашем вопросе «Как правило, локальная асимптотическая линейность представляется необходимой для согласованности начальной загрузки» требует некоторого уровня аналитичности функционала, который может быть необходим, поскольку в случае неудачи вы можете создать какой-то патологический случай как функция Вейерштрасса (которая непрерывна, но нигде не дифференцируема). $K$

$\blacksquare$ (3) Почему локальная линейность представляется необходимой для обеспечения согласованности оценщика начальной загрузки?

Что касается комментария «Обычно локальная асимптотическая линейность представляется необходимой для согласованности начальной загрузки», сделанного Мамменом, как вы упомянули. Комментарий от [Shao & Tu] стр.78 выглядит следующим образом, поскольку они прокомментировали (глобальная) линеаризация - это всего лишь метод, который облегчает доказательство согласованности и не указывает на какую-либо необходимость:

Линеаризация является еще одним важным методом доказательства согласованности оценок при начальной загрузке, поскольку результаты для линейной статистики часто доступны или могут быть получены с использованием ранее представленных методов. Предположим, что данная статистика Tn может быть аппроксимирована линейной случайной величиной (где является линейной статистикой в ), т. е. (3.19) Пусть и будет начальной загрузки и , соответственно, на основе примера начальной загрузки $\bar{Z_n}=\frac{1}{n}\sum_{i=1}^{n}\phi(X_n)$ $\phi(X)$ $X$
$T_{n} = θ + \bar{Z_{n}} + o_{P} (\frac{1}{\sqrt{n}})$ $T_n=\theta+\bar{Z_n}+o_{P}(\frac{1}{\sqrt{n}})$ $T_n^{*}$ $\bar{Z_n^{*}}$ $T_n$ $\bar{Z_n}$ $\{X_1^{*},\cdots,X_n^{*}\}$ . Если мы сможем установить результат для аналогичный (3.19), т. (3.20) тогда предел (где - значение параметра) такой же, как и у Таким образом, мы сократили проблему до проблемы, связанной с «образец среднего» , чья оценка загрузки при начальной загрузке может быть показана как согласованная с использованием методов, описанных в разделах 3.1.2-3.1.4 $T_n^{*}$ $T_{n}^{*} = θ + {\bar{Z_{n}}}^{*} + o_{P} (\frac{1}{\sqrt{n}})$ $T_n^{*}=\theta+\bar{Z_n}^{*}+o_{P}(\frac{1}{\sqrt{n}})$ $H_{BOOT}(x)$ $x$ $=P\{\sqrt{n}(T_n-T_n^{*}) \leq x\}$ $P\{\sqrt{n}(\bar{Z_n}-\bar{Z_n}^{*}) \leq x\}$ $\bar{Z_n}$

И они привели пример 3.3 получения последовательности начальной загрузки для начальной загрузки типа MLE. Однако если глобальная линейность эффективна таким образом, трудно представить, как можно доказать согласованность без локальной линейности. Так что я думаю, это то, что хотел сказать Маммен.

$\blacksquare$ (4) Дополнительные комментарии

Помимо обсуждения, представленного [Shao & Tu] выше, я думаю, что вы хотите, чтобы было условие характеризации согласованности оценщиков начальной загрузки.

К сожалению, я не знаю ни одной характеристики согласованности оценки начальной загрузки для очень общего класса распределения в . $M(X)$ Даже если есть одиня чувствуючтотребует не только гладкость. Но существует характеристика для определенного класса статистических моделей, таких какклассв [Gine & Zinn]; или обычно компактно поддерживаемый класс (прямо из обсуждения выше), определенный над польским пространством. $T$ $CLT$

Кроме того, расстояние Колмогорова-Смирнова, на мой вкус, является неправильным расстоянием, если мы фокусируемся на классической асимптотике (в отличие от «равномерной» асимптотики для эмпирических процессов). Поскольку KS-расстояние не индуцирует слабую топологию, которая является естественным основанием для изучения асимптотического поведения, слабая топология в пространстве индуцируется ограниченным липшицевым расстоянием (OR-расстоянием Прохорова-Леви) в соответствии с [Huber] и многие другие авторы, когда в центре внимания не эмпирический процесс. Иногда в обсуждении ограничивающего поведения эмпирического процесса также участвуют BL-расстояния вроде [Gine & Zinn]. $M(X)$

Я ненавижу быть циничным, но все же чувствую, что это не единственное статистическое письмо, которое «цитируется из пустоты». Сказав это, я просто чувствую, что цитата из выступления ван Звета очень безответственна, хотя ван Звет - великий ученый.

$\blacksquare$ Ссылка

[Вассерман] Вассерман, Ларри. Вся непараметрическая статистика, Springer, 2010.

[Шао и Ту] Шао, Цзюнь и Донгшенг Ту. Складной нож и бутстрап. Springer, 1995.

[Джин и Зинн] Джине, Эварист и Джоэл Зинн. «Начальные эмпирические меры». Анналы вероятности (1990): 851-869.

[Хубер] Хубер, Питер Дж. Надежная статистика. Wiley, 1985.

— Henry.L
источник