Это правда, что процентиль бутстрап никогда не должен использоваться?

31

В примечаниях MIT OpenCourseWare к 18.05 «Введение в вероятность и статистику», весна 2014 г. (в настоящее время доступно здесь ), говорится:

Метод процентиля начальной загрузки привлекателен своей простотой. Однако это зависит от начального распределения основанного на том, что конкретный образец является хорошим приближением к истинному распределению . Райс говорит о методе процентиля: «Хотя это прямое уравнение квантилей распределения выборки при начальной загрузке с доверительными пределами может показаться изначально привлекательным, его обоснование несколько неясно». [2] Короче, не используйте метод процентили при начальной загрузке . Вместо этого используйте эмпирический бутстрап (мы объяснили оба в надежде, что вы не перепутаете эмпирический бутстрап с процентильным бутстрапом). $\bar{x}^{*}$ $\bar{x}$

[2] Джон Райс, Математическая статистика и анализ данных , 2-е издание, с. 272

После небольшого поиска в Интернете, это единственная найденная мною цитата, в которой прямо говорится, что не следует использовать процентиль начальной загрузки.

Что я помню, читая из текста Принципы и теория интеллектуального анализа данных и машинного обучения Clarke et al. является то, что основным оправданием для начальной загрузки является тот факт, что где - эмпирический CDF. (Я не помню подробностей кроме этого.)

\frac{1}{n} \sum_{i = 1}^{n} {\hat{F}}_{n} (x) \overset{p}{\to} F (x)

$\dfrac{1}{n}\sum_{i=1}^{n}\hat{F}_n(x) \overset{p}{\to} F(x)$

{\hat{F}}_{n}

$\hat{F}_n$

Правда ли, что процентильный метод начальной загрузки не должен использоваться? Если да, какие существуют альтернативы, когда не обязательно известен (т. Е. Недостаточно информации для параметрической начальной загрузки)? $F$

Обновить

Поскольку уточнение было запрошено, «эмпирическая начальная загрузка» из этих заметок MIT относится к следующей процедуре: они вычисляют и с загрузочными оценками и - полная выборка оценки , и полученный оценочный доверительный интервал будет равен . $\delta_1 = (\hat{\theta}^{*}-\hat{\theta})_{\alpha/2}$ $\delta_2 = (\hat{\theta}^{*}-\hat{\theta})_{1-\alpha/2}$ $\hat{\theta}^{*}$ $\theta$ $\hat{\theta}$ $\theta$ $[\hat{\theta}-\delta_2, \hat{\theta} - \delta_1]$

По сути, основная идея заключается в следующем: эмпирическая начальная загрузка оценивает величину, пропорциональную разнице между точечной оценкой и фактическим параметром, т. Е. , и использует эту разницу, чтобы придать верхние границы CI. $\hat{\theta}-\theta$

«Процентная начальная загрузка» относится к следующему: используйте в качестве доверительного интервала для . В этой ситуации мы используем начальную загрузку для вычисления оценок интересующего параметра и принимаем процентили этих оценок за доверительный интервал. $[\hat{\theta}^*_{\alpha/2}, \hat{\theta}^*_{1-\alpha/2}]$ $\theta$

confidence-interval bootstrap

— Кларнетист
источник

2

Я сильно отредактировал ваше обновление. Пожалуйста, проверьте, что мое редактирование имеет смысл. Ваши цитаты из книги Эфрона сбивают с толку, потому что то, что описывает Эфрон, не соответствует тому, что в ваших записях MIT называется «эмпирический бутстрап». Поэтому я просто оставил описание того, что делают записи MIT. Кстати, меня смущает одна вещь в их описании «эмпирического бутстрапа»: в самом верху страницы 6 написано «Поскольку

находится на 90-м процентиле ...» - я этого не понимаю , Из примера видно, что левая сторона КИ определяется путем вычитания 90-го процентиля, т.е. вашего

.

δ_{.1}^{*}

$\delta_{.1}^*$

δ_{2}

$\delta_2$

— амеба говорит восстановить Монику

2

@amoeba ваши правки верны. Спасибо за помощь во всем. Я думаю, что есть некоторые проблемы с примечаниями MIT; их описание трудностей с процентильными бутстрапами было не очень ясным, и их аргумент против них - в основном обращение к власти. Я не мог воспроизвести их последний числовой пример против начальной загрузки. Не думайте, что они проработали некоторые детали так же, как и мы, пока мы обсуждали этот полезный вопрос, и, следовательно, их текст может иметь некоторые недостатки, как вы указали.

— EdM

Глядя на это примечание MIT, я не вижу, как авторы получили доверительные интервалы в разделе 9 «Метод процентили начальной загрузки (не должен использоваться)» [37.4, 42.4]. Кажется, что образец, который они используют, отличается от образца в разделе 6, с которым они проводят сравнение. Если мы возьмем выборку для δ ∗ = x ∗ - x, указанную в нижней части страницы 5, и добавим обратно среднее значение выборки, равное 40,3, и возьмем КИ, я получу пределы [38,9, 41,9], которые имеют такую же ширину 3 в качестве ограничений они сообщают в разделе 6 [38.7, 41.7].

— Смущен

21

Существуют некоторые трудности, которые являются общими для всех непараметрических оценок начальной загрузки доверительных интервалов (CI), некоторые из них больше связаны как с «эмпирическими» (называемыми «базовыми» в boot.ci()функции bootпакета R , так и в [1] ). и оценки «процентили» CI (как описано в ссылке 2 ), а также некоторые, которые могут усугубляться с помощью процентилей CI.

TL; DR : в некоторых случаях оценки процентили начальной загрузки CI могут работать адекватно, но если некоторые допущения не выполняются, процентиль CI может быть наихудшим выбором, а эмпирический / базовый бутстрап - наихудшим. Другие оценки начальной загрузки CI могут быть более надежными, с лучшим охватом. Все может быть проблематично. Просмотр диагностических графиков, как всегда, помогает избежать потенциальных ошибок, возникающих, просто принимая выходные данные программной процедуры.

Настройка начальной загрузки

В общем, следуя терминологии и аргументам работы . 1 , мы имеем выборку данных взяты из независимых и одинаково распределенных случайных величин делить интегральную функцию распределения . Эмпирическая функция распределения (ФРЭ) , построенная из образца данных является . Нас интересует характеристика популяции, оцененная статистикой , значение которой в выборке равно . Нам хотелось бы знать, насколько хорошо оценивает $y_1, ..., y_n$ $Y_i$ $F$ $\hat F$ $\theta$ $T$ $t$ $T$ $\theta$ Например, распределение . $(T - \theta)$

Непараметрические бутстраповский использует выборку из EDF , чтобы имитировать выборки из , принимая образцов , каждый из размера с заменой от . Значения, рассчитанные по образцам начальной загрузки, обозначены «*». Например, статистика рассчитанная на образце начальной загрузки j, дает значение . $\hat F$ $F$ $R$ $n$ $y_i$ $T$ $T_j^*$

Эмпирические / базовые и процентильные контрольные CI начальной загрузки

Эмпирическая / базовая самозагрузки использует распределение среди бутстраповских выборок из , чтобы оценить распределение в пределах популяции , описываемой самой. Таким образом, его оценки CI основаны на распределении , где - значение статистики в исходной выборке. $(T^*-t)$ $R$ $\hat F$ $(T-\theta)$ $F$ $(T^*-t)$ $t$

Этот подход основан на фундаментальном принципе начальной загрузки ( ссылка 3 ):

Население относится к выборке, как выборка к выборкам начальной загрузки.

В процентильной начальной загрузке вместо этого используются квантили самих значений для определения КИ. Эти оценки могут быть совершенно разными, если в распределении наблюдается перекос или смещение . $T_j^*$ $(T-\theta)$

Скажем, что существует наблюдаемое смещение такое, что: $B$

{\bar{T}}^{*} = t + B,

$\bar T^*=t+B,$

где - среднее значение . Для конкретности, скажем, что 5-й и 95-й процентили выражаются как и , где - среднее значение по образцам начальной загрузки, а - это каждый положительный и потенциально различный, чтобы учесть перекос. Оценки, основанные на 5-м и 95-м CI-процентилях, будут непосредственно даны соответственно: $\bar T^*$ $T_j^*$ $T_j^*$ $\bar T^*-\delta_1$ $\bar T^*+\delta_2$ $\bar T^*$ $\delta_1,\delta_2$

{\bar{T}}^{*} - δ_{1} = t + B - δ_{1}; {\bar{T}}^{*} + δ_{2} = t + B + δ_{2} .

$\bar T^*-\delta_1=t+B-\delta_1; \bar T^*+\delta_2=t+B+\delta_2.$

Оценки CI 5-го и 95-го процентиля эмпирическим / базовым методом начальной загрузки будут соответственно (см . 1 , уравнение 5.6, стр. 194):

2 t - ({\bar{T}}^{*} + δ_{2}) = t - B - δ_{2}; 2 t - ({\bar{T}}^{*} - δ_{1}) = t - B + δ_{1} .

$2t-(\bar T^*+\delta_2) = t-B-\delta_2; 2t-(\bar T^*-\delta_1) = t-B+\delta_1.$

Таким образом, основанные на процентилях КИ неверно воспринимают смещение и изменяют направления потенциально асимметричных позиций доверительных границ вокруг двукратно смещенного центра . Процентные CI от начальной загрузки в таком случае не представляют распределение . $(T-\theta)$

Это поведение хорошо иллюстрируется на этой странице для начальной загрузки статистики с таким отрицательным смещением, что исходная выборочная оценка ниже 95% ДИ, основанных на эмпирическом / базовом методе (который непосредственно включает соответствующую коррекцию смещения). 95% ДИ, основанные на методе процентили, расположенном вокруг дважды отрицательно смещенного центра, на самом деле оба ниже даже оценки отрицательно смещенной точки из исходного образца!

Нужно ли использовать процентильный бутстрап?

Это может быть завышением или занижением, в зависимости от вашей точки зрения. Если вы можете задокументировать минимальное смещение и перекос, например, визуализируя распределение с помощью гистограмм или графиков плотности, начальная загрузка процентиля должна обеспечивать по существу тот же CI, что и эмпирический / базовый CI. Возможно, они оба лучше, чем простое нормальное приближение к КИ. $(T^*-t)$

Ни один из подходов, однако, не обеспечивает точность покрытия, которая может быть обеспечена другими подходами начальной загрузки. Эфрон с самого начала осознавал потенциальные ограничения процентильных КИ, но сказал: «В основном мы будем рады позволить различным степеням успеха примеров говорить сами за себя». ( Ссылка 2 , страница 3)

Последующая работа, обобщенная, например, Дичиччо и Эфроном ( ссылка 4 ), разработала методы, которые «улучшаются на порядок по точности стандартных интервалов», предоставляемые эмпирическим / базовым или процентильным методами. Таким образом, можно утверждать, что ни эмпирический / базовый, ни процентильный методы не должны использоваться, если вы заботитесь о точности интервалов.

В крайних случаях, например, выборка напрямую из логнормального распределения без преобразования, никакие начальные оценки CI не могут быть надежными, как отметил Фрэнк Харрелл .

Что ограничивает надежность этих и других загрузочных КИ?

Некоторые проблемы могут привести к ненадежности загружаемых КИ. Некоторые применимы ко всем подходам, другие могут быть смягчены с помощью подходов, отличных от эмпирических / базовых или процентильных методов.

Первый, вообще, вопрос, насколько хорошо эмпирическое распределение представляет распределение населения . Если этого не произойдет, то никакой метод начальной загрузки не будет надежным. В частности, начальная загрузка для определения чего-либо, близкого к экстремальным значениям распределения, может быть ненадежной. Эта проблема обсуждается в другом месте на этом сайте, например, здесь и здесь . Немногочисленные, дискретные значения , доступные в хвостах для любого конкретного образца не могут представлять собой хвосты непрерывного очень хорошо. Экстремальный, но иллюстративный случай - попытка использовать начальную загрузку для оценки статистики максимального порядка случайной выборки из униформы. $\hat F$ $F$ $\hat F$ $F$ Распределение , как хорошо объясненоздесь. Обратите внимание, что загруженные 95% или 99% CI сами находятся в хвостах распределения и, следовательно, могут страдать от такой проблемы, особенно с небольшими размерами выборки. $\;\mathcal{U}[0,\theta]$

Во- вторых, нет никаких гарантий того, что выборка любого количества из будет иметь такое же распределение , как отсчётов от . И все же это предположение лежит в основе основополагающего принципа начальной загрузки. Количества с этим желательным свойством называются основными . Как объясняет AdamO : $\hat F$ $F$

Это означает, что если базовый параметр изменяется, форма распределения смещается только на постоянную величину, и масштаб не обязательно изменяется. Это сильное предположение!

Например, если есть смещение, важно знать , что выборка из вокруг такое же , как выборка из вокруг . И это особая проблема в непараметрической выборке; как исх. 1 помещает это на страницу 33: $F$ $\theta$ $\hat F$ $t$

В непараметрических задачах ситуация сложнее. В настоящее время маловероятно (но не строго невозможно), что любое количество может быть точно ключевым.

Так что лучшее, что обычно возможно, - это приближение. Эта проблема, однако, часто может быть решена адекватно. Это можно оценить , насколько близко сэмпла количество является Pivotal, например , с помощью шарнирных участков в соответствии с рекомендациями Кенти и др . Они могут показать, как распределения загрузочных оценок меняются в зависимости от , или насколько хорошо преобразование обеспечивает величину которая является ключевой. Методы для улучшенных загруженных CI могут попытаться найти преобразование $(T^*-t)$ $t$ $h$ $(h(T^*)-h(t))$ $h$ такой, что ближе к основному для оценки КИ в преобразованной шкале, затем преобразуйте обратно в исходную шкалу. $(h(T^*)-h(t))$

boot.ci()Функция обеспечивает стьюдентизированную самозагрузку КИ ( так называемого «bootstrap- т » с помощью DiCiccio и Эфрона ) и КУ (смещения корректируются и ускоряются, когда «ускорение» имеет дело с перекосом) , которые являются «вторым порядком точности» в том , что разница между желаемым и достигнутым охватом (например, 95% ДИ) составляет порядка , в отличие только от точности первого порядка (порядка ) для эмпирического / основного и процентильного методов ( ссылка 1 , с. 212-3; ссылка 4 $BC_a$ $\alpha$ $n^{-1}$ $n^{-0.5}$ ). Эти методы, однако, требуют отслеживания отклонений в каждой из загруженных выборок, а не только отдельных значений используемых этими более простыми методами. $T_j^*$

В крайних случаях, возможно, придется прибегнуть к самозагрузке внутри самих самозагруженных выборок, чтобы обеспечить адекватную настройку доверительных интервалов. Этот «Двойной бутстрап» описан в Разделе 5.6 . 1 , вместе с другими главами этой книги, предлагающими способы минимизации его экстремальных вычислительных требований.

— магистр педагогических наук
источник

1

Я не очень понимаю, почему вы говорите, что «эмпирический бутстрап» будет «гораздо менее чувствительным» к отклонениям от распределения населения. Разве процентильный бутстрап и этот «эмпирический бутстрап» не используют точно такие же квантили загрузочного дистрибутива? Я думал, что единственное отличие состоит в том, что если распределение начальной загрузки асимметрично относительно среднего значения выборки, то интервалы от этих двух подходов будут перевернуты. Как описано здесь: en.wikipedia.org/wiki/… («базовый» против «процентиль»).

— говорит амеба: восстанови Монику

1

@amoeba, они отличаются тем, как они обрабатывают смещение в оценках начальной загрузки, а не просто переключением интервалов. Этот ответ требует дополнительной работы, чтобы отделить вопросы эмпирической и процентильной начальной загрузки от вопросов, связанных с хвостами распределений, которые я несколько смутил здесь и которые я надеюсь уточнить через пару дней.

— EdM

1

Я не одобряю этот ответ, потому что, основываясь на предоставленных ссылках и (очень разумном) обосновании: « не следует использовать процентильный бутстрап », это просто завышение, а не «немного». Да, если мы можем, мы должны использовать некоторую форму метода начальной загрузки с поправкой на смещение, но нет, лучше использовать процентильную загрузку, чтобы получить несколько неэффективные оценки КИ, а не бездумно придерживаться 2SE и думать, что мы открыли Америку. (Я в значительной степени согласен с тем, что говорится в основной части ответа, но только не с последним абзацем, так как я чувствую, что это оставляет дверь открытой для неправильного толкования.)

— usεr11852 говорит Восстановить Моник

1

Существенно реорганизованы и исправлены, частично в ответ на комментарии.

— EdM

1

@Отлично тому, что вы написали, эквивалентно форме, которую я предоставил для эмпирической / базовой загрузки. Обратите внимание , что ваш

является

, где

является верхней процентиль интерес среди образцов начальной загрузки. Таким образом ,

. Я использовал

U^{*}

$U^*$

{\hat{θ}}_{U}^{*} - \hat{θ}

$\hat\theta^*_U - \hat\theta$

{\hat{θ}}_{U}^{*}

$\hat\theta^*_U$

\hat{θ} - U^{*} = \hat{θ} - ({\hat{θ}}_{U}^{*} - \hat{θ}) = 2 \hat{θ} - {\hat{θ}}_{U}^{*}

$\hat\theta - U^* = \hat\theta -(\hat\theta^*_U - \hat\theta)=2 \hat\theta - \hat\theta^*_U$

t

$t$ для &

и выраженной

в качестве начальной загрузки среднего

плюс смещение

.

\hat{θ}

$\hat\theta$

{\hat{θ}}_{U}^{*}

$\hat\theta^*_U$

{\bar{T}}^{*}

$\bar T^*$

δ_{2}

$\delta_2$

— EdM

8

Некоторые комментарии по различной терминологии между MIT / Rice и книгой Эфрона

Я думаю, что ответ EdM проделывает фантастическую работу, отвечая на оригинальный вопрос ОП в отношении примечаний к лекции MIT. Тем не менее, ФП также цитирует книгу Efrom (2016) « Статистический вывод компьютерного века», в которой используются несколько иные определения, которые могут привести к путанице.

Глава 11 - Пример корреляции оценок ученика

В этом примере используется образец, для которого интересующим параметром является корреляция. В образце наблюдается , как . Эфрон затем выполняет непараметрических бутстрапе репликации & для студента оценка корреляции выборки и участков гистограммы результатов (стр 186) $\hat \theta = 0.498$ $B = 2000$ $\hat \theta^*$

Стандартный интервал начальной загрузки

Затем он определяет следующий стандартный интервал начальной загрузки :

\hat{θ} \pm 1.96 \hat{s e}

$\hat \theta \pm 1.96 \hat{se}$

$\hat{se}$ $se_{boot}$

Эмпирическое стандартное отклонение значений начальной загрузки:

$\mathbf{x} = (x_1,x_2,...,x_n)$ $\mathbf{x^*} = (x_1^*,x_2^*,...,x_n^*)$ $b$

{\hat{θ}}^{* b} = s (x^{* b}) for b = 1, 2, . . ., B

$\hat \theta^{*b} = s(\mathbf{x}^{*b}) \ \text{ for } b = 1,2,...,B$

$\hat \theta$

{\hat{s e}}_{b o o t} = {[\sum_{b = 1}^{B} ({\hat{θ}}^{* b} - {\hat{θ}}^{*})^{2} / (B - 1)]}^{1 / 2}

$\hat{se}_{boot} = \left[ \sum_{b=1}^B (\hat \theta^{*b} - \hat \theta^{*})^2 / (B-1)\right]^{1/2}$

{\hat{θ}}^{*} = \frac{\sum_{b = 1}^{B} {\hat{θ}}^{* b}}{B}

$\hat \theta^{*} = \frac{\sum_{b=1}^B \hat \theta^{*b}}{B}$

Это определение кажется отличным от того, которое использовалось в ответе EdM:

$(T^∗−t)$ $R$ $\hat F$ $(T−\theta)$ $F$

Процентиль бутстрап

Здесь оба определения кажутся согласованными. Со страницы Эфрона 186:

$B$ $\hat \theta^{*1}, \hat \theta^{*2},...,\hat \theta^{*B}$

В этом примере это 0.118 и 0.758 соответственно.

Цитирование EdM:

$T^∗_j$

Сравнение стандартного и процентильного метода, определенного Efron

Основываясь на своих собственных определениях, Эфрон пытается доказать, что метод процентилей является улучшением. Для этого примера получим CI:

Вывод

Я бы сказал, что первоначальный вопрос ФП согласуется с определениями, предоставленными EdM. Изменения, внесенные ФП для уточнения определений, приведены в соответствие с книгой Эфрона и не совсем совпадают с Эмпирическим и Стандартным бутстрапами CI.

Комментарии приветствуются

— Ксавье Бурре Сикотт
источник

2

boot.ci()

θ

$\theta$

Только что проверил руководство на boot.ci(): «Нормальные интервалы также используют коррекцию смещения при начальной загрузке». Так что это похоже на отличие от «стандартного интервала начальной загрузки», описанного Efron.

— EdM

Достаточно справедливо - нормальные интервалы, описанные в книге, являются базовым случаем, из которого он строит лучшие и более точные подходы (вплоть до BC и BCa), поэтому имеет смысл, что он не реализован

— Ксавье Бурре Сикотт,

@EdM и Ксавье: статистический вывод эпохи компьютеров вообще описывает «эмпирические / базовые» КИ? Если так, то как книга называет их? Если нет, не странно ли?

— амеба говорит восстановить монику

1

@ amoeba не то, что я вижу с первого взгляда. Книга доступна в формате PDF для личного использования. Как я утверждаю в своем ответе и как отмечалось в книге, есть более хороший выбор, чем "эмпирические / базовые" и "процентильные" КИ в отношении покрытия, поэтому я понимаю, почему один из них может быть опущен: без смещения и с симметричным КИ, между ними нет большой разницы. Я, конечно, не могу винить изобретателя бутстрапа за то, что он акцентировал внимание на его первоначальном методе КИ, так как он ведет более непосредственно к BC и BCa, чем «эмпирический / базовый».

— EdM

5

Я следую вашему руководству: «Ищу ответный рисунок из достоверных и / или официальных источников».

Бутстрап был изобретен Брэдом Эфроном. Я думаю, будет справедливо сказать, что он выдающийся статистик. Это факт, что он профессор в Стэнфорде. Я думаю, что это делает его мнение заслуживающим доверия и официальным.

Я полагаю, что Статистический вывод компьютерного века Эфрона и Хасти - его последняя книга, и поэтому должен отражать его нынешние взгляды. Из с. 204 (11,7, примечания и детали),

Доверительные интервалы начальной загрузки не являются ни точными, ни оптимальными, но вместо этого стремятся к широкой применимости в сочетании с почти точной точностью.

Если вы прочтете главу 11 «Доверительные интервалы начальной загрузки», он даст 4 метода создания доверительных интервалов начальной загрузки. Вторым из этих методов является (11.2) Перцентильный метод. Третий и четвертый методы являются вариантами метода процентилей, которые пытаются исправить то, что Эфрон и Хасти описывают как отклонение в доверительном интервале и для которого они дают теоретическое объяснение.

Кроме того, я не могу решить, есть ли какая-либо разница между тем, что люди из MIT называют эмпирической начальной загрузкой CI и процентильной CI. Возможно, у меня пердит мозг, но я вижу эмпирический метод как метод процентили после вычитания фиксированного количества. Это ничего не должно изменить. Я, вероятно, неправильно понимаю, но я был бы действительно благодарен, если бы кто-то мог объяснить, как я неправильно понимаю их текст.

Несмотря на это, у ведущей власти, похоже, нет проблем с процентильными КИ. Я также думаю, что его комментарий отвечает критике начальной загрузки CI, которая упоминается некоторыми людьми.

ОСНОВНЫЕ ДОБАВИТЬ

$[\bar{x*}-\delta_{.1},\bar{x*}-\delta_{.9}]$ $[\bar{x*}-\delta_{.9},\bar{x*}-\delta_{.1}]$
$\delta = \bar{x} - \mu$ $\bar{x} - \mu$ $\mu-\bar{x}$ , Так же разумно. Кроме того, дельта для второго сета - это оскверненный процентиль начальной загрузки! Эфрон использует процентиль, и я думаю, что распределение фактических средств должно быть наиболее фундаментальным. Я хотел бы добавить, что в дополнение к Efron, Hastie и статье Efron 1979 года, упомянутой в другом ответе, Efron написал книгу о начальной загрузке в 1982 году. Во всех трех источниках упоминается процентильная начальная загрузка, но я не нахожу упоминания о том, что MIT люди называют эмпирическим бутстрапом. Кроме того, я уверен, что они неправильно вычисляют процентиль. Ниже записная книжка R, которую я написал.

Комментарии к справке по MIT Сначала давайте перенесем данные MIT в R. Я выполнил простую работу по вырезанию и вставке их образцов начальной загрузки и сохранил их в boot.txt.

Скрыть orig.boot = c (30, 37, 36, 43, 42, 43, 43, 46, 41, 42) boot = read.table (file = "boot.txt") означает = as.numeric (lapply (boot Имею ввиду)) # lapply создает списки, а не векторы. Я использую это ВСЕГДА для фреймов данных. mu = mean (orig.boot) del = sort (значит - mu) # различия mu означает del и далее

Hide mu - sort (del) [3] mu - sort (del) [18] Таким образом, мы получаем тот же ответ, что и они. В частности у меня один и тот же 10-й и 90-й процентили. Я хочу отметить, что диапазон от 10-го до 90-го процентиля равен 3. Это то же самое, что и MIT.

Каковы мои средства?

Скрыть значит сортировать (значит) Я получаю разные средства. Важный момент - мои 10-е и 90-е означают 38,9 и 41,9. Это то, что я ожидал. Они отличаются, потому что я рассматриваю расстояния от 40,3, поэтому я меняю порядок вычитания. Обратите внимание, что 40,3-38,9 = 1,4 (и 40,3 - 1,6 = 38,7). То, что они называют процентильной начальной загрузкой, дает распределение, которое зависит от реальных средств, которые мы получаем, а не от различий.

Ключевой момент Эмпирический бутстрап и процентильный бутстрап будут отличаться тем, что то, что они называют эмпирическим бутстрапом, будет интервалом [x ∗ ¯ − δ.1, x ∗ ¯ − δ.9] [x ∗ ¯ − δ.1, x ∗ ¯ − δ.9], в то время как процентильная начальная загрузка будет иметь доверительный интервал [x ∗ ¯ − δ.9, x ∗ ¯ − δ.1] [x ∗ ¯ − δ.9, x ∗ ¯ − δ.1 ]. Как правило, они не должны быть такими разными. У меня есть мысли о том, что я предпочел бы, но я не являюсь окончательным источником, который запрашивает OP. Мысленный эксперимент - должны ли они сходиться, если размер выборки увеличивается. Обратите внимание, что есть 210210 возможных образцов размера 10. Давайте не будем сходить с ума, но что делать, если мы возьмем 2000 образцов - размер, который обычно считается достаточным.

Скрыть set.seed (1234) # воспроизводимый boot.2k = матрица (NA, 10,2000) для (i в c (1: 2000)) {boot.2k [, i] = образец (orig.boot, 10, заменить = T)} mu2k = sort (применить (boot.2k, 2, значит)) Давайте посмотрим на mu2k

Скрыть суммарное (mu2k) среднее (mu2k) -mu2k [200] среднее (mu2k) - mu2k [1801] А фактические значения-

Скрыть mu2k [200] mu2k [1801] Так что теперь то, что MIT называет эмпирическим бутстрепом, дает 80% доверительный интервал [, 40,3 -1,87,40,3 +1,64] или [38,43,41,94], а их распределение плохих процентилей дает [38,5, 42]. Это, конечно, имеет смысл, потому что закон больших чисел в этом случае говорит, что распределение должно сходиться к нормальному распределению. Кстати, это обсуждается в Efron и Hastie. Первый метод, который они дают для вычисления интервала начальной загрузки, состоит в том, чтобы использовать mu = / - 1.96 sd. Как они указывают, для достаточно большого размера выборки это будет работать. Затем они приводят пример, для которого n = 2000 недостаточно велико, чтобы получить приблизительно нормальное распределение данных.

Выводы Во-первых, я хочу изложить принцип, который я использую для решения вопросов именования. «Это моя вечеринка, я могу плакать, если захочу». Хотя изначально она была сформулирована Петулой Кларк, я думаю, что она также применяет структуры имен. Так что с искренним уважением к MIT, я думаю, что Брэдли Эфрон заслуживает того, чтобы называть различные методы начальной загрузки по своему усмотрению. Чем он занимается ? Я не могу найти упоминания в «Эмпирическом бутстрэпе» в «Эфроне», только процентиль. Так что я буду смиренно не согласен с Райсом, Массачусетским технологическим институтом и другими. Я также хотел бы отметить, что по закону больших чисел, используемому в лекции MIT, эмпирические и процентили должны сходиться к одному и тому же числу. На мой вкус, процентильный бутстрап интуитивно понятен и оправдан, что имел в виду изобретатель бутстрапа. Я хотел бы добавить, что я нашел время, чтобы сделать это только для своего назидания, а не для чего-то еще. Особенно, Я не писал Efron, что, вероятно, и должен делать OP. Я больше всего готов исправиться.

— aginensky
источник

3

«Я думаю, будет справедливо сказать, что он выдающийся статистик». - Да, я бы сказал, что это справедливо!

— Ксавье Бурре Сикотт

Я думаю, что то, что OP называет «эмпирическим бустрапом», - это то, что Википедия называет здесь «базовым бутстрапом» en.wikipedia.org/wiki/… . Он использует те же процентили, что и "процентиль бутстрап", вы правы, но вроде как переворачивает их. Эфрон и Хасти включают это в свои 4 метода? Как они это называют?

— говорит амеба: восстанови монику

Я попытался уточнить это в вопросе, основываясь на том, что я прочитал в заметках MIT. Дайте мне знать, если что-то неясно (или если у вас есть время, чтобы проверить сами заметки, проверьте мой пост на правильность).

— Кларнетист

@ Ксавьер мог бы доказать, что мое заявление Эфрона было преуменьшением.

— Агиненский

1

[\bar{x *} - δ_{.1}, \bar{x *} - δ_{.9}]

$[\bar{x*}-\delta_{.1},\bar{x*}-\delta_{.9}]$

\bar{x *}

$\bar{x*}$

— EdM

2

Как уже отмечалось в предыдущих ответах, «эмпирическая начальная загрузка » в других источниках (включая функцию R boot.ci ) называется «базовой начальной загрузкой» , которая идентична «начальной загрузке», перевернутой при точечной оценке. Венейблс и Рипли пишут («Современная прикладная статистика с S», 4-е изд., Springer, 2002, стр. 136):

В асимметричных задачах базовые и процентильные интервалы будут значительно различаться, а базовые интервалы представляются более рациональными.

$n$

$f(x)=3x^2$ $\pm t_{1-\alpha/2}\sqrt{s^2/n})$ $\pm z_{1-\alpha/2}\sqrt{s^2/n})$

$\lambda$ $\pm z_{1-\alpha/2}$ $\pm z_{1-\alpha/2}$

В обоих случаях использование начальной загрузки BCa имеет самую высокую вероятность охвата среди методов начальной загрузки, а процентная загрузка начальной загрузки имеет более высокую вероятность покрытия, чем базовая / эмпирическая начальная загрузка.

— cdalitz
источник