Какие примеры, когда «наивный бутстрап» терпит неудачу?

Предположим, у меня есть набор данных выборки из неизвестного или сложного распределения, и я хочу сделать некоторый вывод по статистике $T$ данных. Моя склонность по умолчанию является просто генерировать кучу образцов бутстраповских с заменой, и вычислить мою статистику $T$ на каждый образец начальной загрузки , чтобы создать оценочное распределение для $T$ .

Какие примеры, где это плохая идея?

Например, один из случаев, когда наивное выполнение этой начальной загрузки завершится неудачей, - это попытка использования начальной загрузки для данных временных рядов (скажем, для проверки наличия у меня значительной автокорреляции). Наивный начальный загрузчик, описанный выше (создание $i$ го datapoint из n-ой серии образцов начальной загрузки путем выборки с заменой из моей исходной серии), я думаю, будет опрометчивым, поскольку он игнорирует структуру в моем исходном временном ряду, и поэтому мы получить более совершенные методы начальной загрузки, такие как блок начальной загрузки.

Другими словами, что там с начальной загрузкой, кроме «выборки с заменой»?

hypothesis-testing confidence-interval bootstrap

— raegtin
источник

Если вы хотите сделать вывод для среднего значения данных iid, загрузчик является отличным инструментом. Все остальное сомнительно и требует в каждом конкретном случае доказательства слабой сходимости.

— StasK

Ответы:

Если интересующее вас количество, как правило, функционал дистрибутива, достаточно гладкое, а ваши данные находятся на виду, вы обычно находитесь на довольно безопасной территории. Конечно, есть и другие обстоятельства, когда загрузчик также будет работать.

Что значит для загрузчика «провалиться»

Вообще говоря, целью начальной загрузки является построение приблизительного распределения выборки для статистики, представляющей интерес. Речь идет не о реальной оценке параметра. Итак, если интересующая статистика (при некотором масштабировании и центрировании) в и , мы бы хотели, чтобы наше дистрибутивное распределение сходятся к распределению . Если у нас этого нет, то мы не можем доверять сделанным выводам. $\newcommand{\Xhat}{\hat{X}_n}\Xhat$ $\Xhat \to X_\infty$ $X_\infty$

Канонический пример , когда самозагрузки могут потерпеть неудачу, даже в н.о.р. каркаса при попытке приблизить распределение выборки экстремальной статистики порядка. Ниже приводится краткое обсуждение.

Статистика максимального порядка случайной выборки из распределения $\;\mathcal{U}[0,\theta]$

Пусть - последовательность iid равномерных случайных величин на . Пусть . Распределение - это (Обратите внимание, что с помощью очень простого аргумента это фактически также показывает, что по вероятности и даже почти наверняка , если все случайные величины определены в одном и том же пространстве.) $X_1, X_2, \ldots$ $[0,\theta]$ $\newcommand{\Xmax}{X_{(n)}} \Xmax = \max_{1\leq k \leq n} X_k$ $\Xmax$

P (X_{(n)} \leq x) = (x / θ)^{n} .

$\renewcommand{\Pr}{\mathbb{P}}\Pr(\Xmax \leq x) = (x/\theta)^n \>.$

X_{(n)} \to θ

$\Xmax \to \theta$

Элементарный расчет дает или, другими словами, сходится по распределению к экспоненциальной случайной величине со средним значением .

P (n (θ - X_{(n)}) \leq x) = 1 - (1 - \frac{x}{θ n})^{n} \to 1 - e^{- x / θ},

$\Pr( n(\theta - \Xmax) \leq x ) = 1 - \Big(1 - \frac{x}{\theta n}\Big)^n \to 1 - e^{-x/\theta} \>,$

n (θ - X_{(n)})

$n(\theta - \Xmax)$

θ

$\theta$

Теперь мы формируем (наивную) загрузочную оценку распределения путем повторной выборки с заменой, чтобы получить и используя распределение из зависимости от . $n(\theta - \Xmax)$ $X_1, \ldots, X_n$ $X_1^\star,\ldots,X_n^\star$ $n(\Xmax - \Xmax^\star)$ $X_1,\ldots,X_n$

Но внимание, что с вероятностью , и поэтому распределение начальной загрузки имеет точечную массу в нуле даже асимптотически несмотря на тот факт, что фактическое предельное распределение является непрерывным. $\Xmax^\star = \Xmax$ $1 - (1-1/n)^n \to 1 - e^{-1}$

Более конкретно, хотя истинное предельное распределение является экспоненциальным со средним значением , предельное распределение начальной загрузки помещает точечную массу в ноль размера независимо от фактического значения . Взяв достаточно большим, мы можем сделать вероятность истинного предельного распределения произвольно малой для любого фиксированного интервала , однако загрузчик покажет ( все же !), Что в этом интервале есть хотя бы вероятность 0,632! Из этого должно быть ясно, что загрузчик может вести себя произвольно плохо в этой настройке. $\theta$ $1−e^{-1} \approx 0.632$ $\theta$ $\theta$ $[0,\varepsilon)$

Таким образом, в этом случае начальная загрузка завершается неудачно (с треском). Вещи, как правило, идут не так, когда имеют дело с параметрами на границе пространства параметров.

Пример из выборки нормальных случайных величин

Есть и другие подобные примеры неудачи бутстрапа в удивительно простых обстоятельствах.

Рассмотрим пример из где пространство параметров для ограничено . MLE в этом случае - это . Опять же, мы используем оценку начальной загрузки . Опять же, можно показать, что распределение (в зависимости от наблюдаемого образца) не сходится к тому же предельному распределению, что и . $X_1, X_2, \ldots$ $\mathcal{N}(\mu,1)$ $\mu$ $[0,\infty)$ $\newcommand{\Xbar}{\bar{X}}\Xhat = \max(\bar{X},0)$ $\Xhat^\star = \max(\Xbar^\star, 0)$ $\sqrt{n}(\Xhat^\star - \Xhat)$ $\sqrt{n}(\Xhat - \mu)$

Сменные массивы

Возможно, один из самых драматических примеров для сменного массива. Пусть будет массивом случайных величин таким, что для каждой пары матриц перестановок и , массивы и имеют одинаковое совместное распределение. То есть перестановка строк и столбцов в сохраняет инвариант распределения. (Можно привести в качестве примера модель двусторонних случайных эффектов с одним наблюдением на ячейку, хотя модель гораздо более общая.) $\newcommand{\bm}[1]{\mathbf{#1}}\bm{Y} = (Y_{ij})$ $\bm{P}$ $\bm{Q}$ $\bm{Y}$ $\bm{P} \bm{Y} \bm{Q}$ $\bm{Y}$

Предположим, мы хотим оценить доверительный интервал для среднего значения (из-за предположения о взаимозаменяемости, описанного выше, для всех клетки должны быть одинаковыми). $\mu = \mathbb{E}(Y_{ij}) = \mathbb{E}(Y_{11})$

McCullagh (2000) рассмотрел два различных естественных (то есть наивных) способа начальной загрузки такого массива. Ни один из них не получил правильную асимптотическую дисперсию для выборки. Он также рассматривает некоторые примеры односторонней сменной матрицы и линейной регрессии.

Рекомендации

К сожалению, тема нетривиальна, поэтому ни один из них не особенно легко читается.

П. Бикель и Д. Фридман, Некоторые асимптотические теории для бутстрапа . Анна. Стат. том 9, нет. 6 (1981), 1196–1217.

DWK Andrews, Несоответствие начальной загрузки, когда параметр находится на границе пространства параметров , Econometrica , vol. 68, нет. 2 (2000), 399–405.

P. McCullagh, Resampling and exchangeable Arrays , Bernoulli , vol. 6, нет 2 (2000), 285–301.

EL Lehmann и JP Romano, Проверка статистических гипотез , 3-й. под ред. Springer (2005). [Глава 15: Общие методы большой выборки]

— кардинальный
источник

Поведение начальной загрузки статистики порядка кажется мне разумным, учитывая, что экспоненциальное распределение имеет аналогичную «точечную массу» в нуле. Режим экспоненциального распределения равен 0, поэтому кажется разумным, что вероятность должна быть ненулевой в скорее всего ценность! Начальная загрузка, вероятно, будет чем-то более похожим на геометрическое распределение, которое является дискретным аналогом экспоненты. Я бы не стал воспринимать это как «провал» начальной загрузки - поскольку предполагаемое количество всегда лежит в соответствующем интервале

θ

$\theta$

θ \geq X_{(n)}

$\theta\geq X_{(n)}$

— вероятностное

@cardinal - асимптотическое распределение не является подходящим эталоном - если у вас нет бесконечной выборки. Распределение начальной загрузки следует сравнивать с конечным распределением выборки, которое было разработано для аппроксимации. Вы хотите показать, что по мере того, как число итераций начальной загрузки стремится к бесконечности, распределение начальной загрузки сходится к конечному распределению выборки . обозначение является приблизительным, а не точным решением.

n \to \infty

$n\to\infty$

— probabilityislogic

@cardinal +1, я поставил вопрос ранее, но хочу поблагодарить за очень хороший ответ, примеры и ссылки на статьи.

— mpiktas

@probabilityislogic, конечно, в общем случае применение асимптотической теории зависит от скорости сходимости, если она медленная, то она не применима. Но затем вы должны продемонстрировать, что скорость медленная, так как я подозреваю, что, например, при равномерном распределении при размере выборки 100 вы столкнетесь с проблемами, описанными @cardinal.

— mpiktas

@probabilityislogic, сначала я видел только последние из двух ваших последних комментариев. Чтобы обратиться к первому, вы можете увидеть первые два предложения приведенного выше раздела с заголовком «Что означает« неудача »загрузчика», где это решается явно. Начальная загрузка не об оценке параметра. Мы предполагаем, что у нас есть хороший способ оценить желаемый параметр (в этом случае работает нормально). Начальная загрузка состоит в том, чтобы знать кое-что о распределении параметра, чтобы мы могли сделать вывод. Здесь начальная загрузка получает распределение ( очень! ) Неправильно.

X_{(n)}

$X_{(n)}$

— кардинал

В следующей книге есть глава (гл. 9), посвященная теме «При неудачной начальной загрузке наряду с мерами по устранению неисправностей»:

М.Р. Черник, Bootstrap методы: руководство для практиков и исследователей , 2-е изд. Хобокен Нью-Джерси: Wiley-Interscience, 2008.

Темы:

Слишком маленький размер образца
Распределения с бесконечными моментами
Оценка экстремальных значений
Обзорная выборка
Последовательности данных, которые зависят от M
Нестабильные авторегрессионные процессы
Долгосрочная зависимость

— Sadeghd
источник

Вы видели этот комментарий к ответу в этой теме? Кстати, этот комментарий ссылается на страницу Амазонки для книги Черника; Отзывы читателей поучительны.

— whuber

@whuber Ну, я не заметил этот комментарий. Должен ли я удалить свой ответ?

— Садегд

Поскольку ваш ответ более подробен, чем ссылка в комментарии, он потенциально имеет ценность: но в соответствии с политикой и целями SE, было бы неплохо увидеть его в усилении с некоторым объяснением того, почему вы рекомендуете эту книгу или - даже лучше - включить в него краткое изложение информации. В противном случае это добавляет немного и должно быть удалено или преобразовано в комментарий к вопросу.

— whuber

Наивный загрузчик зависит от размера выборки, так что эмпирический CDF для данных является хорошим приближением к «истинному» CDF. Это гарантирует, что выборка из эмпирического CDF очень похожа на выборку из «истинного» CDF. Крайний случай - когда вы отбираете только одну точку данных - здесь начальная загрузка ничего не дает. По мере приближения к этому вырожденному случаю он будет становиться все более и более бесполезным.

Наивно начальная загрузка не обязательно потерпит неудачу при анализе временных рядов (хотя это может быть неэффективно) - если вы моделируете ряд, используя базовые функции непрерывного времени (такие как многочлены легенды) для компонента тренда, а функции синуса и косинуса непрерывного времени для циклического компоненты (плюс нормальный срок ошибки шума). Затем вы просто вставляете то, что вы когда-либо делали, в функцию правдоподобия. Никакой катастрофы для начальной загрузки здесь.

Любая модель автокорреляции или ARIMA имеет представление в этом формате выше - эта модель просто проще в использовании, и я думаю, что она понятна и понятна (легко понять циклы в функциях синуса и косинуса, трудно понять коэффициенты модели ARIMA). Например, функция автокорреляции является обратным преобразованием Фурье спектра мощности временного ряда.

— probabilityislogic
источник

@probabilityislogic -1, я случайно проголосовал против ответа ранее (обвиняют Opera mini), поэтому мне пришлось отредактировать его, чтобы иметь возможность понизить голос, извините за использование такой тактики. Я сделал это только потому, что сначала мне не понравился ответ, но я не понизил голос, потому что хотел подготовить свои аргументы, которые я приведу в следующем комментарии.

— mpiktas

@probabilityislogic, для процессов временных рядов время играет важную роль, поэтому распределение вектора отличается от . Повторная выборка, как это делается в наивной начальной загрузке, разрушает эту структуру, поэтому, например, если вы пытаетесь подогнать модель AR (1), после повторной выборки вы можете получить, что вы пытаетесь подогнать к , что не кажется естественным. Если вы заглянете в Google для «загрузки временных рядов», во второй статье приведен пример оценки дисперсии временных рядов ...

(X_{t}, X_{t + 1})

$(X_t,X_{t+1})$

(X_{t + 1}, X_{t})

$(X_{t+1},X_t)$

Y_{10}

$Y_{10}$

ρ Y_{15}

$\rho Y_{15}$

— mpiktas

@probabilityislogic, можно ли будет продемонстрировать свою идею в своем ответе для наивной начальной загрузки в модели AR (1) ? Я не думаю, что это возможно, поэтому основная причина для понижения. Я был бы рад оказаться неправым.

ρ

$\rho$

Y_{t} = ρ Y_{t - 1} + u_{t}

$Y_t=\rho Y_{t-1}+u_t$

— mpiktas

@probabilityislogic, а? Какова будет оценка в этом случае? Я прошу прощения за приставание, но я искренне не вижу, как вы можете показать, что наивный бутстрап не потерпит неудачу в этом случае.

r h o

$rho$

— mpiktas

Моя книга здесь есть глава о том, когда бутстраповские терпит неудачу , а также главу о том , как применяются бутстраповским во временных рядах. Для временных рядов бутстрап может быть применен к остаткам из модели в подходе, основанном на модели. Другой непараметрический подход во временной области - это блочная загрузка, которая может быть разных типов.

— Майкл Черник