Насколько хорошо самозагрузка аппроксимирует выборочное распределение оценки?

Недавно изучив начальную загрузку, у меня возник концептуальный вопрос, который до сих пор меня удивляет:

У вас есть население, и вы хотите знать атрибут населения, то есть , где я использую для представления населения. Это может означать, например, население. Обычно вы не можете получить все данные от населения. Таким образом, вы берете образец размера от населения. Предположим, у вас есть образец iid для простоты. Тогда вы получите оценку . Вы хотите использовать чтобы сделать выводы о , поэтому вы хотели бы знать, как изменяется . $\theta=g(P)$ $P$ $\theta$ $X$ $N$ $\hat{\theta}=g(X)$ $\hat{\theta}$ $\theta$ $\hat{\theta}$

Во-первых, существует истинное выборочное распределение . Концептуально, вы можете взять много образцов (каждый из них имеет размер ) из популяции. Каждый раз у вас будет реализация поскольку каждый раз у вас будет другой образец. Затем, в конце концов, вы сможете восстановить истинный дистрибутив . Хорошо, по крайней мере, это концептуальный эталон для оценки распределения . Позвольте мне повторить это: конечной целью является использование различных методов для оценки или аппроксимации истинного распределения . $\hat{\theta}$ $N$ $\hat{\theta}=g(X)$ $\hat{\theta}$ $\hat{\theta}$ $\hat{\theta}$

Теперь возникает вопрос. Обычно у вас есть только один образец который содержит точек данных. Затем вы будете многократно повторять выборку из этого примера, и вы получите загрузочный дистрибутив . Мой вопрос: насколько близко это распределение начальной загрузки к истинному выборочному распределению ? Есть ли способ определить это? $X$ $N$ $\hat{\theta}$ $\hat{\theta}$

bootstrap simulation resampling

— KevinKim
источник

Этот чрезвычайно связанный вопрос содержит множество дополнительной информации, так что, возможно, этот вопрос будет повторяться.

— Сиань

Во-первых, спасибо всем за столь быстрый ответ на мои вопросы. Это первый раз, когда я использую этот сайт. Я никогда не ожидал, что мой вопрос честно привлечет к себе внимание. У меня есть небольшой вопрос, что такое «OP»? @

— Silverfish

@ Чен Джин: "OP" = оригинальный постер (то есть вы!). Извинения за использование аббревиатуры, которое я принимаю, может сбить с толку.

— Серебряная рыба

Я отредактировал название так, чтобы оно более точно соответствовало вашему утверждению: «Мой вопрос: насколько близко это к истинному распределению ? Есть ли способ его количественно оценить?» Не стесняйтесь отменить его, если вы не думаете, что мое редактирование отражает ваши намерения.

\hat{θ}

$\hat\theta$

— Серебряная рыбка

@Silverfish Большое спасибо. Когда я начинаю этот постер, я не совсем уверен в своем вопросе на самом деле. Это новое название хорошо.

— КевинКим

Ответы:

В теории информации типичным способом количественной оценки того, насколько «близко» одно распределение к другому, является использование KL-дивергенции.

Попробуем проиллюстрировать это с помощью сильно искаженного набора данных с длинным хвостом - задержки прибытия самолетов в аэропорт Хьюстона (из пакета hflights ). Пусть будет средней оценкой. Сначала мы находим выборочное распределение , а затем загрузочное распределение $\hat \theta$ $\hat \theta$ $\hat \theta$

Вот набор данных:

введите описание изображения здесь

Истинное среднее значение составляет 7,09 мин.

Сначала мы делаем определенное количество выборок, чтобы получить распределение выборки , затем мы берем одну выборку и получаем из нее много загрузочных выборок. $\hat \theta$

Например, давайте рассмотрим два распределения с размером выборки 100 и 5000 повторений. Мы видим визуально, что эти распределения довольно обособлены, и дивергенция KL составляет 0,48.

введите описание изображения здесь

Но когда мы увеличиваем размер выборки до 1000, они начинают сходиться (дивергенция КЛ равна 0,11)

введите описание изображения здесь

И когда размер выборки составляет 5000, они очень близки (расхождение KL составляет 0,01)

введите описание изображения здесь

Это, конечно, зависит от того, какой образец начальной загрузки вы получаете, но я полагаю, вы можете увидеть, что расхождение KL уменьшается по мере того, как мы увеличиваем размер выборки, и, таким образом, распределение начальной загрузки приближается к распределению выборки в терминах КЛ Дивергенция. Чтобы быть уверенным, вы можете попробовать сделать несколько бутстрапов и взять среднее значение дивергенции KL. $\hat \theta$ $\hat \theta$

Вот код R этого эксперимента: https://gist.github.com/alexeygrigorev/0b97794aea78eee9d794

— Алексей Григорьев
источник

+1, и это также показывает, что для любого данного размера выборки (например, 100), смещение при загрузке может быть большим и неизбежным.

— говорит амеба: восстанови Монику

\hat{θ}

$\hat{\theta}$

\hat{θ}

$\hat{\theta}$

N

$N$

N

$N$

B = 10

$B=10$

B = 10000

$B=10000$

\hat{θ}

$\hat{\theta}$

N

$N$

B

$B$

\hat{θ}

$\hat{\theta}$

\hat{θ}

$\hat \theta$

B = 10

$B=10$

B = 10000

$B=10000$

10

$10$

\Rightarrow

$\Rightarrow$

10000

$10000$

F_{5}

$F_5$

5

$5$

5

$5$

F_{B}

$F_B$

F_{B}

$F_B$

{\hat{F}}_{N} (Икс) знак равно \frac{1}{N} Σ_{я знак равно 1}^{N} я_{{Икс}_{я} \leq Икс} {Икс}_{я} \overset{н.о.р.}{~} F (Икс)

$\hat{F}_n(x) = \frac{1}{n}\sum_{i=1}^n\mathbb{I}_{X_i\le x}\qquad X_i\stackrel{\text{iid}}{\sim}F(x)$ $n$

F (x)

$F(x)$

x

$x$

\hat{θ} (X_{1}, \dots, X_{n}) = g ({\hat{F}}_{n})

$\hat{\theta}(X_1,\ldots,X_n)=g(\hat{F}_n)$

\sqrt{n}

$\sqrt{n}$

x

$x$

\sqrt{N} {{\hat{F}}_{N} (Икс) - F (Икс)} \overset{расстояние}{⟶} N (0, F (Икс) [1 - F (Икс)])

$\sqrt{n}\{\hat{F}_n(x)-F(x)\}\stackrel{\text{dist}}{\longrightarrow}\mathsf{N}(0,F(x)[1-F(x)])$

g ({\hat{F}}_{n})

$g(\hat{F}_n)$

g ({\hat{F}}_{n})

$g(\hat{F}_n)$

введите описание изображения здесь $F$ $\hat{F}_n$ $n=100$ $250$ $F$ $\hat{F}_n$

Дальнейшее обновление: вот как выглядит изображение трубки, начиная с эмпирического файла cdf: введите описание изображения здесь

— Сиань
источник

Суть этого ответа в том, что бутстрап работает, потому что это приближение большой выборки . Я не думаю, что этот момент достаточно подчеркнут

— shadowtalker

Я имею в виду, «в целом подчеркивается достаточно часто»

— shadowtalker

\hat{F}

$\hat{F}$

n = 100

$n=100$

F

$F$

n

$n$

F

$F$

@ Сиань Очень хорошо! было бы еще лучше, если бы 2-я и 3-я фигуры могли быть объединены в одну фигуру

— KevinKim