Когда верна оценка предвзятости?

31

Часто утверждается, что начальная загрузка может дать оценку смещения в оценщике.

Если является оценкой для некоторой статистики, и являюсь бутстраповскими репликами (с ), то оценкой смещения начальной загрузки является $\hat t$ $\tilde t_i$ $i\in\{1,\cdots,N\}$

{b i a s}_{t} \approx \frac{1}{N} \sum_{i} {\tilde{t}}_{i} - \hat{t}

$\begin{equation} \mathrm{bias}_t \approx \frac{1}{N}\sum_i \tilde{t}_i-\hat t \end{equation}$ , которая кажется очень простой и мощный, к точке бытия тревожащий.

Я не могу понять, как это возможно, если у меня уже нет объективной оценки статистики. Например, если мой оценщик просто возвращает константу, которая не зависит от наблюдений, приведенная выше оценка смещения явно недействительна.

Хотя этот пример является патологическим, я не могу понять, каковы разумные предположения об оценке и распределениях, которые гарантируют, что оценка начальной загрузки является разумной.

Я пытался читать формальные ссылки, но я не статистик и не математик, поэтому ничего не разъяснилось.

Может ли кто-нибудь предоставить сводную информацию о том, когда оценка может быть действительной? Если вы знаете о хороших ссылках на эту тему, это также было бы здорово.

Редактировать:

Плавность оценки часто указывается в качестве требования для работы начальной загрузки. Может ли быть так, что также требуется какая-то локальная обратимость преобразования? Карта констант явно не удовлетворяет этому.

bootstrap bias

— бутстрапируемых
источник

2

Оценка константы является несмещенной оценкой этой константы, поэтому естественно, что оценка начальной загрузки смещения равна нулю.

— Сиань

4

Проблема, которую вы описываете, - это проблема интерпретации, а не обоснованности. Оценка смещения начальной загрузки для вашей постоянной оценки не является недействительной, она фактически идеальна.

Оценка самозагрузки смещения между блоком оценки и параметр где некоторым неизвестным распределением и образцами из . Функция - это то, что вы могли бы в принципе рассчитать, если бы у вас было население. Несколько раз мы берем плагин оценки $\hat\theta = s(x)$ $\theta = t(F),$ $F$ $x$ $F$ $t(F)$ $s(x) = t(\hat F),$ с помощью эмпирического распределения в месте . Вероятно, это то, что вы описали выше. Во всех случаях оценка самозагрузки смещения является где являются бутстраповскими образцами от . $t(F)$ $\hat F$ $F$

{б я a s}_{\hat{F}} знак равно Е_{\hat{F}} [s ({Икс}^{*})] - T (\hat{F}),

$\mathrm{bias}_{\hat F} = E_{\hat F}[s(x^*)] - t(\hat F),$

x^{*}

$x^*$

x

$x$

Константа является идеальным плагиной оценкой для тех же констант: $c$ население и образец , эмпирическое распределение, которая приблизительно равна . Если бы вы могли оценить , вы бы получили . Когда вы вычисляете плагин оценки вы также получаете . Нет предвзятости, как и следовало ожидать. $\sim F$ $\sim \hat F$ $F$ $t(F) = c$ $c$ $t(\hat F) = c$ $c$

Хорошо известный случай , когда есть уклон в плагин оценки находится в оценке дисперсии, следовательно , коррекция Бесселя. Ниже я продемонстрирую это. Оценка смещения начальной загрузки не так уж и плоха: $t(\hat F)$

library(plyr)

n <- 20
data <- rnorm(n, 0, 1)

variance <- sum((data - mean(data))^2)/n

boots <- raply(1000, {
  data_b <- sample(data, n, replace=T)
  sum((data_b - mean(data_b))^2)/n
})

# estimated bias
mean(boots) - variance 
#> [1] -0.06504726

# true bias:
((n-1)/n)*1 -1
#> [1] -0.05

Вместо этого мы могли бы взять в качестве среднего значения для населения и , ситуацию, в которой в большинстве случаев должно быть явное смещение: $t(F)$ $s(x) = c$

library(plyr)

mu <- 3
a_constant <- 1

n <- 20
data <- rnorm(n, mu, 1)

boots <- raply(1000, {
  # not necessary as we will ignore the data, but let's do it on principle
  data_b <- sample(data, n, replace=T)

  a_constant
})

# estimated bias
mean(boots) - mean(data) 
#> [1] -1.964877

# true bias is clearly -2

Опять же, оценка начальной загрузки не так уж и плоха.

— Эйнар
источник

Я добавил этот ответ, потому что другие ответы кажутся само собой разумеющимися, что проблема заключается в том, что начальная оценка смещения равна 0, когда

является константой. Я не верю, что это так.

t

$t$

— Эйнар

Мне нравится ваш ответ и ваша демонстрация, но я не думаю, что ваше определение правильное: «Начальная оценка смещения - это оценка смещения между функцией вашей выборки и той же функцией, оцененной в популяции». Хотя то, что вы пишете, четко определено, если бы это было определение, не было бы никакого способа использовать начальную загрузку для оценки смещения, например, выборочной дисперсии в качестве оценки дисперсии совокупности.

— DavidR

@DavidR Вы правы, спасибо за комментарии. Я обновил ответ.

— Эйнар

Мне очень нравится эта рецензия! Мой единственный вопрос касается "начальной оценки предвзятости". Я думаю, что вы написали фактическое смещение оценки (но для эмпирического распределения, а не истинного распределения), так как вы берете ожидание по образцам начальной загрузки. Я думаю, что оценка начальной загрузки будет конечной суммой по образцам начальной загрузки B?

— DavidR

1

@DavidR Я рад, что вы делаете! Что я сообщаю технически оценка самозагрузки смещения (потому что вы используете

вместо &

и бутстраповского ожидания

вместо ее ожидания над

). Но в большинстве практических применений

t (\hat{F})

$t(\hat F)$

θ

$\theta$

s ()

$s()$

F

$F$

E_{\hat{F}} [s (x^{*})]

$E_{\hat F}[s(x^*)]$ является неразрешимой , и мы аппроксимировать Монте - Карло , как вы говорите.

— Эйнар

3

Вы делаете одну ошибку, и, возможно, именно поэтому это сбивает с толку. Ты говоришь:

если моя оценка просто возвращает константу, которая не зависит от наблюдений, приведенная выше оценка смещения явно недействительна

Bootstrap не о том, насколько смещен ваш метод, а о том, насколько ваши результаты получены какой-либо функцией, учитывая, что ваши данные смещены.

Если вы выберете соответствующий статистический метод для анализа ваших данных, и все предположения этого метода будут выполнены, и вы правильно сделали математику, то ваш статистический метод должен предоставить вам «наилучшую» возможную оценку, которая может быть получена с использованием ваших данных .

Идея начальной загрузки состоит в том, чтобы производить выборку из ваших данных так же, как вы делали выборку по вашим случаям из совокупности - так что это своего рода репликация вашей выборки. Это позволяет вам получить приблизительное распределение (используя слова Эфронса) вашего значения и, следовательно, оценить отклонения вашей оценки.

Однако я утверждаю, что ваш пример вводит в заблуждение и поэтому это не лучший пример для обсуждения начальной загрузки. Поскольку с обеих сторон были недоразумения, позвольте мне обновить мой ответ и написать его более формально, чтобы проиллюстрировать мою точку зрения.

Смещение по & оценок истинного значения & определяются как: $\hat{\theta}$ $\theta$

bias ({\hat{θ}}_{n}) = E_{θ} ({\hat{θ}}_{n}) - θ

$\text{bias}(\hat{\theta}_n) = \mathbb{E}_\theta(\hat{\theta}_n) - \theta$

где:

{\hat{θ}}_{n} = g (x_{1}, x_{2}, . . ., x_{n})

$\hat{\theta}_n = g(x_1,x_2,...,x_n)$

$g(\cdot)$

Как отмечает Ларри Вассерман в своей книге «Вся статистика» :

$\hat{\theta}_n$ $\theta$ $\hat{\theta}_n \overset{P}{\rightarrow} \theta$

$x$ $g(X) = \lambda$ $\theta$ $\lambda$ $\lambda = \theta$

$\hat{\theta}_n$ $\theta$ $n \rightarrow \infty$

— Тим
источник

5

Боюсь, что этот ответ, похоже, суждено посеять путаницу. Постоянная оценка является оценкой в соответствии с большинством определений, а в некоторых случаях даже допустимой. Ваш вопрос смешивает предвзятость выборки с предвзятостью оценки, которая непременно запутает почти всех читателей. Ваш параграф о «наилучшей из возможных оценок» хорош, но в нем напрашивается важный вопрос о том, как измерить «наилучшую». Уклон - только один компонент этого (если вообще).

— whuber

Хотя я не достаточно квалифицирован, чтобы отвечать ОП, я боюсь, что Уубер получил точку. Кроме того, можно ли назвать популяцию оценщиком? Что касается последнего предложения, я думаю, что boostrap дает оценку смещения анализируемой оценки, а не метода выборки.

— Mugen

Я понимаю, что при начальной загрузке не удается обнаружить систематические ошибки, но, по крайней мере, в некоторых пределах предполагается обнаружение статистической погрешности. Я полагаю, что ваша точка зрения заключается в тонкости в различении двух, но это все еще неясно для меня. Похоже, вы говорите о предвзятости, о которой я никогда не слышал - не об оценщике, а о данных. Каково формальное определение этого понятия смещения?

— Начальная загрузка

3

λ

$\lambda$

θ

$\theta$

λ - θ

$\lambda-\theta$

8

\hat{θ}

$\hat\theta$

0

$0$

n < 10^{100}

$n\lt 10^{100}$

3

$t$

{b i a s}_{t} \approx \frac{1}{N} \sum_{i} {\tilde{t}}_{i} - t^{*}

$\begin{equation} \mathrm{bias}_t \approx \frac{1}{N}\sum_i \tilde{t}_i- t^* \end{equation}$

Вы хотите использовать фактическую статистику, оцененную по эмпирическому распределению (это часто легко, поскольку исходная выборка представляет собой конечный набор), а не оценку. В некоторых случаях они могут быть одинаковыми (например, среднее эмпирическое значение совпадает со средним по выборке), но в целом они не будут. Вы привели один случай, когда они различаются, но менее патологическим примером является обычный несмещенный оценщик для дисперсии, который отличается от дисперсии совокупности при применении к конечному распределению.

$t$ не имеет смысла для эмпирического распределения (например, если она предполагает непрерывное распределение), то вам не следует использовать ванильную загрузку. Вы можете заменить эмпирическое распределение оценкой плотности ядра (плавный загрузчик) или, если вы знаете, что исходное распределение принадлежит какому-то определенному семейству, вы можете заменить эмпирическое распределение максимально вероятной оценкой из этого семейства (параметрический загрузчик).

TL / DR: метод начальной загрузки не является магическим. Чтобы получить беспристрастную оценку смещения, вы должны быть в состоянии вычислить интересующий параметр точно на конечном распределении.

— Эван Райт
источник

1

Я не уверен в значении вашей записи. Согласно этим лекционным заметкам Пита Холла (Калифорнийский университет в Дэвисе), эти лекционные заметки Космы Шализи (CMU) и эта страница книги Эфрона и Тибширани, кажется, указывают на то, что в этом я не ошибаюсь, просто не полностью общий (то есть я Я использую плагин в оценщике здесь, но это не обязательно).

— Начальная загрузка

t^{*} = \hat{t}

$t^* = \hat t$

θ (F_{1})

$\theta(F_1)$

t^{*}

$t^*$

\hat{θ}

$\hat \theta$

\hat{t}

$\hat t$

t

$t$

t^{*}

$t^*$ ) Я думаю , что все ваши путаницы просто вызван разгильдяйством в этих конспектах..

t^{*} = \hat{t}

$t^*=\hat t$

1

t^{*}

$t^*$

N \to \infty

$N \to \infty$

t^{*}

$t^*$

t^{*}

$t^*$

{\tilde{t}}_{i}

$\tilde t_i$

t^{*}

$t^*$

0

Я считаю полезным думать о процедурах начальной загрузки с точки зрения функционалов распределений, над которыми они работают - в этом ответе я привел пример другого вопроса о начальной загрузке.

Оценка, которую вы дали, это то, что она есть - оценка. Никто не говорит, что это не страдает от проблем, которые могут иметь статистические оценки. Это даст вам ненулевую оценку смещения, например, для выборочного среднего, которое, как мы все знаем, беспристрастно с самого начала. Одна проблема с этим оценщиком смещения состоит в том, что он страдает от изменчивости выборки, когда бутстрап реализован как Монте-Карло, а не от полного перечисления всех возможных подвыборок (и ни у кого этот теоретический бутстреп на практике, во всяком случае).

Таким образом, реализация начальной загрузки в Монте-Карло является нефиксированной, и вам придется использовать другую схему начальной загрузки. Davison et. и др. (1986) продемонстрировали, как создать другую схему начальной загрузки, которая ограничивает случайные ничьи для получения сбалансированных выборок: если вы создаете $B$ загрузочный реплицируется, тогда каждый из оригинальных элементов должен быть использован точно $B$ раз для баланса первого порядка. (Баланс второго порядка, который лучше работает для вторых моментов оценок, дополнительно обсуждается Грэмом и др. (1990) .)

— Stask
источник

7

Я думаю, что первоначальный вопрос Bootstrapped ортогонален проблеме изменчивости Монте-Карло. Даже если мы возьмем количество повторов начальной загрузки в бесконечность, формула в вопросе даст нулевую оценку для смещения постоянной оценки и даст ненулевую оценку для смещения обычной несмещенной оценки дисперсии.

— Эван Райт