Байесовский оценщик невосприимчив к смещению отбора

Являются ли оценки Байеса невосприимчивыми к смещению отбора?

В большинстве работ, в которых обсуждаются оценки в высоком измерении, например, данные о последовательности всего генома, часто возникает проблема смещения отбора. Смещение выбора обусловлено тем фактом, что, хотя у нас есть тысячи потенциальных предикторов, будет выбрано лишь немногие, и для избранных будет сделан вывод. Таким образом, процесс состоит из двух этапов: (1) выбрать подмножество предикторов (2) выполнить вывод на выбранных наборах, например, оценить коэффициенты шансов. Давид в своей парадоксальной статье 1994 года сосредоточился на объективных оценках и оценках Байеса. Он упрощает задачу выбора самого большого эффекта, который может быть эффектом лечения. Затем он говорит, что объективные оценки влияют на предвзятость выбора. Он использовал пример: предположим, что затем каждый

Z_{я} ~ N (δ_{я}, 1), я знак равно 1, ..., N

$Z_i\sim N(\delta_i,1),\quad i=1,\ldots,N$

Z_{i}

$Z_i$ беспристрастен для . Пусть , оценка смещена ( положительно) для

. Это утверждение легко проверить с помощью неравенства Дженсена. Поэтому, если бы мы знали

, индекс наибольшего

, мы просто будем использовать

качестве его оценки, которая является беспристрастной. Но поскольку мы этого не знаем, вместо этого мы используем

который становится смещенным (положительно).

δ_{i}

$\delta_i$

Z = (Z_{1}, Z_{2}, \dots, Z_{N})^{T}

$\mathbf{Z}=(Z_1,Z_2,\ldots,Z_N)^T$

γ_{1} (Z) знак равно Максимум {Z_{1}, Z_{2}, ..., Z_{N}}

$\gamma_1(\mathbf{Z})=\max\{Z_1,Z_2,\ldots,Z_N\}$

max {δ_{1}, δ_{2}, \dots, δ_{N}}

$\max\{\delta_1,\delta_2,\ldots,\delta_N\}$

i_{max}

$i_{\max}$

δ_{i}

$\delta_i$

Z_{i_{max}}

$Z_{i_{\max}}$

γ_{1} (Z)

$\gamma_1(\mathbf{Z})$

Но тревожное заявление, которое делают Давид, Эфрон и другие авторы, заключается в том, что оценщики Байеса неуязвимы для предвзятости выбора. Если я теперь поставлю перед , скажем, , оценка Байеса для определяется как где , с стандартным гауссовским. $\delta_i$ $\delta_i\sim g(.)$ $\delta_i$

Е {δ_{я} | Z_{я}} знак равно Z_{я} + \frac{d}{d Z_{я}} м (Z_{я})

$\text{E}\{\delta_i\mid Z_i\}=z_i+\frac{d}{dz_i}m(z_i)$

m (z_{i}) = \int φ (z_{i} - δ_{i}) g (δ_{i}) d δ_{i}

$m(z_i)=\int \varphi(z_i-\delta_i)g(\delta_i)d\delta_i$

φ (.)

$\varphi(.)$

Если мы определим новый оценщик как все , что вам выбрать для оценки с , будет тем же если выбор был основан на Это следует из того, что является монотонным в . Мы также знаем, что сокращает до нуля с помощью термина $\delta_{i_{\max}}$

γ_{2} (Z) знак равно Максимум {Е {δ_{1} | Z_{1}}, Е {δ_{2} | Z_{2}}, ..., Е {δ_{N} | Z_{N}}},

$\gamma_2(\mathbf{Z})=\max\{\text{E}\{\delta_1\mid Z_1\},\text{E}\{\delta_2\mid Z_2\},\ldots,\text{E}\{\delta_N\mid Z_N\}\},$

i

$i$

δ_{i_{max}}

$\delta_{i_{\max}}$

γ_{1} (Z)

$\gamma_1(\mathbf{Z})$

i

$i$

γ_{2} (Z)

$\gamma_2(\mathbf{Z})$

γ_{2} (Z)

$\gamma_2(\mathbf{Z})$

Z_{i}

$Z_i$

E {δ_{i} ∣ Z_{i}}

$\text{E}\{\delta_i\mid Z_i\}$

Z_{i}

$Z_i$

\frac{d}{d z_{i}} m (z_{i})

$\frac{d}{dz_i}m(z_i)$ что уменьшает часть положительного смещения в . Но как мы можем сделать вывод, что байесовские оценки невосприимчивы к смещению отбора. Я действительно не понимаю.

Z_{i}

$Z_i$

— Чемберлен Фонча
источник

Учитывая, что вы ссылаетесь на претензию в какой-либо литературе, не могли бы вы дать полную ситуацию и ссылку на страницу, чтобы мы могли прочитать полный контекст этой претензии.

— Бен - Восстановить Монику

Является ли определение оценки как максимума байесовских оценок все еще байесовской оценкой?

— Сиань

Пример 1 в статье.

— Чемберлен Фонча

Ответы:

Как описано выше, проблема заключается в выводе из индекса и значения (i⁰, µ⁰) наибольшего среднего значения выборки нормальных rvs. Что меня удивляет в презентации Давида, так это то, что байесовский анализ звучит не так уж много байесовским анализом. Если задана вся выборка, то байесовский подход должен давать апостериорное распределение по (i⁰, µ⁰), а не следовать этапам оценки, от оценки i⁰ до оценки ассоциированного среднего значения. И если необходимо, оценщики должны исходить из определения конкретной функции потерь. Когда вместо этого задается самая большая точка в выборке и только эта точка, ее распределение меняется, поэтому я довольно удивлен утверждением о том, что никакая корректировка не требуется.

Предыдущее моделирование также довольно удивительно в том смысле, что априорные значения на средстве должны быть совместными, а не продуктом независимых норм, поскольку эти средства сравниваются и, следовательно, сравнимы. Например, иерархический априор кажется более подходящим, с местоположением и масштабом, чтобы быть оцененным из целых данных. Создание связи между средствами ... Соответствующее возражение против использования независимых неправильных априорных значений заключается в том, что максимальное среднее значение μ⁰ не имеет четко определенной меры. Тем не менее, я не думаю, что критика одних приоров против других является уместной атакой на этот «парадокс».

— Сиань
источник

Сдается мне, что вся необходимая защита должна быть закодирована в априоре, который связывает все неизвестные средства. Если предшествующее делает большие различия между средствами очень маловероятными, это будет отражено в последнем, делая его совершенным.

— Фрэнк Харрелл

@ Сиань, можете ли вы привести пример того, как вы поставите априор на ?

(i, μ)

$(i,\mu)$

— Чемберлен Фонча

@Frank Harrel, рассмотрим, например, и . оценкой является . Оценкой Байеса является . Если является наибольшим есть , потому что оценка Байеса монотонна в . Независимо от того, насколько информативен предыдущий, это не изменится. Однако уменьшает положительный байесовский коэффициент в . Но если был выбран неправильный оценка Байеса не может исправить это.

δ_{i} \sim N (a, 1)

$\delta_i \sim N(a,1)$

Z_{i} \sim N (δ_{i}, 1)

$Z_i\sim N(\delta_i,1)$

δ_{i}

$\delta_i$

Z_{i}

$Z_i$

δ_{i}

$\delta_i$

E (δ_{i} | Z_{i})

$E(\delta_i|Z_i)$

Z_{i^{0}}

$Z_{i^0}$

Z_{i}

$Z_i$

E (δ_{i^{0}} | Z_{i^{0}})

$E(\delta_{i^0}|Z_{i^0})$

Z_{i}

$Z_i$

E (δ_{i^{0}} | Z_{i^{0}})

$E(\delta_{i^0}|Z_{i^0})$

Z_{i^{0}}

$Z_{i^0}$

i^{0}

$i^0$

— Чемберлен Фонча

@ChamberlainFoncha: Оценщик Байеса имеет значение только когда априори независимы. Объединение до и делает их зависимыми на самом деле.

E [δ_{i} | Z_{i}]

$\mathbb{E}[\delta_i|Z_i]$

δ_{i}

$\delta_i$

i

$i$

μ_{i}

$\mu_i$

— Сиань

И любой априор приемлем с байесовской точки зрения, например, равномерное распределение по индексу и иерархический априор по .

μ_{i}

$\mu_i$

— Сиань

Даже если это немного нелогично, утверждение верно. Предположим, что для этого эксперимента, тогда апостериор для действительно равен . Этот нелогичный факт немного похож на то, что Байес неуязвим для (секретного) раннего прекращения (что также очень нелогично). $i^*=5$ $\mu_5$ $N(x_5,\sigma^2)$

Байесовские рассуждения привели бы к ложным выводам, если для каждого такого эксперимента (представьте, что вы повторите это несколько раз), будут сохранены только результаты для лучшего сорта. Будет выбор данных, и байесовские методы явно не защищены от (секретного) выбора данных. На самом деле ни один статистический метод не застрахован от отбора данных.

Если бы такой выбор был сделан, полное байесовское рассуждение, учитывающее этот выбор, легко исправило бы иллюзию.

Однако предложение "Байесовская оценка невосприимчив к смещению выбора" немного опасно. Легко представить себе ситуации, когда «выбор» означает что-то другое, например, выбор пояснительных переменных или выбор данных. Байес явно не застрахован от этого.

— Бенуа Санчес
источник