Требует ли оценка Байеса, что истинный параметр является возможным изменением предыдущего?

Это может быть немного философским вопросом, но здесь мы идем: В теории принятия решений риск оценки Байеса для определен относительно предыдущего распределения на . $\hat\theta(x)$ $\theta\in\Theta$ $\pi$ $\Theta$

Теперь, с одной стороны, чтобы истинное сгенерировало данные (то есть "существует"), должно быть возможным изменением в , например иметь ненулевую вероятность, ненулевую плотность и т. Д .; с другой стороны, не известна, следовательно, выбор априора, поэтому мы не можем гарантировать, что истинное является возможным вариантом при выбранном нами . $\theta$ $\theta$ $\pi$ $\theta$ $\theta$ $\pi$

Теперь мне кажется, что мы как-то должны выбрать , чтобы была возможной вариацией. В противном случае некоторые теоремы не будут выполнены. Например, минимаксная оценка не была бы байесовской оценкой для наименее благоприятного априора, поскольку мы могли бы сделать это априори произвольно плохим, исключив большую область вокруг и включив из ее области. Однако гарантировать, что действительно находится в домене, может быть трудно достичь. $\pi$ $\theta$ $\theta$ $\theta$

Итак, мои вопросы:

Принято ли считать, что фактическая является возможной вариацией ? $\theta$ $\pi$
Можно ли это гарантировать?
Можно ли как-то обнаружить случаи, нарушающие это, так что нельзя полагаться на теоремы, такие как минимакс, когда условия не выполняются?
Если это не требуется, то почему тогда сохраняются стандартные результаты в теории принятия решений?

— user32849
источник

Ответы:

Очень хороший вопрос! Действительно, имеет смысл, что «хорошее» априорное распределение дает положительную вероятность или положительное значение плотности «истинному» параметру , но с чисто точки зрения это не должно иметь место. Простой контрпример к этой «интуиции», что должно быть необходимо, когда - это предшествующая плотность, а - это «истинное» значение параметра, это блестящий Результат минимаксности Casella и Strawderman (1981): при оценке среднего значения на основе одного наблюдения с дополнительным ограничением , $\theta_0$

π (θ_{0}) > 0

$\pi(\theta_0)>0$

π (\cdot)

$\pi(\cdot)$

θ_{0}

$\theta_0$

μ

$\mu$

x \sim N (μ, 1)

$x\sim{\cal N}(\mu,1)$

| μ | < ρ

$|\mu|<\rho$

ρ

$\rho$ достаточно мала, в частности, , минимаксная оценка соответствует (наименее благоприятной) униформе до , что означает, что дает равный вес и ( и ни к какому другому значению среднего ) Когда увеличивается, наименее благоприятный априор видит, что его поддержка растет, но остается конечным набором возможных значений. Однако апостериорное ожидание, , может принимать любое значение .

ρ \leq 1.0567

$\rho\le 1.0567$

{- ρ, ρ}

$\{-\rho,\rho\}$

π

$\pi$

- ρ

$-\rho$

ρ

$\rho$

μ

$\mu$

π (θ) = \frac{1}{2} δ_{- ρ} (θ) + \frac{1}{2} δ_{ρ} (θ)

$\pi(\theta)=\frac{1}{2}\delta_{-\rho}(\theta)+ \frac{1}{2}\delta_{\rho}(\theta)$

ρ

$\rho$

E [μ | x]

$\mathbb{E}[\mu|x]$

(- ρ, ρ)

$(-\rho,\rho)$

Суть обсуждения (см. Комментарии) может заключаться в том, что, если бы оценка Байеса ограничивалась точкой поддержки , его свойства были бы совершенно другими. $\pi(\cdot)$

Аналогичным образом, при рассмотрении допустимых оценок, оценки Байеса, связанные с надлежащим априором на компактном множестве, обычно допустимы, хотя они имеют ограниченную поддержку.

В обоих случаях понятие «частое лицо» (минимаксность или допустимость) определяется по возможному диапазону параметров, а не по «истинному» значению параметра (что дает ответ на вопрос 4.) Например, если посмотреть на последующий риск или с риском Байеса не содержит истинного значения .

\int_{Θ} L (θ, δ) π (θ | x) d θ

$\int_\Theta L(\theta,\delta) \pi(\theta|x)\text{d}\theta$

\int_{X} \int_{Θ} L (θ, δ) π (θ) f (x | θ) d θ d x

$\int_{\cal X}\int_\Theta L(\theta,\delta) \pi(\theta)f(x|\theta)\text{d}\theta\text{d}x$

θ_{0}

$\theta_0$

Кроме того, как указано в приведенном выше примере, когда оценщик Байеса определяется формальным выражением, таким как апостериорное среднее значение для квадратичной (или ) потери, эта оценка может принимать значения вне поддержки в случаях, когда эта поддержка не является выпуклой.

{\hat{θ}}^{π} (x) = \int_{Θ} θ π (θ | x) d θ

$\hat{\theta}^\pi(x)=\int_\Theta \theta\pi(\theta|x)\text{d}\theta$

L_{2}

$L_2$

π

$\pi$

Как в сторону, при чтении

для того, чтобы истинное θ сгенерировало данные (то есть «существует»), θ должно быть возможным изменением под π, например, иметь ненулевую вероятность, ненулевую плотность

Я считаю это искажением смысла априора. Предыдущее распределение не должно означать фактический физический (или реальный) механизм, который видел значение параметра сгенерированное из последующим наблюдением сгенерированным из . Предыдущее является эталонной мерой в пространстве параметров, которая включает в себя предварительную информацию и субъективные представления о параметре, и это ни в коем случае не является уникальным. Байесовский анализ всегда относительно предшествующего, выбранного для проведения этого байесовского анализа. Следовательно, нет абсолютной необходимости, чтобы истинный параметр принадлежал поддержке . Очевидно, что когда этот носитель является компактным связным множеством, $\theta_0$ $\pi$ $x$ $f(x|\theta_0)$ $\pi$ ${\mathscr A}$ любое значение параметра вне множества не может быть последовательно оценено апостериорным средним но это даже не мешает оценке быть допустимой. ${\mathscr A}$ $\hat{\theta}^\pi$

— Сиань
источник

Что касается вашего последнего замечания, это то, что смущает меня: скажем, у меня есть нормальное распределение с являющимся достаточно небольшим отрицательным числом. Если по какой-то странной причине я поставлю логарифмический априор (support ) на (независимо от того, какой смысл это имеет), байесовская оценка при таком априоре, безусловно, будет хуже, чем минимаксная оценка , что не должно происходить. Но, может быть, я здесь что-то неверно истолковываю ...

μ

$\mu$

[0, + \infty)

$[0,+\infty)$

μ

$\mu$

— user32849

Обычно, см. Berger (1985), наименее благоприятный априор соответствует минимаксному риску.

— Сиань

Я действительно запутался здесь: ваша книга (глава 2), казалось, предполагала, что , а именно, в теореме 2.4.17, , где наименее благоприятный предшествующее - дискретное распределение по . Но я думаю, мне следовало бы прочитать страницу 10 более внимательно ;-)

θ \sim π (θ)

$\theta \sim \pi(\theta)$

Θ = [- m, m]

$\Theta=[-m, m]$

Θ

$\Theta$

— user32849

Интегрированный риск не включает «истинный» параметр на любой стадии. Так что в этом смысле это не важно.

— Сиань

Таким образом, в некотором смысле, риск отражает ожидаемую нами потерю, а не ту, которую мы на самом деле испытываем. Это было чрезвычайно полезно, большое спасибо!

— user32849

Да, обычно предполагается, что истинная находится в области предшествующего уровня. Статистик обязан убедиться, что это так. $\theta$
Обычно да. Например, при оценке среднего значения или параметра местоположения любое предшествующее значение будет иметь истинное значение в своей области. (Если известно, что параметр больше нуля, например, «среднее число дорожно-транспортных происшествий на мосту Бэй в день», очевидно, что для предыдущего не нужно включать отрицательные значения.) Если мы оцениваем вероятность, то любой до будет иметь истинное значение в своей области. Если мы создаем априор по термовому варианту, любой априор будет иметь истинное значение в своей области ... и так далее. $(-\infty, \infty)$ $[0,1]$ $(0, \infty)$
Если ваш апостериал «сложен» на одном краю домена предыдущего, а ваш предыдущий накладывает ненужные ограничения на домен на том же крае, это является специальным показателем того, что излишнее ограничение может вызывать у вас проблемы. Но это должно происходить только в том случае, если а) вы создали априор, форма которого определяется главным образом удобством, а не фактическим предварительным знанием, и б) форма априора, обусловленная удобством, ограничивает область параметра до подмножества того, что его " естественным «доменом» можно считать.

Примером этого является старая, как мы надеемся, давно устарелая практика ограничения априора на член дисперсии немного от нуля, чтобы избежать потенциальных вычислительных трудностей. Если истинное значение дисперсии находится между границей и нулем, хорошо ... но на самом деле, размышление о потенциальных значениях дисперсии с учетом данных или (например) внесение априорного значения в журнал отклонений вместо этого позволит Вы должны избежать этой проблемы, и подобный мягкий ум должен позволить вам избегать ограничивающих домен приоров в целом.

Ответ # 1.

— jbowman
источник

На случай, если кто-то отрицает ответ, возвращается - почему «бесполезно»?

— jbowman

Простой, интуитивно понятный ответ заключается в том, что априор отражает ваши предыдущие знания о и минимальные знания, которые вы должны иметь, о его предметной области. Если вы используете ограниченный априор, то вы предполагаете, что значения за пределами имеют нулевую вероятность, невозможны, и это очень сильное предположение, которое не следует делать без хорошего обоснования. Вот почему люди, которые не хотят делать сильные предварительные предположения, используют неопределенные априорные значения для to . $\theta$ $-\infty$ $\infty$

Помимо ограниченного случая, когда ваш образец растет или, точнее, передает больше информации, ваш апостериор должен, наконец, сходиться к независимо от предшествующего уровня . $\theta$

— Тим
источник