MAP является решением

Я столкнулся с этими слайдами (слайд № 16 и № 17) на одном из онлайн-курсов. Преподаватель пытался объяснить, как максимальная апостериорная оценка (MAP) на самом деле является решением $L(\theta) = \mathcal{I}[\theta \ne \theta^{*}]$ , где - истинный параметр.$\theta^{*}$

Может кто-нибудь объяснить, пожалуйста, как это следует?

Изменить: Добавлены слайды, если ссылка не работает.

После просмотра слайдов, которыми вы поделились, мне кажется, что идея состоит в том, чтобы объяснить, как оценка MAP может использоваться для оценки различных свойств апостериорного значения, таких как среднее значение, мода и медиана. Я попытаюсь объяснить это в контексте общих байесовских оценок, представленных в книге Стивена М. Кея «Основы статистической обработки сигналов» .

Начнем с рассмотрения трех типов риска (т. Е. Функций стоимости), связанных с оценкой параметра $\theta$ :

1. $C(e) = e^2$
2. $C(e) = |e|$
3. $if -\delta < e < \delta, C(e)=0$ ; иначе$C(e)=1$

где $e = \theta - \hat{\theta}$ , в котором θ представляет собой расчетное значение , и θ является истинным параметром. В байесовской оценке цель состоит в том, чтобы минимизировать ожидаемый риск, а именно:$\hat{\theta}$$\theta$

$E[C(e)]= \int_X \int_{\theta} C(e)p(X,\theta)d\theta dX = \int_X \left[\int_\theta C(e)p(\theta|X)d\theta\right] p(X)dX$

так как мы только забота о & $\theta$ , мы будем сосредоточиться на внутренней интегральной $\min_{\theta}\int_\theta C(e)p(\theta|X)d\theta$ ; .

Теперь, в зависимости от того, какой $C(e)$ мы выберем, оценщик даст нам другое свойство апостериорного. Например, если мы выбираем первый случай, $C(e) = e^2$ , минимизируемый & $\theta$ ; для $\int_\theta C(e)p(\theta|X)d\theta$ ; , является средним. Так как вы вопрос касаемо к индикаторной функции $I[\hat{\theta}\ne \theta]$Я рассмотрю третий риск, упомянутый выше (который, если подумать, при $\delta\rightarrow 0$ эквивалентен использованию индикатора).

Для случая 3 выше:

$\int_\theta C(e)p(\theta|X)d\theta = \int_{-\infty}^{\hat{\theta}-\delta}p(\theta|X)d\theta + \int_{\hat{\theta}+\delta}^{\infty}p(\theta|X)d\theta = 1 - \int_{\hat{\theta}+\delta}^{\hat{\theta}+\delta}p(\theta|X)d\theta$

который для $\delta \rightarrow 0$ сводится к минимуму , когда & thetas соответствует режиму задних.$\hat{\theta}$

В конкретном случае пространство параметров конечна или счетное Θ = { & thetas ; 1 , & thetas ; 2 , ... } задняя потери , связанные с потерей индикатора равна вероятности того , чтобы быть неправильно P ( & thetas ; ≠ & thetas ; | х ) и она сводится к минимуму , когда апостериорная вероятность того , чтобы быть правильно Р ( & thetas ; = & thetas ; | х ) достигает максимума. Это означает , что $\Theta$

$$\Theta=\{\theta_1,\theta_2,\ldots\}$$ $\mathbb{P}(\hat{\theta}\ne\theta|x)$$\mathbb{P}(\hat{\theta}=\theta|x)$$\hat{\theta}$ является режимом апостериорного распределения или карты.

Тем не менее, эта ассоциация МАП и потеря является «народная теорема» в том , что это неверно в большинстве настроек, то есть, она не имеет места для непрерывных параметров пространства , где P ( θ = θ | х ) = 0 для всех θ «s и это дальнейшие конфликты с результатами Druihlet и Marin (BA, 2007), которые указывают на то , что ПДЧ в конечном счете , зависит от выбора меры доминирующей. (Даже если мера Лебега неявно выбрана по умолчанию.)$0-1$$\mathbb{P}(\hat{\theta}=\theta|x)=0$$\hat{\theta}$

$$\mathrm{L}(\theta,d) = \mathbb{I}\{\Psi(\theta) \ne d) / \pi_\Psi(\Psi(\theta))$$ $$\mathrm{L}(\theta,d) = \mathbb{I}\{\Psi(\theta) \ne d\} / \max\{\eta,\pi_\Psi(\Psi(\theta))\}$$ $$\max_{\psi}\pi_\psi(\psi|x)/\pi_\psi(\theta)$$ $$\pi_{\psi}(\psi|x)/\pi_\psi(\theta)=f(x|\psi)/m(x)$$ $$f(x|\psi)=\int_{\{\theta;\Psi(\theta)=\psi\}}f(x|\theta)\pi(\theta)\mathrm{d}\theta$$ $$m(x)=\int f(x|\theta)\pi(\theta)\mathrm{d}\theta$$

Роберт Бассетт и Хулио Дериде в 2016 году опубликовали статью, в которой обсуждается положение MAP в байесовской теории принятия решений.

«… Мы приводим контрпример к общепринятому представлению об оценках MAP в качестве предела оценок Байеса с потерей 0-1».

Авторы упоминают мою книгу «Байесовский выбор» указанием этого свойства без каких-либо дополнительных мер предосторожности, и я полностью согласен с тем, чтобы быть небрежным в этом отношении! Сложность заключается в том, что предел максимизаторов не обязательно является максимизатором лимита. В документе приведен пример этого эффекта, с априорной, как указано выше, связанной с распределением выборки, которое не зависит от параметра. Предложенные достаточные условия заключаются в том, что задняя плотность почти наверняка является правильной или квазивогнутой.

$$||K(\hat u-u)||^2+2D_\pi(\hat u,u)$$ производит MAP в качестве байесовской оценки. Можно все еще задаться вопросом о доминирующей мере, но как функция потерь, так и полученная оценка явно зависят от выбора доминирующей меры… (потеря зависит от предыдущей, но это не является недостатком как таковым).

Я приведу краткое изложение текста, упомянутого об этой проблеме, в главе 5 «Байесовская статистика, машинное обучение: вероятностная перспектива» - Мерфи .

$X$$p(\theta|X)$

В отличие от среднего значения или медианы, это «нетипичная» точка в том смысле, что она не учитывает все другие точки при оценке. В случае оценки среднего значения / медианы мы учитываем все остальные моменты.

Таким образом, как и ожидалось, в сильно искаженных задних распределениях MAP (и, как следствие, MLE) действительно не представляют фактически задний.

Итак, как мы суммируем апостериор, используя точечную оценку, такую ​​как Среднее / Медиана / Режим?

$L(\theta, \hat{\theta})$$\theta$$\hat{\theta}$

$L(\theta, \hat{\theta})$$\mathbb{I}(\hat{\theta}\ne\theta|x)$$\theta$$\mathbb{I}(\hat{\theta}=\theta|x)$$\theta$,