Многомерный нормальный задний


18

Это очень простой вопрос, но я не могу найти вывод ни в Интернете, ни в книге. Я хотел бы увидеть, как один байесовский обновляет многомерное нормальное распределение. Например: представьте, что

P(x|μ,Σ)=N(μ,Σ)P(μ)=N(μ0,Σ0).

Наблюдая за набором , я бы хотел вычислить . Я знаю, что ответ \ mathbb {P} ({\ bf \ mu | x_1 ... x_n}) = N ({\ bf \ mu_n}, {\ bf \ Sigma_n}), где Р ( ц | х 1 . . . х п ) Р ( ц | х 1 . . . х п )=Н( ц п , Σ п )x1...xnP(μ|x1...xn)P(μ|x1...xn)=N(μn,Σn)

μn=Σ0(Σ0+1nΣ)1(1ni=1nxi)+1nΣ(Σ0+1nΣ)1μ0Σn=Σ0(Σ0+1nΣ)11nΣ

Я ищу вывод этого результата со всей промежуточной матричной алгеброй.

Любая помощь очень ценится.


2
Это также решается в нашей книге Байесовское ядро , гл. 3, Раздел 3.2, стр. 54-57 с тем, что мы считаем детальной матричной алгеброй!
Сиань

1
ОП сказал, что это не проблема с домашним заданием, и даже объяснил, почему он спросил об этом и как он хочет использовать ответ. Почему бы не опубликовать это для других? Я понимаю, почему мы не хотим предоставлять услуги по решению домашних задач, но это заходит слишком далеко.
Майкл Р. Черник

3
@ Алекс: Извините, неправильная ссылка, я имел в виду байесовское ядро . Обратите внимание, что мы также разместили решения всех проблем на arXiv . Так что размещение полного решения здесь не повредит!
Сиань

1
Я удалил часть комментариев, которые составляют частный обмен между людьми с соглашением поделиться личным ответом на вопрос. Подобные вещи злоупотребляют этим сайтом, который посвящен публичным вопросам и публичным ответам.
whuber

1
Так же, как и к вашему сведению, деривация находится в классификации по шаблонам Дуды, Харта и Аиста. Однако у меня были трудности с выполнением некоторых из их шагов, которые важны только для меня. Если бы это была просто домашняя работа, можно было бы просто записать, что у них есть.
Алекс

Ответы:


6

С распределениями по нашим случайным векторам:

xi|μN(μ,Σ)

μN(μ0,Σ0)

По правилу Байеса апостериорное распределение выглядит так:

p(μ|{xi})p(μ)i=1Np(xi|μ)

Так:

lnp(μ|{xi})=12i=1N(xiμ)Σ1(xiμ)12(μμ0)Σ01(μμ0)+const

=12NμΣ1μ+i=1NμΣ1xi12μΣ01μ+μΣ01μ0+const

=12μ(NΣ1+Σ01)μ+μ(Σ01μ0+Σ1i=1Nxi)+const

=12(μ(NΣ1+Σ01)1(Σ01μ0+Σ1i=1Nxi))(NΣ1+Σ01)(μ(NΣ1+Σ01)1(Σ01μ0+Σ1i=1Nxi))+const

Какова логарифмическая плотность гауссианы:

μ|{xi}N((NΣ1+Σ01)1(Σ01μ0+Σ1i=1Nxi),(NΣ1+Σ01)1)

Используя тождество Вудбери в нашем выражении для ковариационной матрицы:

(NΣ1+Σ01)1=Σ(1NΣ+Σ0)11NΣ0

Который предоставляет ковариационную матрицу в форме, которую хотел ОП. Используя это выражение (и его симметрию) далее в выражении для среднего, мы имеем:

Σ(1NΣ+Σ0)11NΣ0Σ01μ0+1NΣ0(1NΣ+Σ0)1ΣΣ1i=1Nxi

=Σ(1NΣ+Σ0)11Nμ0+Σ0(1NΣ+Σ0)1i=1N(1Nxi)

Какая форма требуется ОП для среднего.

Используя наш сайт, вы подтверждаете, что прочитали и поняли нашу Политику в отношении файлов cookie и Политику конфиденциальности.
Licensed under cc by-sa 3.0 with attribution required.