Существует ли сопряженный априор для распределения Лапласа?


13

Существует ли сопряженный априор для распределения Лапласа ? Если нет, то есть ли известное выражение в замкнутой форме, аппроксимирующее апостериорный для параметров распределения Лапласа?

Я довольно много гуглил, но безуспешно, поэтому мое текущее предположение - «нет» в ответах на вопросы выше ...


1
Google "Полсона и Скотта нормальные средние значения дисперсии" - это даст вам несколько приблизительных байесов, используя MAP через em алгоритм.
вероятностная

Ответы:


12

Давайте сначала посмотрим на них по очереди (с учетом другого).

Из ссылки (с изменением следующего соглашения об использовании греческих символов для параметров):

е(Икс|μ,τ)знак равно12τехр(-|Икс-μ|τ)

- масштабный параметр :

L(τ)ατ-К-1е-Sτ

при определенных значениях и S . То есть вероятность имеет форму обратной гаммы.КS

Таким образом, параметр масштаба имеет предшествующее сопряжение - при проверке предшествующее сопряжение является обратной гаммой.

- параметр местоположения

Это действительно сложнее, потому что не упрощается во что-то удобное в μ ; Я не думаю, что есть какой-то способ «собрать термины» (ну, в некотором роде, но нам это не нужно).Σя|Икся-μ|μ

Равномерный априор просто усекает задний, с которым не так уж плохо работать, если это кажется правдоподобным как априор.

Одна интересная возможность, которая иногда может оказаться полезной, заключается в том, что довольно просто включить априор Лапласа (тот же масштаб, что и у данных) с помощью псевдонаблюдения. Можно также приблизиться к некоторому другому (более жесткому) ранее с помощью нескольких псевдонаблюдений)

На самом деле, чтобы обобщить это, если бы я работал с Лапласом, у меня был бы соблазн просто обобщить от постоянной шкалы-постоянного веса до работы с версией Лапласа с взвешенным наблюдением (эквивалентно, потенциально другой масштаб для каждая точка данных) - логарифмическая вероятность все еще является просто непрерывной кусочно-линейной функцией, но наклон может изменяться нецелыми величинами в точках соединения. Тогда существует удобный «сопряженный» априор - просто еще один «взвешенный» Лаплас или, действительно, что-нибудь вида w ехр(-ΣJ|μ-θJ|/φJ)ехр(-ΣJвесJ*|μ-θJ|)

Он также достаточно гибок, чтобы его можно было использовать для аппроксимации других приоров.

(В более общем смысле можно было бы работать в логарифмическом масштабе и использовать непрерывный, кусочно-линейный лог-вогнутый априор, а задний также имел бы такую ​​форму; это включало бы асимметричный Лаплас в качестве особого случая)

пример

Просто для того, чтобы показать, что с этим довольно легко иметь дело - ниже приведен предварительный (пунктирный серый), правдоподобный (пунктирный, черный) и задний (сплошной, красный) параметр местоположения для взвешенного Лапласа (... это было с известными шкалами ).

введите описание изображения здесь

Я думаю, что взвешенный подход Лапласа будет хорошо работать в MCMC.

-

Интересно, является ли полученная в результате апостериорная мода взвешенной медианой?

- на самом деле (чтобы ответить на мой собственный вопрос), похоже, что ответ «да». С этим приятно работать.

-

Совместный до

е(μ,τ)знак равное(μ|τ)е(τ)μ|ττττ

Несомненно, что-то более общее для совместного предварительного вполне возможно, но я не думаю, что я буду продолжать совместное дело дальше, чем здесь.

-

Я никогда раньше не видел и не слышал об этом предварительном подходе с использованием взвешенного круга, но придумать его было довольно просто, так что, вероятно, это уже было сделано. (Ссылки приветствуются, если кто-нибудь знает о них.)

Если никто вообще не знает каких-либо ссылок, возможно, мне стоит что-то написать, но это было бы удивительно.


Вау, отличный ответ. Я уверен, что не знаю никаких ссылок на что-либо подобное. Если вы найдете что-нибудь или напишите что-нибудь, пожалуйста, дайте мне знать!
Расмус Бат

1
Один из возможных способов получить параметр местоположения - использовать представление Лапласа в смешанной дисперсии. Хотя это условно сопряженный априор ...
вероятностная

@probabilityislogic это интересно. В предыдущих редакциях я указывал на то, что Лаплас представлял собой смесь нормалей в экспоненциальной шкале, потому что мне было интересно, можно ли что-то с этим сделать, но, отредактировав ответ дальше, он больше никуда не подходил, и я взял это снова. Из вашего полезного комментария звучит так, будто его можно использовать таким образом; это может быть удобно.
Glen_b
Используя наш сайт, вы подтверждаете, что прочитали и поняли нашу Политику в отношении файлов cookie и Политику конфиденциальности.
Licensed under cc by-sa 3.0 with attribution required.