История неинформативной априорной теории

Я пишу короткое теоретическое эссе для курса Байесовской статистики (в магистратуре по экономике) на неинформативных приорах, и я пытаюсь понять, каковы этапы развития этой теории.

К настоящему времени моя временная шкала состоит из трех основных этапов: принцип безразличия Лапласа (1812), неинвариантные априорные значения (Джеффрис (1946)), ссылка Бернардо до (1979).

Из моего обзора литературы я понял, что принцип безразличия (Лаплас) был первым инструментом, который использовался для представления недостатка предварительной информации, но отсутствующее требование инвариантности привело к его отказу до 40-х годов, когда Джеффрис представил свой метод, который имеет желаемое свойство инвариантности. Возникновение парадоксов маргинализации из-за неосторожного использования ненадлежащего предшествующего в 70-х подтолкнуло Бернардо к разработке своей эталонной предшествующей теории для решения этой проблемы.

Читая литературу, каждый автор цитирует разные вклады: максимальная энтропия Джейнса, вероятность перевода Бокса и Тиао, Zellner, ...

По вашему мнению, какие важные шаги я пропускаю?

РЕДАКТИРОВАТЬ : Я добавляю свои (основные) ссылки, если кому-то нужно:

1) Отбор по формальным правилам Касса, Вассермана

2) Каталог неинформативных приоров, Ян, Бергер

3) Неинформативная байесовская априорная интерпретация и проблемы со строительством и приложениями

То, что вы, кажется, упускаете, это ранняя история Вы можете проверить работу Fienberg (2006), когда байесовский вывод стал «байесовским»? , Во-первых, он замечает, что Томас Байес был первым, кто предложил использовать форму:

На современном статистическом языке статья Байеса вводит единообразное предварительное распределение по биномиальному параметру , рассуждая по аналогии с «бильярдным столом» и опираясь на форму предельного распределения биномиальной случайной величины, а не по принципу «недостаточной причины», как утверждали многие.$\theta$

Пьер Симон Лаплас был следующим человеком, чтобы обсудить это:

Лаплас также более четко, чем Байес, сформулировал свой аргумент в пользу выбора равномерного предварительного распределения, утверждая, что апостериорное распределение параметра должно быть пропорционально тому, что мы сейчас называем вероятностью данных, т. Е.$\theta$

$$f(\theta\mid x_1,x_2,\dots,x_n) \propto f(x_1,x_2,\dots,x_n\mid\theta)$$

Теперь мы понимаем, что это подразумевает, что априорное распределение для является равномерным, хотя в целом, конечно, априорное может не существовать.$\theta$

Кроме того, Карл Фридрих Гаусс также упомянул об использовании неинформативного априора, как отмечалось Дэвидом и Эдвардсом (2001) в их книге « Аннотированные чтения в истории статистики» :

Гаусс использует специальный аргумент байесовского типа, чтобы показать, что задняя плотность пропорциональна вероятности (в современной терминологии):$h$

$$f(h|x) \propto f(x|h)$$

где он предположил, что будет равномерно распределено по . Гаусс не упоминает ни Байеса, ни Лапласа, хотя последний популяризировал этот подход со времен Лапласа (1774).[ 0 , ∞ $h$$[0, \infty)$

и, как замечает Файнберг (2006), «обратная вероятность» (и то, что следует, используя единообразные приоры) была популярна на рубеже 19-го века

[...] Таким образом, ретроспективно, не должно быть удивительным видеть обратную вероятность как метод выбора великих английских статистиков начала века, таких как Эджуорт и Пирсон. Например, Эджуорт (49) дал один из самых ранних выводов того, что мы теперь знаем как распределение Стьюдента, апостериорное распределение среднего нормального распределения с учетом равномерных априорных распределений по и [...]μ μ h = σ - $t$$\mu$$\mu$$h =\sigma^{-1}$

Ранняя история байесовского подхода также рассмотрена Стиглером (1986) в его книге «История статистики: измерение неопределенности до 1900 года» .

В вашем коротком обзоре вы также не упомянули Рональда Эйлмера Фишера (снова цитируемого после Fienberg, 2006):

Фишер отошел от обратных методов и к своему собственному подходу к выводу, который он назвал «вероятностью», концепция, которую он утверждал, отличной от вероятности. Но прогресс Фишера в этом отношении был медленным. Стиглер (164) указал, что в неопубликованной рукописи, датируемой 1916 годом, Фишер не проводил различий между вероятностью и обратной вероятностью с плоским предшественником, хотя позднее, когда он сделал различие, он утверждал, что понял его в это время.

Джейнс (1986) представил свой собственный краткий обзорный документ « Байесовские методы: общий фон». Вводное учебное пособие, которое вы можете проверить, но оно не сфокусировано на неинформативных приорах. Более того, как отмечает AdamO , вам обязательно следует прочитать « Эпическую историю о максимальном правдоподобии » Стиглера (2007).

Стоит также упомянуть, что не существует такого понятия, как «неинформативный априор» , поэтому многие авторы предпочитают говорить о «расплывчатых априорах» или «еженедельных информативных априорах» .

Теоретический обзор предоставлен Кассом и Вассерманом (1996) в разделе «Выбор предыдущих дистрибутивов по формальным правилам» , в которых более подробно рассматривается выбор приоров, а также расширенное обсуждение использования неинформативных приоров.

Несколько комментариев о недостатках неинформативных априоров (неинформативных априоров), вероятно, является хорошей идеей, поскольку исследование таких недостатков помогло разработать концепцию неинформативного априора в истории.

Вы можете добавить некоторые комментарии о недостатках / недостатках принятия неинформативных априорных правил. Среди множества критических замечаний я выделяю две.

(1) Как правило, принятие неинформативных априоров имеет проблемы согласованности, особенно когда модельное распределение имеет мультимодальное поведение.

Эта проблема не уникальна для неинформативных априоров, но разделяется многими другими байесовскими процедурами, как указано в следующей статье вместе с ее обсуждениями.

Диаконис, Перси и Дэвид Фридман. «О согласованности байесовских оценок». Летопись статистики (1986): 1-26.

В настоящее время неинформативный априор больше не является предметом исследований. Похоже, что более интересны более гибкие варианты выбора в непараметрических условиях. Примерами являются гауссовский процесс, предшествующий в непараметрической байесовской процедуре, или гибкая модель, подобная смеси априорных дирихле, как в

Антониак, Чарльз Э. «Смеси процессов Дирихле с приложениями к байесовским непараметрическим задачам». Летопись статистики (1974): 1152-1174.

Но опять же у такого априора есть свои проблемы с согласованностью.

(2) Большинство так называемых «неинформативных априоров» не имеют четкого определения.

Вероятно, это наиболее очевидная проблема, связанная с неинформативными априорными процессами в процессе их разработки.

Одним из примеров является то, что определение предела неинформативного априора как предела последовательности правильных априоров приведет к парадоксу маргинализации. Как вы упомянули, в предшествующей ссылке Бернардо также есть проблема, заключающаяся в том, что Бергер никогда не доказывал, что его формальное определение не зависит от его конструкции / разбиения. Смотрите обсуждение в

Бергер, Джеймс О., Хосе М. Бернардо и Донгчу Сун. «Формальное определение эталонных приоров». Летопись статистики (2009): 905-938.

Одно из лучших определений априора Джеффриса, которое является четко определенным, состоит в том, что он выбран таким, чтобы быть априором таким, чтобы он был инвариантным при некотором параллельном сдвиге над римановым многообразием, снабженным информационной метрикой Фишера, но даже это не решает первую проблему.

Также вы можете прочитать мое объяснение о парадоксе маргинализации .

Я бы написал в комментариях, но, думаю, у меня пока нет репутации. Единственное, чего не хватает в уже отмеченных комментариях, - это особый случай неинформативных априоров, происхождение которых я пытался выследить и не нашел. Это может предшествовать бумаге Джеффриса.

Для нормального распределения я видел распределение Коши, используемое в качестве неинформативного априора для данных с нормальной вероятностью. Причина в том, что точность распределения Коши равна нулю, где точность равна единице, деленной на дисперсию. Это создает довольно своеобразный набор противоречивых понятий.

В зависимости от того, как вы определяете интеграл, либо нет определенной дисперсии, либо она переходит в бесконечность относительно медианы, что означает, что точность стремится к нулю. В сопряженном обновлении, которое здесь не применимо, вы добавляете взвешенную точность. Я думаю, именно поэтому сформировалась идея правильного априора с совершенно неточной плотностью. Это также эквивалентно Студенту с одной степенью свободы, которая также может быть источником.

$2\Gamma$

Две самые ранние ссылки на распределение Коши являются функциями правдоподобия. Первое в письме Пуассона Лапласу как исключение из центральной предельной теоремы. Второй был в 1851 журнальных статьях в битве между Bienayme 'и Коши по поводу законности обычных наименьших квадратов.

Я нашел ссылки на его использование в качестве неинформативного до 1980-х годов, но я не могу найти первую статью или книгу. Я также не нашел доказательства того, что это неинформативно. Я нашел цитату из книги Джеффриса 1961 года по теории вероятностей, но я никогда не просил эту книгу через межбиблиотечный абонемент.

Это может быть просто слабо информативно. Область с наивысшей плотностью 99,99% имеет ширину 1272 полу-квартальных.

Я надеюсь, что это помогает. Это странный особый случай, но вы видите его в ряде регрессионных статей. Он удовлетворяет требованиям к действию Байеса, являясь надлежащим предшествующим, при минимальном влиянии на местоположение и масштаб.