Что такого крутого в теореме о представлении де Финетти?


55

Из теории статистики Марка Дж. Шервиша (стр. 12):

Хотя теорема ДеФинетти о представлении 1.49 является центральной для мотивации параметрических моделей, она фактически не используется в их реализации.

Как теорема является центральной в параметрических моделях?


2
Я думаю, что это главное в байесовских моделях. Я только что обсуждал это с синглтоном. Это значение в байесовской статистике игнорируется, за исключением тех байесов, которые были последователями деФинетти. Смотрите эту ссылку на Диакониса и Фридмана с 1980 года
Майкл Черник

1
@cardinal: страница 12 (я обновил вопрос).
gui11aume

2
Обратите внимание, что Шервиш сказал «... центральное место в параметрических моделях ...». motivating
Дзен

1
Я часто задавался вопросом, какая часть представления является «реальной» и сколько основано на конкретных интерпретациях теоремы. Его можно так же легко использовать для описания предыдущего распределения, как и для описания модели.
вероятностная

Ответы:


79

Теорема о представлении де Финетти в рамках субъективистской интерпретации вероятностей дает единый смысл статистических моделей и значения параметров и их предыдущих распределений.

Предположим, что случайные величины представляют результаты последовательных бросков монеты, значения и соответствуют результатам «Головки» и «Хвосты» соответственно. Анализируя в контексте субъективистской интерпретации исчисления вероятности значение обычной частотной модели, согласно которой независимы и одинаково распределены, Де Финетти заметил, что условие независимости подразумевает, например, что и, следовательно, результаты первого броски не изменили бы мою неуверенность относительно результатаX1,,Xn10Xi

P{Xn=xnX1=x1,,Xn1=xn1}=P{Xn=xn},
n1n-й бросок Например, если я верю том, что это сбалансированная монета, то после получения информации о том, что первые бросков оказались «головами», я бы все же полагал, условно на эту информацию, что Вероятность получения «Головки» на броске 1000 равна . По сути, гипотеза о независимости подразумевает, что невозможно ничего узнать о монете, наблюдая за результатами ее бросков.a priori9991/2Xi

Это наблюдение привело Де Финетти к введению условия, более слабого, чем независимость, которое разрешает это очевидное противоречие. Ключом к решению Де Финетти является своего рода распределительная симметрия, известная как взаимозаменяемость.

Definition. Для заданного конечного набора случайных объектов пусть обозначает их совместное распределение. Этот конечный набор можно заменить, если , для каждой перестановки . Последовательность случайных объектов является заменяемой, если каждое из ее конечных подмножеств является взаимозаменяемым.{Xi}i=1nμX1,,XnμX1,,Xn=μXπ(1),,Xπ(n)π:{1,,n}{1,,n}{Xi}i=1

Предполагая только, что последовательность случайных величин является взаимозаменяемой, Де Финетти доказал заметную теорему, которая проливает свет на значение широко используемых статистических моделей. В конкретном случае, когда принимают значения и , теорема о представлении Де Финетти говорит, что можно заменить, если и только если есть случайная величина , с распределением , таким, что в котором . Более того, у нас есть это {Xi}i=1Xi01{Xi}i=1Θ:Ω[0,1]μΘ

P{X1=x1,,Xn=xn}=[0,1]θs(1θ)nsdμΘ(θ),
s=i=1nxi
X¯n=1ni=1nXinΘalmost surely,
который известен как сильный закон больших чисел де Финетти.

Эта теорема о представлении показывает, как возникают статистические модели в байесовском контексте: согласно гипотезе взаимозаменяемости наблюдаемых , a так что при заданном значении наблюдаемые являются независимыми и одинаково распределенными. Более того, строгий закон де Финетти показывает, что наше предварительное мнение о ненаблюдаемой , представленной распределением , является мнением о пределе , прежде чем мы получим информацию о значениях реализаций. любого из{Xi}i=1there isparameter ΘΘconditionallyΘμΘX¯nXi«S. Параметр играет роль полезной вспомогательной конструкции, которая позволяет нам получать условные вероятности, включающие только наблюдаемые, через отношения типа Θ

P{Xn=1X1=x1,,Xn1=xn1}=E[ΘX1=x1,,Xn1=xn1].

2
Спасибо за этот проницательный ответ! Ваша точка зрения на независимость очень важна, и я понимаю ее впервые.
gui11aume

(«полезный» был лучше :))
Нил Г

1
Мне трудно понять утверждение "существует параметр так что (учитывая ) iid." Из теоремы о представлении кажется, что все, что мы можем вывести, это то, что . То есть ожидаемое значение истинной плотности совпадает с ожидаемым значением плотности бернулли с параметром . Не могли бы вы уточнить для меня, как мы можем отбросить ожидаемое значение, чтобы сделать утверждение о самой истинной плотности? Θ X i E [ θ s ( 1 - θ ) s ] = E [ P ( X i = x iΘΘXiθE[θs(1θ)s]=E[P(Xi=xii|θ)]θ
user795305

Подынтегральное выражение - . Поскольку это учитывается как , условно определены с учетом . Pr{X1=x1,,Xn=xnΘ=θ}i=1nPr{Xi=xiΘ=θ}=i=1nθxi(1θ)1xiXiΘ=θ
Дзен

@ Zen Спасибо! Я понимаю первое предложение, однако часть ", поскольку оно учитывается как "мне до сих пор неясно. Откуда ты знаешь, что это так? Кажется, вы отбрасываете ожидаемое значение из идентификатора, который я написал в моем предыдущем комментарии, но я не уверен, насколько это оправдано. i=1nPr{Xi=xiΘ=θ}=i=1nθxi(1θ)1xi
user795305

17

Все математически верно в ответе дзен. Однако я не согласен с некоторыми моментами. Пожалуйста, знайте, что я не утверждаю / не верю, что моя точка зрения - хорошая; напротив, я чувствую, что эти пункты еще не совсем ясны для меня. Это несколько философские вопросы, о которых мне нравится обсуждать (и хорошее упражнение по английскому для меня), и меня также интересуют любые советы.

  • Что касается примера с «Головами», комментарий Дзен: «Гипотеза независимости подразумевает, что невозможно ничего узнать о монете, наблюдая за результатами ее бросков». Это не так с точки зрения частых: изучение монеты означает изучение « , что возможно путем оценки (точечная оценка или доверительный интервал) « из предыдущих результатов. Если частый наблюдатель наблюдает за «головами», то он / она приходит к выводу, что , вероятно, близко к , и поэтому следовательно.999Xiθθ999999θ1Pr(Xn=1)

  • Кстати, что за случайный случай в этом бросающем монету примере ? Вообразив, что каждый из двух человек бесконечно много раз играет в одну и ту же монету, подбрасывает монету, почему они находят разные ? Я имею в виду, что характеристика подбрасывания монеты - это фиксированная которая является общим значением для любого игрока («почти любой игрок» по техническим математическим соображениям). Более конкретным примером, для которого нет интерпретируемой случайной является случайная выборка с заменой в конечной совокупности и .Θθ=X¯θX¯Θ01

  • Что касается книги Шервиша и вопроса, поднятого ОП, я думаю (быстро говоря), что Шервиш означает, что обменность - это «крутое» предположение, а затем теорема деФинетти «крута», потому что она говорит, что каждая обменная модель имеет параметрическое представление. Конечно, я полностью согласен. Однако, если я предполагаю заменяемую модель, такую ​​как и тогда мне было бы интересно выполнить вывод о и , а не о реализации . Если меня интересует только реализация тогда я не вижу интереса в предположении об обмене.(XiΘ=θ)iidBernoulli(θ)ΘBeta(a,b)abΘΘ

Уже поздно...


4
Привет, Стефан! Спасибо за ваши комментарии к моему ответу. Что вашего первого замечания о том, что , в моем ответе все изложено в байесовском контексте. Нет реальной попытки установить контраст с другими парадигмами логического вывода. Короче говоря, я пытался выразить, что теорема де Финетти означает для меня, как байесовский. "this is not true from the frequentist perspective"
Дзен

4
О вашей второй пуле: случайное значение является (как) пределом , как указано в LLN де Финетти. Таким образом, когда некоторые байесовцы говорят, что моим предшественником является , он подразумевает, что это распределение отражает его неопределенность относительно этого предела, прежде чем он получит доступ к данным. Разные байесовцы могут иметь разные приоры, но при подходящих условиях регулярности они будут иметь соглашение о (похожие постеры), так как они получают все больше и больше информации о результатах бросков. ΘX¯nΘμΘa posterioriΘ
Дзен

Фиксированная, но неизвестная не является байесовской концепцией. θ
Дзен

1
О вашей третьей пуле, учитывая: 1) что шервиш - байесовский статистик; 2) количество времени и энергии, которые он тратит на обсуждение взаимозаменяемости в своей книге; Я полагаю, что для него роль теоремы Де Финетти очень глубока, выходя далеко за пределы хладнокровия. Но я согласен, что это очень круто, в любом случае!
Дзен

2
Чтобы прояснить мою точку зрения: я не верю, что в «базовой» (неиерархической) байесовской модели есть случайная . Существует фиксированная неизвестная , и предыдущий дистрибутив описывает веру в это. Роль случайной величины - просто математическая обработка байесовского вывода, она не имеет никакой интерпретации в эксперименте. Если вы действительно допускаете взаимозаменяемые, но не независимые наблюдения, такие как пример моего третьего пункта, то вы должны поставить гиперприоры на и . θθΘab
Стефан Лоран

11

Вас, ребята, может заинтересовать статья на эту тему (для доступа требуется подписка на журнал - попробуйте получить доступ к ней из вашего университета):

О'Нил, Б. (2011) Обмениваемость, корреляция и эффект Байеса. Международный статистический обзор 77 (2), с. 241-250.

Эта статья обсуждает теорему о представлении как основу для байесовской и частой моделей IID, а также применяет ее к примеру с подбрасыванием монет. Это должно прояснить обсуждение предположений о частичной парадигме. На самом деле он использует более широкое расширение теоремы о представлении, выходящее за рамки биномиальной модели, но все же должно быть полезным.


Может быть, есть рабочая версия этого документа? У меня нет доступа к банкомату :-(
IMA

1
@ Stats Я прочитал эту статью после того, как вижу ваш ответ. Должен сказать, что это лучшая статья, иллюстрирующая байесовскую и частую публикацию по этому вопросу, которую я когда-либо видел. Я хотел бы прочитать эту статью гораздо раньше. (+1)
КевинКим
Используя наш сайт, вы подтверждаете, что прочитали и поняли нашу Политику в отношении файлов cookie и Политику конфиденциальности.
Licensed under cc by-sa 3.0 with attribution required.