Почему байесовский не может посмотреть на остатки?


46

В статье «Дискуссия: должны ли экологи стать байесовцами?» Брайан Деннис дает удивительно сбалансированный и позитивный взгляд на байесовскую статистику, когда его цель, похоже, состоит в том, чтобы предупредить людей об этом. Тем не менее, в одном абзаце, без каких-либо ссылок или оправданий, он говорит:

Понимаете, байесовцам не разрешено смотреть на их остатки. Это нарушает принцип вероятности, чтобы судить о результате по степени его предельности. Для байесовцев нет плохих моделей, только плохие убеждения.

Почему бы байесовцу не было позволено посмотреть на остатки? Какова была бы соответствующая цитата для этого (то есть, кого он цитирует)?

Деннис Б.
Обсуждение: должны ли экологи стать байесовскими?
Экологические Приложения, Экологическое общество Америки , 1996 , 6, 1095-1103


6
Если этот аргумент сработал, частисты не могли бы использовать принцип правдоподобия - по той же причине.
Glen_b

@Glen: анализ частотный делает нарушает принцип правдоподобия.
Scortchi - Восстановить Монику

3
@Glen: Частый участник, действительно обязанный LP (слабая версия, эквивалентная принципу достаточности - сильная версия просто несовместима с подходом, основанным на частоте), должен был бы избегать проверки моделей. Те, кто просто восхищаются этим, рады, когда могут использовать его для оценки параметров указанной модели, и при этом у них все еще есть более или менее независимые вспомогательные элементы - остатки - оставленные для проверки модели любого старого способа.
Scortchi - Восстановить Монику

1
Даже когда частый участник делает оценку ML, он все еще нарушает LP, потому что он рассматривает распределение выборки MLE, чтобы найти доверительный интервал для своей оценки.
Дзен

2
@Zen: он не нарушает слабый LP, пока доверительный интервал зависит от данных только через функцию правдоподобия. Но он может рано или поздно нарушить сильный LP, сделав другой доверительный интервал, основанный на той же функции вероятности, из другого эксперимента с другим пространством выборки.
Scortchi - Восстановить Монику

Ответы:


19

Конечно байесовцы могут посмотреть на остатки! И, конечно, в байесовском анализе есть плохие модели. Может быть, несколько байесов в 70-х поддержали подобные взгляды (и я сомневаюсь в этом), но вы вряд ли найдете какой-нибудь байесовский, поддерживающий эту точку зрения в наши дни.

Я не читал текст, но байесовцы используют такие вещи, как байесовские факторы, для сравнения моделей. На самом деле, байесовский может даже вычислить вероятность того, что модель верна, и выбрать модель, которая с большей вероятностью будет верна. Или байесовский может усреднить по моделям, чтобы получить лучшую модель. Или можете использовать последующие прогностические проверки. Существует множество вариантов проверки модели, и каждый может предпочесть тот или иной подход, но говорить, что в байесовском анализе нет плохих моделей, не имеет смысла.

Так что, самое большее, было бы более уместно сказать, что в некоторых экстремальных версиях байесовского подхода (кстати, в экстремальных версиях, которые почти никто не использует в прикладных настройках), вам не разрешается проверять вашу модель. Но чем вы могли бы сказать, что в некоторых крайних версиях частоты вы не можете использовать данные наблюдений. Но зачем тратить время на обсуждение этих глупых вещей, когда мы можем обсуждать, если и когда, в прикладной обстановке, мы должны использовать байесовские или частые методы или что-то еще? Вот что важно, по моему скромному мнению.

Обновление: ОП попросил дать ссылку на кого-то, кто выступает за экстремальную версию Байеса. Поскольку я никогда не читал экстремальных версий Байеса, я не могу предоставить эту ссылку. Но я думаю, что Savage может быть такой ссылкой. Я никогда не читаю ничего написанного им, поэтому я могу ошибаться.

пс .: Подумайте о проблеме «хорошо откалиброванного байесовского» ( Dawid (1982), JASA , 77 , 379 ). Последовательный субъективист Байесовский прогнозист не может быть откалиброван, и поэтому не будет пересматривать его модель / прогнозы, несмотря на какие-либо неопровержимые доказательства того, что он не откалиброван. Но я не думаю, что кто-то на практике может претендовать на такую ​​связность. Таким образом, обзор модели важен.

PS2 .: Мне нравится эта статья Эфрона . Полная ссылка: Эфрон, Брэдли (2005). «Байесовцы, частые и ученые». Журнал Американской статистической ассоциации 100 (469).


5
Я также предположил, что запрет никогда не принимался всерьез на практике, поэтому я с удивлением прочитал это от Гельмана: - «Я, конечно, не хочу возвращаться к статус-кво примерно 1990-х годов в байесовской статистике, в которой он рассматривался практически незаконно проверять соответствие вашей модели данным. "
Scortchi - Восстановить Монику

1
Я не знаю, как была байесовская статистика в девяностых. Но трудно поверить, что в прикладных условиях байесовцы не проверяли свои модели. Может быть, они проверили, но не сказали!
Маноэль Галдино,

2
Вы, вероятно, правы: незаконно необычно. Возможно, в то время, по крайней мере, среди ученых, было более распространено защищать байесовские методы в принципе, а не указывать на очевидные успехи в применении, и поэтому любое несоответствие (реальным или предполагаемым) принципам попадет под ковер.
Scortchi - Восстановить Монику

Я определенно согласен, что это не главная проблема, мне было просто любопытно, если кто-нибудь опубликовал по этому поводу. Вы когда-нибудь читали кого-нибудь, кто защищал эти «крайние версии байесовства»?
Mankka

35

Они могут смотреть, но не трогать. В конце концов, остатки являются частью данных, которые не несут никакой информации о параметрах модели, и их априор выражает всю неопределенность относительно них - они не могут изменить априор в зависимости от того, что они видят в данных.

Например, предположим, что вы подходите по гауссовой модели, но обратите внимание на слишком большой эксцесс в остатках. Возможно, вашей предыдущей гипотезой должно было быть t-распределение с ненулевой вероятностью на низких степенях свободы, но это не так - это было фактически t-распределение с нулевой вероятностью везде, кроме бесконечных степеней свободы. Ничто в вероятности не может привести к ненулевым вероятностям в областях задней плотности, где предыдущая плотность равна нулю. Таким образом, понятие постоянного обновления априоров, основанных на вероятностях из данных, не работает, когда первоначальный априор указан неверно.

Конечно, если вы воспользуетесь «проверкой байесовской модели», вы увидите, что это пародия на настоящую байесовскую практику; тем не менее, он представляет собой нечто вроде аргументов типа логики науки о превосходстве байесовства по философским соображениям. Блог Эндрю Гельмана интересен на эту тему.


Есть ли у вас какие-либо ссылки на эту «трудность для логики науки»?
Mankka

7
Я имел в виду Джейнса « Теория вероятностей: логика науки» , в которой повторное использование теоремы Байеса для обновления вероятностных распределений по мере поступления новых данных считается парадигмой роста научного знания. Я уверен, что он имеет дело с проблемой априора, которая слишком узка, но я не могу вспомнить, как или как удовлетворительно. И я собираюсь изменить «общее превосходство» на «превосходство по философским соображениям», поскольку это, кажется, лучше передает то, что я имел в виду.
Scortchi - Восстановить Монику

Этот пример байесовского предшествующего использования был применен, чтобы уменьшить случайное (2%) возникновение нефизических результатов. Это отсутствие физичности было приписано нефизическому мгновенному смешиванию (лекарству в организме) и было исправлено, предполагая нулевое начальное смешивание с использованием лучшей модели. Кажется, лучше адаптировать модель к проблеме, чем придумывать ответы, чтобы соответствовать предубеждениям. (+1)
Карл
Используя наш сайт, вы подтверждаете, что прочитали и поняли нашу Политику в отношении файлов cookie и Политику конфиденциальности.
Licensed under cc by-sa 3.0 with attribution required.