Как бы вы описали на простом английском языке характеристики, которые отличают байесовские и частые рассуждения?

Вот как я бы объяснил основную разницу моей бабушке:

Я потерял свой телефон где-то дома. Я могу использовать локатор телефона на основании инструмента, чтобы найти телефон, и когда я нажимаю локатор телефона, телефон начинает издавать звуковые сигналы.

Проблема: в каком районе моего дома я должен искать?

Частые рассуждения

Я слышу писк телефона. У меня также есть ментальная модель, которая помогает мне определить область, из которой исходит звук. Поэтому, услышав звуковой сигнал, я определяю область своего дома, которую я должен найти, чтобы найти телефон.

Байесовское рассуждение

Я слышу писк телефона. Теперь, кроме ментальной модели, которая помогает мне определить область, из которой исходит звук, я также знаю места, где в прошлом я помещал телефон не на место. Итак, я объединяю свои выводы, используя звуковые сигналы и мою предыдущую информацию о местах, в которых я потерял телефон в прошлом, чтобы определить область, которую я должен найти, чтобы найти телефон.

Язык крепко в щеку:

Байесовский определяет «вероятность» точно так же, как это делает большинство не статистиков, а именно - указание на правдоподобие предложения или ситуации. Если вы зададите ему вопрос, он даст вам прямой ответ с указанием вероятностей, описывающих вероятности возможных результатов для конкретной ситуации (и изложит свои предыдущие предположения).

Частый человек - это тот, кто полагает, что вероятности представляют долгосрочные частоты, с которыми происходят события; если потребуется, он придумает фиктивную популяцию, из которой ваша конкретная ситуация может рассматриваться как случайная выборка, чтобы он мог осмысленно говорить о долгосрочных частотах. Если вы зададите ему вопрос о конкретной ситуации, он не даст прямого ответа, а вместо этого сделает заявление об этом (возможно, воображаемом) населении. Многие нечастые статистики будут легко смущены ответом и будут интерпретировать его как байесовскую вероятность конкретной ситуации.

Тем не менее, важно отметить, что большинство методов Frequentist имеют байесовский эквивалент, который в большинстве случаев даст по существу тот же результат, разница в значительной степени зависит от философии, а на практике это вопрос «лошадей на курсах».

Как вы уже догадались, я байесовец и инженер. ; О)

Очень грубо я бы сказал, что:

Frequentist: Выборка бесконечна, и правила принятия решений могут быть точными. Данные представляют собой воспроизводимую случайную выборку - есть частота. Базовые параметры являются фиксированными, то есть они остаются постоянными в течение этого повторяемого процесса отбора проб.

Байесовский: неизвестные количества рассматриваются вероятностно, и состояние мира всегда может быть обновлено. Данные наблюдаются из реализованного образца. Параметры неизвестны и описаны вероятностно. Это данные, которые являются фиксированными.

Есть замечательное сообщение в блоге, в котором приведен яркий пример того, как байесовский и частый исследователи будут решать одну и ту же проблему. Почему бы не ответить на проблему для себя, а затем проверить?

Проблема (взято из блога Panos Ipeirotis):

У вас есть монета, которая при подбрасывании заканчивается головой с вероятностью p и заканчивается хвостом с вероятностью 1-p. (Значение p неизвестно.)

Пытаясь оценить p, вы подбрасываете монету 100 раз. Это заканчивается головой 71 раз.

Затем вам нужно определиться со следующим событием: «В следующих двух бросках мы получим две головы подряд».

Могли бы вы поспорить, что событие произойдет или не произойдет?

Допустим, человек бросает шестигранный кубик, и у него есть результаты 1, 2, 3, 4, 5 или 6. Кроме того, он говорит, что если он выпадет на 3, он даст вам бесплатный учебник.

Тогда неофициально:

Частотный бы сказать , что каждый результат имеет равный 1 в 6 шанс возникновения. Она рассматривает вероятность как полученную из долгосрочных частотных распределений.

Байесовское однако сказал бы повесить на секунду, я знаю , что человек, он Дэвид Блейн, известный обманщик! У меня ощущение, что он что-то замышляет. Я собираюсь сказать, что вероятность того, что он попадет на 3 НО, составляет всего 1%. Я буду переоценивать этого верующего и менять его по мере того, как он бросает кубик. Если я увижу, что другие числа появляются одинаково часто, то я итеративно увеличу шанс с 1% до чего-то немного более высокого, иначе я уменьшу его еще больше. Она рассматривает вероятность как степень веры в суждение.

Просто немного веселья ...

Байесовец - это тот, кто, смутно ожидая коня и мельком увидев осла, твердо верит, что видел мула.

С этого сайта:

http://www2.isye.gatech.edu/~brani/isyebayes/jokes.html

и с того же сайта, хорошее эссе ...

«Интуитивное объяснение теоремы Байеса»

http://yudkowsky.net/rational/bayes

Байесовца просят делать ставки, которые могут включать в себя все, от чего муха будет ползти по стене быстрее, на какое лекарство спасет большинство жизней или какие заключенные должны отправиться в тюрьму. У него большая коробка с ручкой. Он знает, что если он положит в коробку абсолютно все, что он знает, включая его личное мнение, и повернет ручку, это примет для него наилучшее возможное решение.

Часто просят написать отчеты. У него большая черная книга правил. Если ситуация, о которой его просят сделать отчет, покрыта его книгой правил, он может следовать правилам и написать отчет настолько тщательно, что он ошибочен, в худшем случае, один раз из 100 (или один раз из 20, или один время, как указано в спецификации для его доклада).

Частый участник знает (потому что он написал отчеты об этом), что байесовский игрок иногда делает ставки, которые в худшем случае, когда его личное мнение ошибочно, могут оказаться плохими. Частый участник также знает (по той же причине), что если он будет делать ставку на байесовский каждый раз, когда он отличается от него, то в долгосрочной перспективе он проиграет.

Говоря простым языком, я бы сказал, что байесовские и частые рассуждения различаются двумя разными способами ответа на вопрос:

Какова вероятность?

Большинство различий по существу сводятся к тому, как каждый отвечает на этот вопрос, поскольку он в основном определяет область допустимых применений теории. Теперь вы не можете дать ни одного ответа в терминах «простого английского», не задавая больше вопросов. Для меня ответ (как вы могли догадаться)

вероятность это логика

моя «непростая английская» причина этого заключается в том, что исчисление высказываний является частным случаем исчисления вероятностей, если мы представляем истину в и ложь в0 $1$$0$, Кроме того, исчисление вероятностей может быть получено из исчисления предложений. Это наиболее близко согласуется с «байесовским» рассуждением - хотя оно также расширяет байесовское рассуждение в приложениях, предоставляя принципы для распределения вероятностей в дополнение к принципам управления ими. Конечно, это приводит к последующему вопросу "что такое логика?" для меня самое близкое, что я мог бы дать в качестве ответа на этот вопрос: «логика - это здравый смысл суждений рационального человека с заданным набором предположений» (что такое рациональный человек? и т. д. и т. д.). Логика имеет те же особенности, что и байесовские рассуждения. Например, логика не говорит вам, что предполагать или что является «абсолютно верным». Это только говорит вам, как правда одного предложения связана с правдой другого. Вы всегда должны снабжать логическую систему «аксиомами», чтобы начать делать выводы. Они также имеют те же ограничения в том, что вы можете получить произвольные результаты из противоречивых аксиом. Но «аксиомы» - это не что иное, как априорные вероятности, которые были установлены$1$ . Для меня отвергнуть байесовские рассуждения - значит отказаться от логики. Если вы принимаете логику, то, поскольку байесовские рассуждения «логически вытекают из логики» (как это для простого английского языка: P), вы также должны принять байесовские рассуждения.

Для частых рассуждений у нас есть ответ:

вероятность есть частота

хотя я не уверен, что «частота» - это простой английский термин в том смысле, как он здесь используется - возможно, «пропорция» - более подходящее слово. Я хотел добавить в ответ на частый ответ, что вероятность события считается реальной, измеримой (наблюдаемой?) Величиной, которая существует независимо от человека / объекта, который ее вычисляет. Но я не мог сделать это «простым английским» способом.

Так что, возможно, в «простой английской» версии одно из различий может заключаться в том, что частые рассуждения - это попытка рассуждения из «абсолютных» вероятностей, тогда как байесовские рассуждения - это попытка рассуждения из «относительных» вероятностей.

Другое отличие состоит в том, что основополагающие принципы более расплывчаты в том, как вы переводите проблему реального мира в абстрактную математику теории. Хорошим примером является использование «случайных величин» в теории - они имеют точное определение в абстрактном мире математики, но нет однозначной процедуры, которую можно использовать, чтобы решить, является ли некоторая наблюдаемая величина «случайной» или нет. переменная».

Байесовский способ рассуждения, понятие «случайная величина» не является необходимым. Распределение вероятностей присваивается количеству, потому что оно неизвестно - это означает, что оно не может быть логически выведено из имеющейся у нас информации. Это сразу обеспечивает простую связь между наблюдаемой величиной и теорией, поскольку «быть неизвестным» однозначно.

В приведенном выше примере вы также можете увидеть еще одно отличие этих двух способов мышления - «случайный» и «неизвестный». «случайность» сформулирована таким образом, что «случайность» выглядит так, как будто она является свойством действительной величины. И наоборот, «быть неизвестным» зависит от того, какого человека вы спрашиваете об этом количестве - следовательно, это свойство статистика, проводящего анализ. Это приводит к появлению «объективных» и «субъективных» прилагательных, часто приписываемых каждой теории. Легко показать, что «случайность» не может быть свойством некоторых стандартных примеров, просто попросив двух часто встречающихся, которым дают разную информацию об одном и том же количестве, решить, является ли оно «случайным». Одним из них является обычная урна Бернулли: частый 1 завязывает глаза во время рисования, в то время как частый 2 стоит над урной, наблюдая, как частый 1 вытягивает шары из урны. Если объявление «случайности» является свойством шаров в урне, то оно не может зависеть от разного знания участников 1 и 2 - и, следовательно, два участника должны давать одно и то же объявление «случайный» или «не случайный» ,

На самом деле, я думаю, что большая часть философии, связанной с этой проблемой, является просто выдающейся. Это не для того, чтобы отклонить дебаты, но это слово предостережения. Иногда практические вопросы имеют приоритет - я приведу пример ниже.

Кроме того, вы также можете легко утверждать, что существует более двух подходов:

• Нейман-Пирсон («частый человек»)
• Подходы, основанные на вероятности
• Полностью байесовский

Старший коллега недавно напомнил мне, что «многие люди на общем языке говорят о частоте и байесовском. Я думаю, что более обоснованное различие основано на вероятностном подходе и частом. Как метод максимального правдоподобия, так и байесовский метод придерживаются принципа правдоподобия, в то время как методы частого использования этого не делают. "

Я начну с очень простого практического примера:

У нас есть пациент. Пациент либо здоров (H), либо болен (S). Мы проведем тест на пациенте, и результат будет положительным (+) или отрицательным (-). Если пациент болен, он всегда получит положительный результат. Мы назовем это правильным (C) результатом и скажем, что или Если пациент здоров, тест будет отрицательным в 95% случаев, но при этом будут некоторые ложные срабатывания. В других работах вероятность правильности теста для здоровых людей составляет 95%.P ( C o r r e c t | S ) = 1 P ( - | H ) = 0,95 P ( + | H ) =

Таким образом, тест либо на 100%, либо на 95%, в зависимости от того, здоров пациент или болен. В совокупности это означает, что тест с точностью не менее 95%.

Все идет нормально. Это заявления, которые будут сделаны частыми лицами. Эти утверждения довольно просты для понимания и являются правдой. Нет необходимости болтать о «частой интерпретации».

Но все становится интересным, когда вы пытаетесь все изменить. Учитывая результаты теста, что вы можете узнать о здоровье пациента? Учитывая отрицательный результат теста, пациент, очевидно, здоров, поскольку нет ложных отрицательных результатов.

Но мы также должны рассмотреть случай, когда тест положительный. Был ли тест положительным, потому что пациент был действительно болен, или это был ложный положительный результат? Это где частое и байесовское расхождение. Все согласятся, что на это нельзя ответить в данный момент. Частик откажется отвечать. Байесовец будет готов дать вам ответ, но вы должны будете заранее дать Байесову - то есть сказать, какая часть пациентов больна.

Напомним, что следующие утверждения верны:

• Для здоровых пациентов тест очень точный.
• Для больных пациентов тест очень точный.

Если вас устраивают такие заявления, то вы используете частые интерпретации. Это может измениться от проекта к проекту, в зависимости от того, какие проблемы вы смотрите.

Но вы можете сделать разные заявления и ответить на следующий вопрос:

• Насколько точен этот тест для тех пациентов, которые получили положительный результат теста?

Это требует предварительного и байесовского подхода. Отметим также, что это единственный вопрос, интересующий врача. Врач скажет: «Я знаю, что пациенты получат либо положительный результат, либо отрицательный результат. Я также теперь, когда отрицательный результат означает, что пациент здоров и его можно отправить домой. Единственные пациенты, которые меня сейчас интересуют, это те, кто получил положительный результат - они больны?

Подводя итог: в таких примерах байесовский согласен со всем, что говорит частый участник. Но Байесовский будет утверждать, что заявления частых, хотя и верны, не очень полезны; и будет утверждать, что на полезные вопросы можно ответить только с предварительным.

Участник часто рассматривает каждое возможное значение параметра (H или S) и спрашивает: «Если параметр равен этому значению, какова вероятность того, что мой тест будет правильным?»

Вместо этого байесовец по очереди рассмотрит каждое возможное наблюдаемое значение (+ или -) и спросит: «Если я представлю, что только что наблюдал это значение, что это говорит мне об условной вероятности H-против-S?»

Байесовские и частые статистические данные совместимы в том смысле, что их можно понимать как два ограничивающих случая оценки вероятности будущих событий на основе прошлых событий и предполагаемой модели, если допустить, что в пределе очень большого числа наблюдений нет неопределенности в отношении система остается, и что в этом смысле очень большое количество наблюдений равнозначно знанию параметров модели.

Предположим, мы сделали некоторые наблюдения, например, результат 10 бросков монет. В байесовской статистике вы начинаете с того, что вы наблюдали, а затем вы оцениваете вероятность будущих наблюдений или параметров модели. В статистике часто вы начинаете с идеи (гипотезы) о том, что является правдой, предполагая, что были сделаны сценарии большого количества наблюдений, например, монета беспристрастна и дает 50% -ое преимущество, если вы бросаете ее много раз. Основываясь на этих сценариях большого количества наблюдений (= гипотезы), вы оцениваете частоту проведения наблюдений, аналогичную той, которую вы делали, т. Е. Частоту различных результатов 10 бросков монет. Только тогда вы берете свой фактический результат, сравниваете его с частотой возможных результатов и решаете, относится ли этот результат к тем, которые ожидаются с высокой частотой. Если это так, вы заключаете, что проведенное наблюдение не противоречит вашим сценариям (= гипотеза). В противном случае вы придете к выводу, что проведенное наблюдение несовместимо с вашими сценариями, и отклоните гипотезу.

Таким образом, байесовская статистика начинается с того, что наблюдалось, и оценивает возможные будущие результаты. Статистика для начинающих начинается с абстрактного эксперимента о том, что будет наблюдаться, если предположить что-либо, и только затем сравнивает результаты абстрактного эксперимента с тем, что действительно наблюдалось. В противном случае оба подхода совместимы. Они оба оценивают вероятность будущих наблюдений на основе некоторых наблюдений, сделанных или предположенных.

Я начал писать это более формально:

Позиционирование байесовского умозаключения как особого применения частичного умозаключения и наоборот. figshare.

http://dx.doi.org/10.6084/m9.figshare.867707

Рукопись новая. Если вам довелось прочитать его и оставить комментарии, пожалуйста, дайте мне знать.

Я бы сказал, что они смотрят на вероятность по-разному. Байесовский субъективен и использует априорные убеждения для определения априорного распределения вероятностей возможных значений неизвестных параметров. Поэтому он опирается на теорию вероятностей, подобную теории деФинетти. Частотник рассматривает вероятность как нечто, имеющее отношение к предельной частоте, основанной на наблюдаемой пропорции. Это соответствует теории вероятностей, разработанной Колмогоровым и Мизесом.
Частик делает параметрический вывод, используя только функцию правдоподобия. Байесовец берет это и умножает на априор и нормализует его, чтобы получить апостериорное распределение, которое он использует для вывода.

То, как я отвечаю на этот вопрос, состоит в том, что частые сравнивают данные, которые они видят, с тем, что они ожидали. То есть у них есть ментальная модель того, как часто что-то должно происходить, а затем просматривать данные и как часто это происходило. то есть, насколько вероятны данные, которые они увидели, с учетом выбранной ими модели.

Байесовцы , с другой стороны, объединяют свои ментальные модели. То есть у них есть модель, основанная на их предыдущем опыте, которая говорит им, как, по их мнению, должны выглядеть данные, а затем они комбинируют это с данными, которые наблюдают, чтобы обосновать какое-то « последующее» убеждение. то есть они находят вероятность того, что модель, которую они стремятся выбрать, действительна, учитывая данные, которые они наблюдали.

Frequentist: истинное состояние природы. Если я обычно делаю такие анализы, 95% моих ответов будут правильными.

Байесиан: Есть 95% вероятности, что истинный ответ ... Я основываю это на комбинации данных, которые вы мне дали, и наших предыдущих предположений о том, что такое истина.

Частые: ставки на кости. Результат будет зависеть только от значения кубика: вы выиграете свою ставку или нет. В зависимости от одного случая.

Байесовский: игра в Техасский Холдем. Вы единственный, кто видит ваши две карты. У вас есть некоторые знания о других игроках на столе. Вы должны отрегулировать свою вероятность выиграть на флопе, терне и ривере и, возможно, в зависимости от того, какие игроки остались. Они часто блефуют? Они агрессивные или пассивные игроки? Все это решит, что вы будете делать. Не только вероятность того, что вы получили первые две карты, зависит, выиграете вы или нет.

Играть в частый покер означало бы, что каждый игрок сначала показывает свои руки, а затем делает ставку или сбрасывает карты до флопа, терна и ривера. Теперь снова зависит только от случая, выиграешь ты или нет.

Скажем, если у вас болит голова и идете к врачу. Предположим, что в наборе решений доктора есть две причины головной боли: № 1 для опухоли головного мозга (основная причина, которая вызывает головную боль в 99% случаев), и № 2 для простуды (причина, которая может вызвать головные боли у очень немногих пациентов) ,

Тогда решения врачей, основанные на подходе Frequentist, будут: у вас опухоль мозга.

Решение врачей, основанное на байесовском подходе, скажет вам, что вы простудились (даже если только 1% простуд вызывает головные боли)

Кобеля и кошку помещают в стальную камеру вместе с едой и водой на 70 дней.

Частый участник сказал бы, что средний период беременности для кошек составляет 66 дней, самка была в жару, когда кошки были подкоплены, и однажды в жару она будет повторно спариваться в течение 4-7 дней. Поскольку, вероятно, было много случаев размножения и достаточного количества времени для беременности, вероятность того, что когда коробка открыта на 70-й день, появляется помет новорожденных котят.

Байесовец сказал бы, я слышал, как какой-то серьезный Марвин Гэй выходил из коробки в первый день, а затем этим утром я услышал много похожих на котят звуков, исходящих из коробки. Так что, не зная ничего о размножении кошек, вероятнее всего, когда коробка открывается на 70-й день, появляется помет новорожденных котят.