Думайте как байесовский, проверяйте как частый человек: что это значит?

35

Я смотрю на слайды лекций по курсу науки о данных, которые можно найти здесь:

https://github.com/cs109/2015/blob/master/Lectures/01-Introduction.pdf

Я, к сожалению, не вижу видео для этой лекции, и в какой-то момент на слайде у докладчика есть следующий текст:

Некоторые ключевые принципы

Думай как байесовский, проверяй как частый (примирение)

Кто-нибудь знает, что это на самом деле означает? У меня есть ощущение, что есть хорошая идея об этих двух школах мысли, которые можно извлечь из этого.

bayesian data-mining frequentist

— Лука
источник

2

Подумайте, что это может быть связано с проверкой модели: см. Почему байесовскому анализу не разрешено просматривать остатки? ,

— Scortchi - Восстановить Монику

@ Scortchi Из того, что я понял, не связано ли это каким-либо образом с разделением обучающих, проверочных и тестовых наборов данных, или, возможно, байесовский учитель не может корректировать приоры даже на этапе обучения модели (для использования термина ML) Вот). Тем не менее, я до сих пор не понимаю, что значит чек, как частый человек ...

— Лука

1

«Правильный» байесовский никогда не корректирует свои априоры, а только обновляет их в соответствии с новой информацией, используя теорему Байеса. Но я только догадываюсь, о чем может быть этот «ключевой принцип».

— Scortchi - Восстановить Монику

4

Я не смог загрузить ссылку. Я предполагаю, что они имеют в виду, что даже если вы используете байесовские методы, вам следует позаботиться о рабочих характеристиках Frequentist: если вы генерируете 95% достоверных интервалов, которые являются чрезвычайно узкими, но на практике охватывают истинный интересующий параметр в 20% случаев, вы должны быть обеспокоены? Слишком жесткий байесовский может сказать «нет» (но на самом деле существует очень мало байесов такой жесткости).

— Клифф А.Б.

3

Заглядывая вперед в будущие слайды, они одобряют эмпирический байесовский анализ. Это можно увидеть на следующем наборе слайдов

— Клифф А.Б.

32

Основное различие между школами статистики байесовской и частичной школ объясняется различием в интерпретации вероятности. Байесовская вероятность - это утверждение о личной вере в то, что событие произошло (или произошло). Частота вероятности - это утверждение о доле подобных событий, которые происходят в пределе при увеличении числа этих событий.

Для меня «думать как байесовский» означает обновлять ваши личные убеждения по мере появления новой информации и «проверять [или беспокоиться] как частый человек» - значит интересоваться выполнением статистических процедур, агрегированных по времени их использования, например, каков охват достоверных интервалов, каков коэффициент ошибок типа I / II и т. д.

— jaradniemi
источник

1

Спасибо за ваш ответ. Краткий и эффективный даже для такого непрофессионала, как я!

— Лука

2

Разве невозможно проверить или беспокоиться, как байесовский, исследуя влияние приоров или используя неинформативное? Это применимо только к последовательному анализу? Было проделано много работы о том, где байесовская и частотная статистика пересекаются с последовательным анализом, «обновление убеждений» не является существенным, и последовательную статистику можно сделать строгой в частых условиях.

— AdamO

1

Да, можно беспокоиться, как байесовский, например, исследуя влияние вашего предшественника. Нет, мой ответ применим не только к последовательному анализу, то есть новая информация может возникнуть сразу.

— Джарадниеми

15

Байесовская статистика суммирует убеждения, в то время как статистика частых суммирует доказательства Байесовцы рассматривают вероятность как степень веры. Этот всеобъемлющий и генеративный тип рассуждений полезен для формулирования гипотез. Например, байесовцы могут произвольно присвоить некоторую вероятность тому, что луна состоит из зеленого сыра, независимо от того, действительно ли астронавты могли туда приехать, чтобы проверить это. Эта гипотеза, возможно, подтверждается идеей, что издалека луна выглядиткак зеленый сыр. Частые участники не могут в одиночку представить себе гипотезу, которая является чем-то большим, чем просто соломенный человек, и при этом они не могут сказать, что доказательства предпочитают одну гипотезу другой. Даже максимальное правдоподобие только генерирует статистику, которая «наиболее соответствует тому, что наблюдалось». Формально байесовская статистика позволяет нам мыслить нестандартно и предлагать обоснованные идеи на основе данных. Но это строго гипотеза, порождающая в природе.

Статистика часто используется для подтверждения гипотез. Когда эксперимент проводится хорошо, статистика часто дает «независимый наблюдатель» или «эмпирический» контекст для выводов, избегая приоры. Это соответствует философии науки Карла Поппера. Точка доказательства не состоит в том, чтобы обнародовать определенную идею. Множество доказательств соответствует неверным гипотезам. Доказательства могут просто фальсифицировать убеждения.

Влияние априоров обычно рассматривается как предвзятость в статистических рассуждениях. Как вы знаете, мы можем привести множество причин, по которым все происходит. Психологически многие люди считают, что предвзятость наших наблюдателей - это следствие того, что в нашем мозгу существуют препятствия, которые мешают нам действительно взвешивать то, что мы видим. «Наблюдение облаков надежды», как сказала Преподобная Мать в Дюне. Поппер сделал эту идею строгой.

Это имело большое историческое значение в некоторых из величайших научных экспериментов нашего времени. Например, Джон Сноу тщательно собрал доказательства эпидемии холеры и сообразил, что холера не вызвана моральной депривацией, и указал, что доказательства в значительной степени соответствуют загрязнению сточных вод: обратите внимание, что он не сделал выводэто, результаты Сноу предшествовали открытию бактерий, и не было никакого механистического или этиологического понимания. Подобный дискурс можно найти в «Происхождении видов». На самом деле мы не знали, была ли сделана луна из зеленого сыра, пока астронавты не приземлились на поверхность и не собрали образцы. В этот момент байесовские авторы постов приписывали очень и очень низкую вероятность любой другой возможности, и в лучшем случае, как часто говорят специалисты, образцы очень несовместимы с чем-либо, кроме лунной пыли.

Таким образом, байесовская статистика поддается генерации гипотез, а статистика часто используется для подтверждения гипотез. Обеспечение того, чтобы данные собирались независимо в этих усилиях, является одной из самых больших проблем, с которыми сталкиваются современные статистики.

— Adamo
источник

1

Спасибо за ответ. Что вы имели в виду, когда говорите Plenty of evidence is consistent with incorrect hypotheses?

— Лука

2

@ Luca Типичный статистический пример может быть найден в смешанном. Например, я мог бы сказать: «Курение дает подросткам лучшую функцию легких». Я мог бы пойти дальше, чтобы рационализировать это, сказав, что курение является стимулятором, который способствует лучшей физической активности, здоровому аппетиту и поощряет здоровую социализацию. Если бы я собрал данные, они действительно показали бы, что курящие подростки имеют лучшую функцию легких. Ассоциативный вывод верен, а причинный ложен. Отношение зависит от возраста, так как дети старшего возраста чаще курят.

— AdamO

Спасибо! Я многому научился из этого очень хорошо написанного ответа.

— Лука

5

Согласно Cliff ABкомментарию к ОП, звучит так, будто они движутся к эмпирической байесовской философии. Существуют три основные байесовские школы мысли, и эмпирические байесовские оценки оценивают приоры по данным, часто с использованием частых методов. Это не совсем соответствует цитате (которая подразумевает байесовский подход, частые опасения впоследствии), но мы не должны упускать из виду Cliff ABотличный комментарий.

Кроме того, была и может быть, школа байесовской мысли, что вам не нужно ничего проверять после байесовской процедуры. Более современное мышление будет использовать апостериорные прогностические проверки, и, возможно, именно такой подход проверяет ваши ответы.

Кроме того, философия частых специалистов связана с процедурами, а не с выводами из данных. Так что, возможно, это также ключ к значению цитаты.

— Wayne
источник

Я думаю, что вы ссылались на мой первый комментарий, и мой второй комментарий состоял в том, что после более тщательного изучения вы правы, что они очень конкретно относятся к эмпирическому байесовскому эффекту. Я был на самом деле разочарован, что эта цитата была просто одобрением эмпирического байесовского, а не более общим призывом рассмотреть преимущества обеих школ мысли. Ну что ж.

— Клифф А.Б.

2

В контексте этого урока по науке о данных моя интерпретация «проверяй как частый человек» заключается в том, что ты оцениваешь эффективность своей функции прогнозирования или функции принятия решения на основании данных проверки. Совет «думать как байесовский» выражает мнение, что функция прогнозирования, полученная из байесовского подхода, в целом даст хорошие результаты.

— DavidR
источник

(играет адвоката дьявола :) Почему байесовский подход должен давать «хорошие результаты», а частый - нет?

— Тим

Байесовские методы предписывают подход. Статистику по частоте можно рассматривать как часть теории принятия решений, и она дает основу для оценки любой функции принятия решения (основанной на байесовском или некотором частом принципе). Некоторые методы, такие как методы максимального правдоподобия, часто используются в контексте часто используемых данных, поскольку они имеют хорошие свойства часто используемых элементов (например, асимптотически они делают правильные вещи и получают их быстрее, чем большинство других методов). Байесовский метод, безусловно, может использоваться частыми лицами, но у них могут быть разные причины для его использования.

— DavidR

Байесовские методы также имеют много общего с теорией принятия решений. Я также не думаю, что байесовские методы можно использовать в частом контексте (как вы представляете использование приоры в частом контексте?) - это скорее наоборот: многие методы часто используют байесовские интерпретации. Я не думаю, что есть смысл обсуждать это, что я говорю, что ваши заявления немного упрощают вещи.

— Тим

О байесовских подходах можно доказать множество хороших частых свойств, поэтому в этом смысле делать что-то байесовское довольно безопасно, если у вас достаточно данных.

— DavidR

1

Предположим, я хочу оценить вероятность р головы в броске монеты. Как байесовец, я начинал с априорной вероятности p, наблюдал некоторые данные, а затем получал апостериор на p. Нам нужно получить точечную оценку p, и я решил использовать среднее значение моего апостериорного распределения в качестве моей точечной оценки. В общем, это описывает метод перехода от данных к точечной оценке. Этот метод можно оценить по частоте: например, является ли он предвзятым? последовательный? асимптотически эффективный? Тот факт, что был вовлечен априор, сам по себе не должен касаться частых.

— DavidR

1

Звучит так: «Думай как байесовский, проверяй как частый человек» относится к подходу в статистическом дизайне и анализе. Насколько я понимаю, байесовское мышление включает в себя некоторое представление о предыдущих ситуациях (экспериментально или статистически), скажем, например, что средний балл по чтению для 4-х классов составляет 80 слов в минуту, и что какое-то вмешательство может увеличить это до 90 слов в минуту , Это убеждения, основанные на предыдущих исследованиях и гипотезах. Частое мышление экстраполирует результаты (вмешательства) для получения доверительных интервалов или других статистических данных, которые основаны на теоретической и практической частоте или вероятности повторения этих результатов (т. Е. Как «часто»). Например, показатель чтения после вмешательства может составлять 91 слово в минуту с 95% -ным доверительным интервалом от 85 до 97 слов в минуту, и соответствующее значение p (значение вероятности) этого значения отличается от показателя до вмешательства. Таким образом, 95% времени, новые оценки чтения будут между 85 и 97 словами в минуту после вмешательства. Поэтому «думайте как байесовский» - то есть теоретизируйте, выдвигайте гипотезы, смотрите на предыдущие данные и «проверяйте как частый» - то есть как часто бывают эти экспериментальные результаты и насколько вероятно, что они будут вызваны шанс, а не вмешательство. новые показатели чтения будут между 85 и 97 словами в минуту после вмешательства. Поэтому «думайте как байесовский» - то есть теоретизируйте, выдвигайте гипотезы, смотрите на предыдущие данные и «проверяйте как частый» - то есть как часто бывают эти экспериментальные результаты и насколько вероятно, что они будут вызваны шанс, а не вмешательство. новые показатели чтения будут между 85 и 97 словами в минуту после вмешательства. Поэтому «думайте как байесовский» - то есть теоретизируйте, выдвигайте гипотезы, смотрите на предыдущие данные и «проверяйте как частый» - то есть как часто бывают эти экспериментальные результаты и насколько вероятно, что они будут вызваны шанс, а не вмешательство.

— Джереми
источник

2

Ваше последнее предложение - часть «проверяй как частый» - на самом деле не имеет ничего общего с установкой частых: байесовская оценка также скажет тебе, «как часто» мы ожидаем, что что-то произойдет, или «насколько вероятно», что это ...

— Тим