Статистический аргумент, почему 10000 голов с 20 000 бросков указывают на неверные данные


11

Допустим, мы неоднократно подбрасываем справедливую монету, и мы знаем, что количество голов и хвостов должно быть примерно одинаковым. Когда мы видим результат, например, 10 голов и 10 хвостов на общую сумму 20 бросков, мы верим в результаты и склонны считать, что монета справедлива.

Хорошо, когда вы видите результат, например, 10000 голов и 10000 хвостов на общую сумму 20000 бросков, я фактически подвергаю сомнению достоверность результата (подделал ли экспериментатор данные), поскольку я знаю, что это более маловероятно, чем, скажем, результат 10093 головы и 9907 хвостов.

Какой статистический аргумент лежит в основе моей интуиции?

Ответы:


21

Если предположить, что итоговая монета дает 10000 голов и 10000 хвостов, то на самом деле она более вероятна, чем результат 10093 голов и 9907 хвостов.

Однако, когда вы говорите, что настоящий экспериментатор вряд ли сможет получить равное количество голов и хвостов, вы неявно ссылаетесь на теорему Байеса. Ваше предыдущее мнение о реальном эксперименте состоит в том, что Проб (Количество голов = 10000 при 20000 бросках | Учитывая, что экспериментатор не притворяется) близок к 0. Таким образом, когда вы видите фактический результат, «Нет голов = 10000» ваш апостериорный про Проб (экспериментатор не подделывает | наблюдаемый результат 10000 голов) также близок к 0. Таким образом, вы заключаете, что экспериментатор подделывает данные.


Очень хорошо объяснил! Какой замечательный пример подхода теоремы Байеса.
Тал Галили

1
@Srikant: этот предварительный не может быть определен формально. В любом случае, Prob (Нет голов = X | экспериментатор не притворяется) всегда равно нулю, когда N = 20000, независимо от значения X и независимо от вашего предшествующего уровня. Таким образом, ваш апостериор для любого числа также всегда близок к 0. Я не вижу, что это имеет отношение к теореме Байеса.
Йорис Мейс

Все это от парня, который скрывался, пытаясь доказать, что Бог существует. Элегантно, правда.
Брэндон Бертельсен

1
Если рассматривать это в более общей перспективе, то, с чем я согласен, заключается в том, что здесь работает теорема Байеса. В частности, существуют альтернативные вероятности (соответствующие различным генеративным процессам) для мошенничества и для честных экспериментаторов. Установление мошенничества является последним выводом относительно интуитивного и, следовательно, печально недоопределенного процесса мошенничества.
сопряженное

1
@Srikant @whuber: комбинаториалы ... ты прав. Я начал с одинаковой вероятности, которая в данном случае не имеет смысла. Мой плохой
Йорис Мейс

12

Мне нравится объяснение Шриканта, и я думаю, что байесовская идея, вероятно, является лучшим способом решения такой проблемы. Но вот другой способ увидеть это без Байеса: (в R)

dbinom(10, size = 20, prob = 0.5)/dbinom(10000, 20000, 0.5)

что составляет около 31,2 в моей системе. Другими словами, более чем в 30 раз больше шансов увидеть 10 из 20, чем 10 000 из 20 000, даже с честной монетой в обоих случаях. Это соотношение увеличивается без ограничений по мере увеличения размера выборки.

Это своего рода подход отношения правдоподобия, но, опять же, в моей интуиции это похоже на байесовский сужденный вызов больше, чем что-либо еще.


Почему соотношение? Почему бы просто не заявить, что вероятность этого точного розыгрыша крайне низка?
Энди W

5
Утверждение о том, что конкретная вероятность является низкой вне контекста, не является убедительным. Вероятность того, что я точно такого же роста, как мой рост (каким бы он ни был), равна нулю. И, да, проблематично даже определить высоту с бесконечной точностью, yada, yada, yada ... Моя точка зрения такова, что водоворот существования искажается событиями бесконечно малой вероятности, происходящими все время! 10000 из 20000 - вне контекста - меня совсем не удивляет. Независимо от того, какова его численная вероятность.

9

Субъективист байесовский аргумент является практически единственным способом (с точки зрения статистики) вы могли бы идти о понимании вашей интуиции , которая - собственно говоря - вопрос о проведении психологического исследования, а не статистические один. Однако явно несправедливо - и, следовательно, недопустимо - использовать байесовский подход, чтобы утверждать, что следователь подделал данные. Логика этого совершенно круглая: все сводится к тому, что «основываясь на моих предыдущих представлениях о результате, я нахожу ваш результат невероятным, и поэтому вы, должно быть, обманули». Такой нелогичный корыстный аргумент, очевидно, не будет стоять в зале суда или в процессе коллегиального рассмотрения.

Вместо этого мы могли бы взять подсказку из критики Рональда Фишера экспериментов Менделя и провести проверку формальной гипотезы. Конечно, недопустимо проверять постфактум гипотезу, основанную на результатах. Но эксперименты должны быть воспроизведены, чтобы поверить: это принцип научного метода. Итак, увидев один результат, который, по нашему мнению, мог бы быть подделан, мы можем сформулировать соответствующую гипотезу для проверки будущих (или дополнительных) результатов. В этом случае критическая область будет содержать набор результатов, чрезвычайно близких к ожидаемому. Например, тест вαУровень = 5% будет рассматривать любой результат между 9,996 и 10,004 как подозрительный, потому что (а) эта коллекция близка к нашим гипотетическим «поддельным» результатам и (б) в соответствии с нулевой гипотезой об отсутствии подделки (невиновна, пока не будет доказана вина в суде!) , результат в этом диапазоне имеет только 5% (на самом деле 5.07426%) шанс возникновения. Кроме того, мы можем поместить этот, казалось бы, специальный подход в контекст хи-квадрат (а-ля Фишер), просто возведя в квадрат отклонение между наблюдаемой пропорцией и ожидаемой пропорцией, а затем применив лемму Неймана-Пирсона в одностороннем тесте на низкий хвост и применение нормального приближения к биномиальному распределению .

Хотя такой тест не может оказаться фальшивым, его можно применить к будущим отчетам этого экспериментатора, чтобы оценить достоверность их утверждений, не делая ошибочных и неподходящих предположений, основанных только на вашей интуиции. Это гораздо более справедливо и строго, чем использовать байесовский аргумент, чтобы привлечь кого-то, кто может быть совершенно невинным и просто оказался настолько неудачливым, что получил прекрасный экспериментальный результат!


5

Я думаю, что ваша интуиция несовершенна. Кажется, вы неявно сравниваете один «очень особенный» результат (ровно 10000 голов) с набором множества результатов (все «не специальные» числа головок близки к 10000). Однако определение «особый» является произвольным выбором, основанным на нашей психологии. Как насчет двоичного 10000000000000 (десятичное 8192) или шестнадцатеричного ABC (десятичное 2748) - это тоже будет подозрительно особенным? Как прокомментировал Джорис Мейс, аргумент Байеса по существу будет одинаковым для любого количества голов, подразумевая, что каждый результат будет подозрительным.

Чтобы немного расширить аргумент: вы хотите проверить гипотезу («экспериментатор притворяется»), а затем выберите статистику теста (количество головок). Теперь, подходит ли эта тестовая статистика, чтобы рассказать вам что-то о вашей гипотезе? Мне кажется, выбранная статистика теста не информативна (не является функцией параметра, указанного в гипотезе как фиксированное значение). Это возвращает нас к вопросу, что вы подразумеваете под «обманом». Если это означает, что экспериментатор контролирует монету по желанию, то это не отражается в статистике теста. Я думаю, что вам нужно быть более точным, чтобы найти поддающийся количественному измерению показатель и, таким образом, сделать вопрос пригодным для статистической проверки.


+1, но я не убежден. Что особенного в 10000, так это то, что оно точно соответствует ожидаемому количеству голов согласно гипотезе, что монета справедлива. Этот факт не зависит от какой-либо психологии или системы представления чисел. Анализ в этом ответе может дать некоторое представление о ситуации, когда, скажем, 20 005 монет были опрокинуты и 10 000 голов (и, следовательно, 10 005 хвостов) были отмечены, и чья-то «интуиция» предположила, что произошла подделка.
whuber

Я полностью согласен с тем, что, как вы указываете в своем ответе, все зависит от априорного определения гипотезы: если вы заранее определили, что под «подделкой эксперимента» вы подразумеваете «достижение результата для числа голов, которое близко к ожидаемому значению ", то это основа для статистического теста с" числом головок "в качестве статистики теста. Однако без такого априорного разъяснения значение «подделка» и «специальное значение для числа голов» остается неясным, и неясно, что они должны делать друг с другом.
Каракал

4

Вывод, который вы сделаете, будет ОЧЕНЬ зависеть от того, как вы выбрали ранее, для вероятности мошенничества и предыдущей вероятности того, что, учитывая, что флиппер лжет, сообщается о x головах.

По моему мнению, наибольший вклад в P (10000 голов | ложь) немного противоречит интуиции. Если репортер не наивен, я не могу представить, чтобы кто-либо сообщал о фальсифицированных данных такого рода (в основном по причинам, которые вы упомянули в оригинальном сообщении; это слишком подозрительно для большинства людей). Если монета действительно несправедлива и флиппер должен был сообщить фальсифицированные данные, тогда я думаю, что более разумным (и очень приблизительным) предшествующим сообщенным результатам может быть дискретная равномерная априорная P (X голов сообщается | лежа) = 1/201 для целых чисел {9900, ..., 10100} и P (х голов сообщили | лежа) = 0 для всех других х. Предположим, что вы думаете, что предыдущая вероятность лжи равна 0,5. Тогда некоторые последующие вероятности:

P (лежащий | сообщил о 9900 головах) = P (лежачий | сообщил о 10100 головах) = 0,70;

P (лежа | сообщил о 9950 головах) = P (лежа | сообщил о 10050 головах) = 0,54;

P (лежащий | 10000 голов сообщили) = 0,47.

Наиболее разумное количество заявленных голов из честной монеты приведет к подозрению. Просто чтобы показать, насколько чувствительны апостериорные вероятности к вашим априорам, если предыдущая вероятность мошенничества снижена до 0,10, то апостериорные вероятности становятся:

P (лежащий | 9900 голов сообщили) = P (лежащий | 10100 голов сообщил) = 0,21;

P (лежа | сообщил о 9950 головах) = P (лежа | сообщил о 10050 головах) = 0,11;

P (лежащий | 10000 голов сообщили) = 0,09.

Поэтому я думаю, что оригинальный (и высоко оцененный ответ) может быть немного расширен; Вы ни в коем случае не должны делать вывод, что данные фальсифицированы без тщательного рассмотрения предварительной информации. Кроме того, если думать об этом интуитивно, то кажется, что на задние вероятности лжи, скорее всего, больше влияет предшествующая вероятность лжи, а не предыдущее распределение голов, о которых сообщалось, учитывая, что ласты лгут (за исключением приоры, которые ставят все их масса на небольшом количестве головок, о которых сообщается, лежит на плавнике, как в моем примере.)


Я думаю, что это очень хороший ответ, но я не согласен с вашим вторым абзацем. Я не думаю, что первоначальная условная вероятность Сриканта нелогична, и просто потому, что на этот вопрос сложно ответить, это не аргумент против нее. Я также не думаю, что ваша постоянная вероятность лежать в пределах от 9900 до 10100 вообще имеет какой-либо смысл, хотя и полезна для демонстрационных целей.
Энди Ш

2

Для байесовского объяснения необходимо предварительное распределение вероятностей по полученным результатам с помощью флиппера лживых монет, а также предварительная вероятность лжи. Когда вы видите значение, которое гораздо более вероятно при распределении лжи, чем случайное переворачивание, это делает вашу заднюю вероятность лжи намного выше.

Используя наш сайт, вы подтверждаете, что прочитали и поняли нашу Политику в отношении файлов cookie и Политику конфиденциальности.
Licensed under cc by-sa 3.0 with attribution required.