Первоначально это возникло в связи с некоторой работой, которую мы проводим с моделью для классификации естественного текста, но я упростил ее ... Возможно, слишком много.

У вас есть синяя машина (по некоторым объективным научным показателям - она ​​синяя).

Вы показываете это до 1000 человек.

900 говорят, что это синий. 100 нет.

Вы даете эту информацию тому, кто не видит машину. Все, что они знают, это то, что 900 человек сказали, что это синий, а 100 - нет. Вы больше ничего не знаете об этих людях (1000).

Исходя из этого, вы спрашиваете человека: «Какова вероятность того, что машина синего цвета?»

Это вызвало огромное расхождение во мнениях среди тех, кого я спросил! Каков правильный ответ, если он есть?

TL; DR: Если вы не предполагаете, что люди неоправданно плохо оценивают цвет автомобиля, или что синие автомобили неоправданно редки, большое количество людей в вашем примере означает, что вероятность того, что машина синего цвета, в основном равна 100%.

Мэтью Друри уже дал правильный ответ, но я просто хотел бы добавить к этому несколько числовых примеров, потому что вы выбрали свои числа так, что вы на самом деле получаете довольно похожие ответы для широкого диапазона различных настроек параметров. Например, предположим, как вы сказали в одном из ваших комментариев, что вероятность того, что люди правильно оценивают цвет автомобиля, составляет 0,9. То есть: а также p ( скажем, это не синий | автомобиль не синий ) =

$$p(\text{say it's blue}|\text{car is blue})=0.9=1-p(\text{say it isn't blue}|\text{car is blue})$$ $$p(\text{say it isn't blue}|\text{car isn't blue})=0.9=1-p(\text{say it is blue}|\text{car isn't blue})$$

Определив это, мы должны решить следующее: какова вероятность того, что машина синего цвета? Давайте выберем очень низкую вероятность, просто чтобы посмотреть, что произойдет, и скажем, что , то есть только 0,1% всех автомобилей синего цвета. Тогда задняя вероятность того, что машина синего цвета, может быть рассчитана как:$p(\text{car is blue})=0.001$

$$\begin{align*} &p(\text{car is blue}|\text{answers})\\ &=\frac{p(\text{answers}|\text{car is blue})\,p(\text{car is blue})}{p(\text{answers}|\text{car is blue})\,p(\text{car is blue})+p(\text{answers}|\text{car isn't blue})\,p(\text{car isn't blue})}\\ &=\frac{0.9^{900}\times 0.1^{100}\times0.001}{0.9^{900}\times 0.1^{100}\times0.001+0.1^{900}\times0.9^{100}\times0.999} \end{align*}$$

Если вы посмотрите на знаменатель, то вполне ясно, что второй член в этой сумме будет пренебрежимо мал, поскольку в относительном размере членов в сумме преобладает отношение от до 0,1 900 , что составляет порядка 10 58 . И действительно, если вы выполните этот расчет на компьютере (стараясь избежать проблем с недостаточным количеством), вы получите ответ, равный 1 (с точностью до машины).$0.9^{900}$$0.1^{900}$$10^{58}$

Причина, по которой предыдущие вероятности на самом деле не имеют большого значения, заключается в том, что у вас есть так много доказательств одной возможности (машина синего цвета) по сравнению с другой. Это может быть количественно определено отношением правдоподобия , которое мы можем рассчитать как:

$$\frac{p(\text{answers}|\text{car is blue})}{p(\text{answers}|\text{car isn't blue})}=\frac{0.9^{900}\times 0.1^{100}}{0.1^{900}\times 0.9^{100}}\approx 10^{763}$$

Таким образом, даже прежде, чем рассматривать предыдущие вероятности, фактические данные предполагают, что один вариант уже астрономически более вероятен, чем другой, и для предыдущего, чтобы иметь какое-либо значение, синие автомобили должны были бы быть необоснованно, тупо редкими (настолько редкими, что мы ожидаем, что найти 0 синих машин на земле).

Так что, если мы изменим, насколько люди точны в описании цвета автомобиля? Конечно, мы могли бы довести это до крайности и сказать, что они делают это правильно только в 50% случаев, что не лучше, чем подбрасывание монеты. В этом случае задняя вероятность того, что машина синего цвета, просто равна предыдущей вероятности, потому что ответы людей ничего не сказали нам. Но, конечно, люди делают это, по крайней мере, немного лучше, и даже если мы говорим, что люди точны только в 51% случаев, отношение правдоподобия все равно получается таким, что вероятность того, что машина будет синей, примерно в раз больше ,$10^{13}$

Это все результат довольно больших чисел, которые вы выбрали в своем примере. Если бы 9/10 человек сказали, что машина синего цвета, это была бы совсем другая история, даже если в одном лагере было одинаковое соотношение людей и других. Потому что статистические данные зависят не от этого соотношения, а от числовой разницы между противоборствующими группировками. Фактически, в соотношении правдоподобия (которое дает количественную оценку доказательств), 100 человек, которые говорят, что машина не синяя, в точности отменяют 100 из 900 человек, которые говорят, что она синяя, так что это так же, как если бы у вас было 800 человек, согласившихся это было голубое. И это, очевидно, довольно четкое доказательство.

(Редактировать: как указывал Silverfish , предположения, которые я здесь сделал, фактически подразумевали, что всякий раз, когда человек неправильно описывает не синий автомобиль, он по умолчанию говорит, что он синий. Конечно, это нереально, потому что он действительно может сказать любой цвет , и будет говорить «синий» только время от времени. Это не имеет никакого значения для выводов, поскольку, поскольку менее вероятно, что люди ошибочно примут не синий автомобиль за синий, тем сильнее будет доказательство того, что он синий, когда они говорят это. Так что, если что-нибудь, числа, приведенные выше, на самом деле являются только нижней границей на голубом свидетельстве.)

Правильный ответ зависит от информации, не указанной в задаче, вам придется сделать еще несколько предположений, чтобы получить единый окончательный ответ:

• Предварительная вероятность того, что машина синего цвета, т. Е. Ваша вера в то, что машина синего цвета, вы еще никого не спрашивали.
• Вероятность того, кто - то говорит вам , что автомобиль синего цвета , когда он на самом деле является синий, и вероятность того, что они говорят вам автомобиль синего цвета , когда он на самом деле не синий.
• Вероятность того, что автомобиль на самом деле синий, когда кто-то говорит, что он есть, и вероятность того, что автомобиль не синий, когда кто-то говорит, что это синий.

С помощью этих частей информации мы можем разбить все это с помощью формулы Байеса, чтобы получить последующую вероятность того, что автомобиль синего цвета. Я сконцентрируюсь на случае, когда мы спрашиваем только одного человека, но те же аргументы могут применяться к случаю, когда вы спрашиваете человек.$1000$

$$\begin{align*} P_{post} (\text{car is blue}) &= P(\text{car is blue} \mid \text{say is blue}) P(\text{say is blue}) \\ & \ \ \ \ + P(\text{car is blue} \mid \text{say is not blue}) P(\text{say is not blue}) \end{align*}$$

$P(\text{say is blue})$

$$\begin{align*} P(\text{say is blue}) = \ &P(\text{say is blue} \mid \text{car is blue}) P_{prior}(\text{car is blue}) \\ &+ P(\text{say is blue} \mid \text{car is not blue}) P_{prior}(\text{car is not blue}) \end{align*}$$

Итак, два применения правила Байеса помогут вам в этом. Вам нужно будет определить неопределенные параметры, основываясь либо на имеющейся у вас информации о конкретной ситуации, либо на основе некоторых разумных предположений.

Есть несколько других комбинаций предположений, которые вы можете сделать, основываясь на:

$$P(\text{say is blue} \mid \text{car is blue}) P(\text{car is blue}) = P(\text{car is blue} \mid \text{say is blue}) P(\text{say is blue})$$

С самого начала вы не знаете ничего из этого. Таким образом, вы должны сделать некоторые разумные предположения о трех из них, а затем определить четвертое оттуда.

Есть важное предположение, что ваши 1000 мнений не разделяют систематический уклон. Что является разумным предположением здесь, но может быть важным в других случаях.

Примеры могут быть:

• все они имеют одинаковую дальтонизм (например, генетика в популяции),
• они все видели машину ночью под оранжевым натриевым уличным освещением,
• все они разделяют общую культуру, в которой синий цвет является табу или магически связан (что указывает на то, описывают ли они какой-либо объект как синий или используют культурный эвфемизм или что-то еще),
• им всем сказали (или они разделяют общее убеждение), что если они ответят / не ответят определенным образом, с ними произойдет что-то хорошее / плохое .....

В этом случае это маловероятно, но в других случаях это подразумеваемое предположение. Это также не должно быть настолько экстремально - перенесите ваш вопрос в какую-то другую область, и это будет реальным фактором.

Примеры для каждого, где ваш ответ может зависеть от общего смещения:

• спросите, вмещает ли высокий тонкий стакан больше, чем фактически идентичный короткий толстый стакан, но ваши 1000 респондентов очень маленькие дети (общее неправильное восприятие).
• спросите 1000 человек, опасно ли ходить под лестницей (распространенное культурное убеждение)
• спросите 1000 состоящих в браке людей, любят ли они своего партнера / имели ли дело, в обстоятельствах, когда они полагают, что их партнер узнает об их ответе. Контекстом может быть телешоу или присутствие партнера по запросу и т. Д. (Общее мнение о последствиях)

Нетрудно представить некоторые структурно идентичные вопросы, где ответ 900: 100 был мерой убеждений и честности или чего-то еще, и не указывает на правильный ответ. В этом случае маловероятно, но в других случаях - да.

Одна из причин, по которой вы получаете разные ответы от разных людей, заключается в том, что вопрос можно интерпретировать по-разному, и неясно, что вы подразумеваете под «вероятностью» здесь. Один из способов разобраться в этом вопросе - назначить приоры и причину, используя правило Байеса, как в ответе Мэтью.

Прежде чем спрашивать о вероятностях, вы должны решить, что моделируется как случайное, а что нет. Общепризнанно, что неизвестным, но фиксированным количествам должны назначаться априорные значения. Вот эксперимент, аналогичный вашему, который подчеркивает проблему с вопросом:

$X_i$$i = 1, \dots, 1000$$p = 0.5$$X_i$$\sum_{i = 1}^{1000}X_i = 900$

$p$$p$

Простой практический ответ:

Вероятность может легко варьироваться от 0% до 100% в зависимости от ваших предположений

Хотя мне действительно нравятся существующие ответы, на практике все сводится к двум простым сценариям:

Сценарий 1: Предполагается, что люди очень хорошо распознают синий, когда он синий ... 0%

В этом случае так много людей заявляют, что машина не синего цвета, поэтому маловероятно, что машина на самом деле синего цвета. Следовательно, вероятность приближается к 0%.

Сценарий 2: Предполагается, что люди очень хорошо распознают не синий, когда он не синий ... 100%

В этом случае так много людей заявляют, что машина синего цвета, и очень вероятно, что она действительно синего цвета. Следовательно, вероятность приближается к 100%.

---

Конечно, подойдя к этому с математической точки зрения, вы начнете с чего-то общего, типа «давайте предположим, что соответствующие вероятности ...», что совершенно бессмысленно, поскольку такие вещи обычно не известны ни при каких случайных обстоятельствах. Поэтому я призываю смотреть на крайности, чтобы понять идею, что оба процента могут быть легко оправданы простыми и реалистичными предположениями, и что поэтому нет единого значимого ответа.

Вам необходимо разработать некоторые рамки оценки. Некоторые вопросы, которые вы можете задать:

1. Сколько здесь цветов? Мы говорим о двух цветах? Или все цвета радуги?

2. Насколько различны цвета? Мы говорим синий и оранжевый? Или синий, голубой и бирюзовый?

3. Что значит быть синим? Голубой и / или бирюзовый? Или просто синий?

4. Насколько хороши эти люди в оценке цвета? Все ли они графические дизайнеры? Или они дальтоники?

С чисто статистической точки зрения мы можем сделать некоторые предположения относительно последнего. Во-первых, мы знаем, что как минимум 10% людей выбирают неправильный ответ. Если есть только два цвета (из первого вопроса), то можно сказать, что есть

Probability says blue and is blue = 90% say is blue * 90% correct = 81%
Probability says blue and is not = 90% * 10% incorrect = 9%
Probability says not but is blue = 10% * 90% incorrect = 9%
Probability says not and is not = 10% * 10% = 1%

В качестве быстрой проверки, если мы сложим их вместе, мы получим 100%. Вы можете увидеть более математическую запись этого в ответе @MatthewDrury .

Как мы получаем 90% в третьем? Это то, как много людей сказали синий, но были неправы, если это не так. Поскольку есть только два цвета, они симметричны. Если бы было больше двух цветов, то вероятность того, что неправильный выбор будет синим, когда они сказали что-то еще, была бы ниже.

В любом случае, этот метод оценки дает нам 90% синего цвета. Это включает в себя 81% вероятность того, что люди скажут синий, когда это так, и 9% вероятность того, что люди скажут, что это не так, когда это так. Это, вероятно, самое близкое к тому, что мы можем прийти к ответу на первоначальный вопрос, и это требует от нас полагаться на данные, чтобы оценить две разные вещи. И предположить, что вероятность выбора синего цвета совпадает с вероятностью правильного выбора синего цвета.

Если есть более двух цветов, то логика немного изменится. Первые две строки остаются прежними, но мы теряем симметрию в последних двух строках. В этом случае нам нужно больше информации. Мы можем предположить, что вероятность правильного произнесения синего снова равна 81%, но мы понятия не имеем, какова вероятность того, что цвет синий, когда кто-то говорит, что это не так.

Мы могли бы также улучшить даже двухцветную оценку. Учитывая статистически значимое количество автомобилей каждого цвета, мы могли бы видеть статистически значимое количество людей и классифицировать их. Тогда мы могли бы посчитать, как часто люди правы, когда они делают выбор каждого цвета, и как часто они правы для каждого выбора цвета. Тогда мы могли бы более точно оценить фактический выбор людей.

Вы можете спросить, как 90% могут ошибаться. Подумайте, что произойдет, если есть три цвета: лазурный, синий и сапфировый. Кто-то может обоснованно считать, что все три из них голубые. Но мы хотим большего. Мы хотим точный оттенок. Но кто помнит названия других оттенков? Многие могут угадать синий, потому что это единственный подходящий оттенок, который они знают. И все же ошибаться, когда он окажется лазурным.

Точное, математическое, истина / ложь вероятность не может быть вычислена с помощью информации , которую вы предоставляете.

Однако в реальной жизни такая информация никогда не бывает достоверной. Поэтому, используя нашу интуицию (и куда бы ушли все мои деньги, если бы мы ставили), машина определенно синего цвета. (некоторые считают, что это больше не статистика, но хорошо, черно-белые взгляды на науку не очень помогают)

Аргументация проста. Предположим, машина не синяя. Тогда 90% людей (!) Были неправы. Они могут ошибаться только из-за списка проблем, в том числе:

• дальтоник
• патологическая ложь
• находясь под воздействием таких веществ, как алкоголь, ЖК-дисплей и т. д.
• не понимая вопроса
• другая форма психического расстройства
• сочетание вышеперечисленного

Поскольку вышеперечисленное явно не может повлиять на 90% средней случайной популяции (например, дальтонизм затрагивает около 8% мужчин и 0,6% женщин, то есть 43 человека из 1000), автомобиль обязательно должен быть синий. (То есть все мои деньги пошли бы в любом случае).

Я бы не стал есть фекалии, основываясь на том факте, что миллиард мух не может ошибаться. Могут быть десятки других причин, по которым 900 человек из 1000 могли быть обмануты, считая, что машина синего цвета. В конце концов, это основа магических трюков, заставляющих людей думать, что они удалены от реальности. Если 900 человек из 1000 увидят мага, наносящего удар его / ее помощнику, они быстро ответят, что ассистенту был нанесен удар, за то, как невероятное убийство произошло на сцене. Синий свет на отражающей автомобильной краске, кто-нибудь?

Опрашивающий слишком мало знает о том, как проводился опрос, чтобы точно ответить на вопрос. Насколько он обеспокоен, опрос может пострадать от нескольких проблем:

Люди, принимающие участие в опросе, могли быть предвзятыми:

1. Машина выглядела синей из-за оптического обмана .

2. По какой-то причине было трудно наблюдать за цветом машины, и людям по какой-то причине было показано много синих автомобилей до этой, заставляя большинство из них полагать, что эта машина, вероятно, тоже была синей.

3. Вы заплатили им, чтобы сказать, что машина синего цвета.

4. Вы заставили кого-то загипнотизировать их всех, поверив, что машина синего цвета.

5. Они заключили договор, чтобы лгать и саботировать опрос.

Возможно, были корреляции среди людей, принимающих участие в опросе, из-за того, как они были выбраны или потому, что они влияли друг на друга:

1. Вы случайно провели опрос на митинге для людей с такой же дальтонизмом.

2. Вы провели опрос в детских садах; девочки не интересовались машиной, и большинство мальчиков предпочитали синий цвет, заставляя их думать, что машина синяя.

3. Первый человек, которому показали автомобиль, был пьян и подумал, что он выглядел синим, крикнул «ЭТО СИНИЙ», заставляя всех думать, что машина синего цвета.

Таким образом, в то время как вероятность того, что машина синего цвета, если опрос был проведен полностью правильно, чрезвычайно высока (как объяснено в ответе Рубена ван Бергена), надежность опроса могла быть скомпрометирована, что делает вероятность того, что машина не синего цвета, не незначительный. Насколько велик вопросник, который оценивает этот шанс, в конечном счете, зависит от его оценок вероятности того, что обстоятельства опровергли опрос, и того, насколько вы хороши в проведении опросов (и насколько он озорной, по вашему мнению, вы).

Какое определение для "blue"?

Разные культуры и языки имеют разные понятия синего цвета. IIRC, некоторые культуры включают зеленый в свое понятие о синем!

Как и любое слово на естественном языке, вы можете только предполагать, что существует некоторое культурное соглашение о том, когда (а когда нет) называть вещи «голубыми».

В целом, цвет в языке удивительно субъективен (ссылка из комментариев ниже, спасибо @Count Ibilis)

Вероятность, в зависимости от более изощренных предварительных условий, может составлять несколько различных значений, но 99,995% - это то, что имеет для меня наибольшее значение.

Мы знаем, по определению, что машина синего цвета (это 100%), но не совсем точно указано, что это на самом деле означает (это может быть несколько философски). Я предполагаю, что что-то синее в смысле «действительно можно увидеть как синий».

Мы также знаем, что 90% испытуемых сообщили, что это синий цвет.

Мы не знаем, что спросили или как была проведена оценка, и в каких условиях освещения находился автомобиль. Когда кого-то попросили назвать цвет, некоторые субъекты могли бы, например, сказать «зеленовато-синий» из-за условий освещения, и эксперт мог не засчитали это как "синие". Те же люди могли бы ответить «да», если бы вопрос был «Это синий?». Я предполагаю, что вы не собирались злонамеренно обманывать своих подопытных.

Мы знаем, что частота тританопии составляет около 0,005%, что означает, что, если автомобиль действительно можно увидеть синим , то 99,995% испытуемых действительно видели синий цвет. Это, однако, означает, что 9,995% испытуемых не сообщили о синем, когда они ясно видели синий. Они лгали о том, что видели. Это также близко к тому, что говорит вам ваш жизненный опыт: люди не всегда честны (но, если нет мотива, они обычно так и есть).

Таким образом, не наблюдающий человек может с абсолютной уверенностью предположить, что машина синего цвета. Это было бы 100%

За исключением ... кроме случаев, когда сам человек, не наблюдающий, страдает от тританопии, и в этом случае она не увидит машину синего цвета, хотя все остальные (точнее, 90% из них) так и говорят. Здесь это снова становится философским: если все слышали, как упало дерево, а я нет, упало ли оно?

Я полагаю, что наиболее разумный, практический ответ будет таким: если не наблюдающий человек окажется трианопом (вероятность 0,005%), то проверка того, являются ли предсказанный цвет и реальный видимый цвет одинаковыми, приведет к ложному результату. Таким образом, вероятность составляет 99,995%, а не 100%.

Кроме того, в качестве бонуса, поскольку мы выяснили, что 9,995% испытуемых являются лжецами, и известно, что все критяне лжецы , мы можем заключить, что мы не на Крите!

У вас есть синяя машина (по некоторым объективным научным показателям - она ​​синяя).

...

"Какова вероятность того, что машина синего цвета?"

Это 100% синий.

Все, что они знают, это то, что 900 человек сказали, что это синий, а 100 - нет. Вы больше ничего не знаете об этих людях (1000).

Использование этих чисел (без какого-либо контекста) - полная чушь. Все сводится к личной интерпретации вопроса. Мы не должны идти по этому пути и использовать слова Витгенштейна: «Wovon man nicht sprechen kann, darüber muss man schweigen».

---

Представьте себе следующий вопрос для сравнения:

All they know is that 0 people said it was blue, and 0 did not. 
You know nothing more about these people (the 0).

Это в основном та же самая проблема (без информации), но гораздо более ясно, что то, что мы думаем о цвете автомобиля, в основном (если не полностью) косвенно.

---

В конечном итоге, когда мы получим несколько связанных вопросов, мы сможем начать угадывать ответы на такие неполные вопросы. То же самое относится и к алгоритму «око за око», который не работает ни в одном случае, но работает в долгосрочной перспективе . В том же смысле Витгенштейн вернулся из своей предыдущей работы с его основными исследованиями . Мы можем ответить на эти вопросы, но нам нужно больше информации / испытаний / вопросов. Это процесс.

Если мы предположим, что машина синего цвета, то 100 из 1000, говорящих, что это не синий цвет, подразумевают какое-то предельное смещение выборки. Возможно, вы выбирали только дальтоников. Если предположить, что машина не синего цвета, то смещение выборки еще хуже. Итак, все, что мы можем сделать вывод из приведенных данных, это то, что выборка очень предвзята, и, поскольку мы не знаем, как она была предвзятой, мы не можем ничего сделать о цвете автомобиля.

Там было несколько ответов. Я ни в коем случае не гуру математики, но вот мой.

Возможны только 4 варианта:

case 1) Persons says car is blue and is correct
case 2) Person says car is blue and is incorrect
case 3) Person says car is not blue and is correct
case 4) Person says car is not blue and is incorrect

Из вопроса вы знаете, что сумма случая 1 и случая 4 составляет 900 человек (90%), а сумма случая 2 и случая 3 составляет 100 человек (10%). Однако здесь есть одна загвоздка: то, что вы не знаете, это распределение в этих двух парах случаев. Возможно, сумма случаев 1 и 4 полностью состоит из случая 1 (что означает, что автомобиль синего цвета), или, возможно, вся сумма состоит из случая 4 (что означает, что автомобиль не синего цвета). То же самое касается суммы случая 2 + 3. Итак ... Вам нужно найти способ предсказать распределение в пределах сумм. Без других указаний в этом вопросе (нигде не сказано, что люди на 80% уверены, что знают свои цвета или что-то в этом роде), вы не сможете придумать определенный, определенный ответ.

Сказав это ... я подозреваю, что ожидаемый ответ что-то вроде:

P(Blue) = (case 1 + case 4) * 900 / 1000 = (1/4  + 1/4) * 900 / 1000 = 45 %
P(non-Blue) = (case 2 + case  3) * 100 / 1000 = (1/4 + 1/4) * 100 / 1000 = 5%

где оставшиеся 50% просто неизвестны, назовите это допустимой ошибкой.

$X,Y_1,Y_2,\ldots,Y_{1000} \in \{0,1\}$$1$$p(x)$$p_x$$Y_i|X=1$$p_1$$Y_i|X=0$$p_0$$\theta = (p_x,p_0,p_1)$

$p(\theta,x|y_{1:1000}) \propto p(\theta)p(x|\theta)\prod_{i=1}^{1000}p(y_i|x)$

$\{x_i\}$$\{y_i|x\}$

Человек, который не может видеть машину, не знает, что она синего цвета. Вероятность того, что машина синего цвета, равна 50/50 (синего цвета или нет). Опрос других людей может повлиять на мнение этого человека, но это не меняет вероятности того, что невидимая машина либо синего цвета, либо нет.

Все вышеприведенное математическое вычисление определяет вероятность того, что ваш набор образцов может определить, является ли он синим.