Объединение вероятностей / информации из разных источников

Допустим, у меня есть три независимых источника, и каждый из них делает прогнозы погоды на завтра. Первый говорит, что вероятность дождя завтра равна 0, затем второй говорит, что вероятность равна 1, и, наконец, последний говорит, что вероятность составляет 50%. Я хотел бы знать общую вероятность, учитывая эту информацию.

Если применить теорему умножения для независимых событий, я получаю 0, что кажется неправильным. Почему невозможно умножить все три, если все источники независимы? Есть ли какой-нибудь байесовский способ обновить предыдущее, когда я получу новую информацию?

Примечание: это не домашняя работа, это то, о чем я думал.

Вы спрашиваете о трех вещах: (а) как объединить несколько прогнозов для получения единого прогноза, (б) можно ли использовать здесь байесовский подход, и (в) как иметь дело с нулевыми вероятностями.

Объединение прогнозов, это обычная практика . Если у вас есть несколько прогнозов, чем если вы берете среднее из этих прогнозов, итоговый комбинированный прогноз должен быть лучше с точки зрения точности, чем любой из отдельных прогнозов. Для их усреднения вы можете использовать средневзвешенное значение, где веса основаны на обратных ошибках (т. Е. Точности) или содержании информации . Если у вас есть знания о надежности каждого источника, вы можете назначить веса, которые пропорциональны надежности каждого источника, поэтому более надежные источники оказывают большее влияние на окончательный комбинированный прогноз. В вашем случае у вас нет никаких знаний об их надежности, поэтому каждый из прогнозов имеет одинаковый вес, и поэтому вы можете использовать простое среднее арифметическое из трех прогнозов.

$$0\%\times.33+50\%\times.33+100\%\times.33 = (0\%+50\%+100\%)/3=50\%$$

Как было предложено в комментариях @AndyW и @ArthurB. Существуют и другие методы, кроме простого взвешенного среднего. В литературе описано много таких методов усреднения экспертных прогнозов, с которыми я раньше не был знаком, так что, ребята, спасибо. При усреднении прогнозов экспертов иногда мы хотим исправить тот факт, что эксперты имеют тенденцию к регрессии к среднему значению (Baron et al, 2013) или сделать свои прогнозы более экстремальными (Ariely et al, 2000; Erev et al, 1994). Для этого можно использовать преобразования отдельных прогнозов , например, функцию логита$p_i$

$$\mathrm{logit}(p_i) = \log\left( \frac{p_i}{1-p_i} \right) \tag{1}$$

коэффициенты к ю мощность$a$

$$g(p_i) = \left( \frac{p_i}{1-p_i} \right)^a \tag{2}$$

где , или более общее преобразование формы$0 < a < 1$

$$t(p_i) = \frac{p_i^a}{p_i^a + (1-p_i)^a} \tag{3}$$

где, если преобразование не применяется, если отдельные прогнозы делаются более экстремальными, если прогнозы делаются менее экстремальными, что показано на рисунке ниже (см. Karmarkar, 1978; Baron et al, 2013 ).a > 1 0 < a < $a=1$$a>1$$0 < a<1$

После такого преобразования прогнозы усредняются (с использованием среднего арифметического, среднего, взвешенного среднего или другого метода). Если использовались уравнения (1) или (2), результаты необходимо преобразовать обратно, используя обратный логит для (1) и обратные шансы для (2). В качестве альтернативы можно использовать среднее геометрическое значение (см. Genest and Zidek, 1986; ср. Dietrich and List, 2014)

$$\hat p = \frac{ \prod_{i=1}^N p_i^{w_i} }{ \prod_{i=1}^N p_i^{w_i} + \prod_{i=1}^N (1 - p_i)^{w_i} } \tag{4}$$

или подход, предложенный Satopää et al (2014)

$$\hat p = \frac{ \left[ \prod_{i=1}^N \left(\frac{p_i}{1-p_i} \right)^{w_i} \right]^a }{ 1 + \left[ \prod_{i=1}^N \left(\frac{p_i}{1-p_i} \right)^{w_i} \right]^a } \tag{5}$$

где - веса. В большинстве случаев используются равные веса , если не существует априорной информации, которая предполагает другой выбор. Такие методы используются при усреднении экспертных прогнозов, чтобы исправить недоверие или недоверие. В других случаях вам следует подумать, оправдано ли преобразование прогнозов в более или менее экстремальное, поскольку это может привести к тому, что итоговая совокупная оценка выйдет за границы, отмеченные самым низким и самым большим индивидуальным прогнозом.w i = 1 /$w_i$$w_i = 1/N$

Если у вас есть априорные знания о вероятности дождя, вы можете применить теорему Байеса для обновления прогнозов с учетом априорной вероятности дождя аналогично тому, как описано здесь . Существует также простой подход, который можно применить, то есть вычислить средневзвешенное значение ваших прогнозов (как описано выше), где предыдущая вероятность обрабатывается как дополнительная точка данных с некоторым заранее заданным весом как в этом примере IMDB ( см. также источник или здесь и здесь для обсуждения; см. Genest and Schervish, 1985), т.е. π w $p_i$$\pi$$w_{\pi}$

$$\hat p = \frac{ \left(\sum_{i=1}^N p_i w_i \right) + \pi w_{\pi} }{ \left(\sum_{i=1}^N w_i \right) + w_{\pi} } \tag{6}$$

Из вашего вопроса, однако, не следует, что у вас есть какие- то априорные знания о вашей проблеме, поэтому вы, вероятно, будете использовать единый априорный уровень, т. Е. Предполагаете, что априорная вероятность дождя составляет и это не сильно изменится в случае примера, который вы предоставили. ,$50\%$

Для работы с нулями существует несколько возможных подходов. Во-первых, вы должны заметить, что вероятность дождя не является действительно надежной величиной, поскольку в нем говорится, что невозможно, чтобы шел дождь. Подобные проблемы часто возникают при обработке естественного языка, когда в ваших данных вы не наблюдаете некоторые значения, которые возможно могут возникнуть (например, вы подсчитываете частоту букв, а в ваших данных некоторые необычные буквы вообще не встречаются). В этом случае классическая оценка вероятности, т.е.$0\%$

$$p_i = \frac{n_i}{\sum_i n_i}$$

где - число вхождений го значения (из категорий), дает если . Это называется проблемой с нулевой частотой . Для таких значений вы знаете, что их вероятность отлична от нуля (они существуют!), Поэтому эта оценка, очевидно, неверна. Существует также практическая проблема: умножение и деление на нули приводит к нулям или неопределенным результатам, поэтому с нулями проблематично иметь дело. i d p i = 0 n i = $n_i$$i$$d$$p_i = 0$$n_i = 0$

Простое и обычно применяемое исправление состоит в том, чтобы добавить некоторую константу к вашим подсчетам, чтобы$\beta$

$$p_i = \frac{n_i + \beta}{(\sum_i n_i) + d\beta}$$

Общий выбор для равен , т.е. применяется единообразный априор, основанный на правиле наследования Лапласа , для оценки Кричевского-Трофимова или для оценки Шурмана-Грассбергера (1996). Тем не менее, обратите внимание, что то, что вы делаете здесь, это то, что вы применяете (ранее) информацию в вашей модели, поэтому она приобретает субъективный, байесовский характер. Используя этот подход, вы должны помнить о сделанных вами предположениях и принимать их во внимание. Тот факт, что у нас есть сильные априорные знания о том, что в наших данных не должно быть нулевых вероятностей, прямо оправдывает здесь байесовский подход. В вашем случае у вас нет частот, но вероятностей, поэтому вы бы добавили некоторые$\beta$$1$$1/2$$1/d$очень маленькое значение, чтобы исправить на нули. Однако обратите внимание, что в некоторых случаях этот подход может иметь плохие последствия (например, при работе с журналами ), поэтому его следует использовать с осторожностью.

---

Шурманн Т. и П. Грассбергер. (1996). Оценка энтропии последовательностей символов. Хаос, 6, 41-427.

Ariely, D., Tung Au, W., Bender, RH, Budescu, DV, Dietz, CB, Gu, H., Wallsten, TS and Zauberman, G. (2000). Эффект усреднения субъективных оценок вероятностей между судьями и внутри них. Журнал экспериментальной психологии: Прикладная, 6 (2), 130.

Барон Дж., Меллерс Б.А., Тетлок П.Е., Стоун Э. и Унгар Л.Х. (2014). Две причины, чтобы сделать прогнозы агрегированной вероятности более экстремальными. Анализ решений, 11 (2), 133-145.

Эрев И., Уоллстен Т.С. и Будеску Д.В. (1994). Одновременное чрезмерное и недостаточное доверие: роль ошибки в процессах суждения. Психологический обзор, 101 (3), 519.

Кармаркар, США (1978). Субъективно взвешенная полезность: описательное расширение ожидаемой полезной модели. Организационное поведение и человеческая деятельность, 21 (1), 61-72.

Turner, BM, Steyvers, M., Merkle, EC, Budescu, DV, и Wallsten, TS (2014). Агрегирование прогнозов с помощью перекалибровки. Машинное обучение, 95 (3), 261-289.

Genest, C. и Zidek, JV (1986). Объединение вероятностных распределений: критика и аннотированная библиография. Статистическая наука, 1 , 114–135.

Сатопяя В.А., Барон Дж., Фостер Д.П., Меллерс Б.А., Тетлок П.Е. и Унгар Л.Х. (2014). Объединение нескольких вероятностных прогнозов с использованием простой модели логита. Международный журнал прогнозирования, 30 (2), 344-356.

Genest, C. и Schervish, MJ (1985). Моделирование экспертных оценок для байесовского обновления. Летопись статистики , 1198-1212.

Дитрих Ф. и Лист С. (2014). Вероятностное объединение мнений. (Неопубликованные)

Есть два способа думать о проблеме. Можно сказать, что источники наблюдают зашумленную версию скрытой переменной «будет дождь / не будет дождя».

$Beta(a+b,a)$$Beta(a,a+b)$

$a$$x$$y$$z$

$$p = \frac{1}{1+\left(\frac{1}{x}-1\right)^b\left(\frac{1}{y}-1\right)^b\left(\frac{1}{z}-1\right)^b}$$

$b$$b>1$$b<1$$b = 1$

$$\frac{p}{1-p} = \frac{x}{1-x} \frac{y}{1-y} \frac{z}{1-z}$$

$1$$0$

Эта модель работает лучше, если вы думаете о трех человек, говорящих вам, шел ли дождь вчера или нет. На практике мы знаем, что в погоде существует неустранимый случайный компонент, и поэтому было бы лучше предположить, что природа сначала выбирает вероятность дождя, которая шумно наблюдается источниками, а затем подбрасывает смещенную монету, чтобы решить, или нет идет дождь.

В этом случае комбинированная оценка выглядела бы намного больше как среднее между различными оценками.

В рамках модели переносимой веры (TBM) можно комбинировать разные прогнозы, используя, например, «правило конъюнктивного сочетания». Чтобы применить это правило, вам необходимо преобразовать вероятности предсказаний в базовые убеждения. Это может быть достигнуто с помощью так называемого принципа наименьшей приверженности. В R:

library(ibelief)
#probabilities
p1 <- c(0.99, 0.01) # bad results for 0 and 1
p2 <- c(0.01, 0.99)
p3 <- c(0.5, 0.5)

# basic belief assignment, 
# each row represents a subset of (rain, not rain)
# each column represents one prediction
Mat <- LCPrincple(rbind(p1,p2,p3))

# combine beliefs
m <- DST(Mat, 1)

# resulting probability distribution (pignistic probability)
mtobetp(m)
# returns 0.5 and 0.5

Для второго примера трех независимых прогнозов 0,75 этот подход возвращает более высокое значение:

p4 <- c(0.75, 0.25)
Mat <- LCPrincple(rbind(p4,p4,p4))
m <- DST(Mat, 1)
mtobetp(m)
#returns 0.9375 0.0625

Это не очень далеко от байесовского подхода, показанного в ответе Артура Б.

$$w_1 = {{\sigma_2^2 \sigma_3^2} \over {\sigma_1^2 \sigma_2^2 + \sigma_1^2 \sigma_3^2 + \sigma_2^2 \sigma_3^2}},\ w_2 = {{\sigma_1^2 \sigma_3^2} \over {\sigma_1^2 \sigma_2^2 + \sigma_1^2 \sigma_3^2 + \sigma_2^2 \sigma_3^2}},\ w_3 ={{\sigma_1^2 \sigma_2^2} \over {\sigma_1^2 \sigma_2^2 + \sigma_1^2 \sigma_3^2 + \sigma_2^2 \sigma_3^2}}.$$

$\frac{1}{3}$

$\sigma_i$$\sigma_1^2 : \sigma_2^2 : \sigma_3^2 = 1:2:4,$

$$f = { {{8} \over {14}}*(0) + {{4} \over {14}}*(1) + {{2} \over {14}}*(0.5) } = 0.3571$$

Их числа для вероятности дождя - только половина истории, поскольку мы должны были бы умерить их предсказания с вероятностью, что они точны, делая предположения.

Поскольку что-то вроде дождя является взаимоисключающим (в этой настройке это либо дождь, либо нет), все они не могут быть одновременно правильными с вероятностью 75%, как предложил Карстен (я думаю, трудно сказать с путаницей, которую я слышу о том, что это означает найти «комбинированную вероятность»).

Принимая во внимание их индивидуальные способности предсказывать погоду, мы могли бы нанести удар (а-ля Томас Байес, как в общем слепом снимке в темноте) при том, что вероятность дождя будет завтра.

Станция 1 верна в своих прогнозах 60% времени, вторые 30% времени, а последняя станция - 10% времени.

E [дождь] = Px X + Py Y + Pz * Z - форма, которую мы смотрим здесь:

(.6) (0) + (. 3) (1) + (. 1) (. 5) = E [дождь] = 35% вероятности дождя с точными прогнозами.

На этот вопрос дано много сложных ответов, но как насчет взвешенного среднего значения обратной дисперсии: https://en.wikipedia.org/wiki/Inverse-variance_weighting

Вместо n повторных измерений одним прибором, если экспериментатор производит n одинаковых количеств с n разных приборов с различным качеством измерений ...

Каждая случайная величина взвешивается обратно пропорционально ее дисперсии.

Средневзвешенное значение обратной дисперсии кажется очень простым для вычисления, и в качестве бонуса имеет наименьшую дисперсию среди всех взвешенных средних.

Для сочетания надежности моя формула перехода - r1xr2xr3 ÷ (r1xr2xr3 + (1-r1) x (1-r2) x (1-r3). Так что для 3 источников надежности 75% все говорят одно и то же, я бы .75 ^ 3 ÷ (.75 ​​^ 3 + .25 ^ 3) => 96% достоверность комбинированного ответа