Выявление приоры ... с деньгами!

Предположим , у меня есть «экспертов», из которых я хотел бы, чтобы вызвать предварительное распределение по некоторой переменной . Я хотел бы мотивировать их реальными деньгами . Идея состоит в том, чтобы выявить априоры, наблюдать реализаций случайной величины , а затем разделить некоторый заранее определенный «кошелек» среди экспертов, основываясь на том, насколько хорошо их априоры соответствуют доказательствам. Каковы предлагаемые методы для этой последней части, сопоставление априоров и доказательств в векторе выплат? $k$ $X$ $n$ $X$

bayesian prior

— shabbychef
источник

Поскольку, вероятно, нет правильного ответа, мы могли бы хотеть CW этот. Я оставляю это на усмотрение модератора.

— Шаббычеф

На этот вопрос может быть единственно объективный и правильный ответ, поэтому я не решаюсь превратить его в CW.

— uuber

Это похоже на идею прогнозирования рынков . PredictionBook - достойное место для поиска.

— Ely

Ответы:

В духе моего комментария выше, я думаю, что правильная вещь для рассмотрения - это рынок прогнозирования . Вы должны продавать ценные бумаги, которые имеют фиксированную выплату за точность прогнозов. Вы можете использовать стандартные меры вероятностного расстояния, такие как упомянутые Дэниелом Джонсоном в своем ответе. Но дело в том, чтобы фиксировать выплаты в форме ценных бумаг и заранее устанавливать стандарты измерения (желательно просто использовать двоичные события, такие как произошло или не произошло). Таким образом, если кто-то готов заплатить X за ценную бумагу, которая платит 1 доллар, если событие, которое он покрывает, действительно происходит, вы знаете, что они присваивают вероятность X событию, которое покрывает ценная бумага. Рыночная ликвидность позаботится о том, как ценные бумаги распределяются между экспертами. $A$ $\$$

Я думаю, что это лучше, чем иметь фиксированный вектор выплат, который вы могли бы иметь для турнира по гольфу. Причина в том, что в турнире по гольфу важно только то, насколько хорошо вы справляетесь с соперниками, а не ваш общий счет. Если вы хотите стимулировать наиболее точные возможные предубеждения, вы не хотите, чтобы люди думали, что им нужно просто превзойти друг друга, чтобы получить приз ... вы хотите, чтобы они были готовы отыграть свои собственные деньги, чтобы получить выплаты, потому что тогда они сами должны верить в свою предварительную оценку, а не просто в то, что их предварительная оценка лучше, чем чужая.

— Ely
источник

Стоит также отметить, что последствия манипулирования рынком были экспериментально изучены на рынках прогнозирования (см. Здесь и здесь ), и, хотя предстоит еще проделать большую работу, оказывается, что участники могут легко компенсировать вредоносные манипуляторы. Эмпирические результаты показывают, что было бы чрезвычайно сложно «

— сыграть

Ключевое слово, которое нужно искать, это правила подсчета очков : это функции для оценки и вознаграждения вероятностных предсказаний, и по этой теме было проделано немало работы, начиная с 50-х годов. Главное, что вам нужно проверить, это то, что это правильно , то есть у эксперта, из которого вы извлекаете предыдущее, есть стимул быть честным.

Существует множество возможных правильных правил оценки: одним из самых простых является правило логарифмической оценки: вы вознаграждаете эксперта (линейной функцией) логарифмической вероятности, которую он назначил событию.

— Саймон Бирн
источник

Спасибо! Я склонялся к чему-то вроде этого. В частности, я хотел, чтобы агенту было сложно «обыграть» систему без какой-либо информации.

— Шаббычеф

Посмотрите комментарий, который я добавил к моему ответу выше ( ссылка ), потому что есть многообещающее исследование о том, насколько предсказательные рынки особенно устойчивы к манипуляторам и другим, пытающимся «разыграть» систему. Это действительно превосходит простые правила подсчета очков, которые предлагают выплаты только для получения большей точности, чем сверстники.

— 12

@EMS: Что делает рынки прогнозирования лучше? Весь смысл правила подсчета очков заключается в том, что оценка не зависит от конкурентов (хотя, по общему признанию, они не часто реализуются таким образом на практике: т.е. все деньги отдаются человеку с наивысшим результатом)

— Саймон Бирн

Если истинное распределение известно тому, кто платит деньги, естественной статистикой, на которую следует обратить внимание, будет относительная энтропия данного априорного и истинного распределения. Тогда выплата может быть просто монотонно убывающей функцией относительной энтропии.

$n$ $\text{score}(\text{prior } j) = \sum^n_{i=1}P_j(X = x_i)$

$X$ $n$

— Дэниел Джонсон
источник

Конечно, эксперты должны принять во внимание все эти вещи, прежде чем дать вам свой «предварительный».

— Ely

n

$n$

n

$n$

$

$\$$

Важно то, что по физическим величинам, таким как оценка расстояний или количества M & M в банке, люди являются объективными оценщиками: берите среднее из большого числа догадок, и обычно оно очень близко. Но по сравнению с нефизическими величинами, такими как цена на газ в следующем месяце, люди (даже эксперты) ужасны , даже в среднем. Литература по ошибочному планированию страшна, особенно примеры профессиональных городских планировщиков, которые неизменно плохо оценивают стоимость муниципальных проектов, как, например, то, как студенты-аспиранты плохо справляются с ошибкой сочетания.

— Ely

Главным из тех, что я знаю, было кое-что, что обсуждалось в старой книге Джеймса Гибсона «Экологический подход к визуальному восприятию». Он упомянул некоторые эксперименты, в которых люди оценивали расстояния на футбольном поле между двумя людьми, стоящими далеко, и другие подобные вещи. Я не могу вспомнить, где я услышал M & M, но я постараюсь найти некоторые источники об этом.

— Ely