Оценка вероятности успеха с учетом контрольной группы


11

Предположим, у вас следующая ситуация:

Со временем вы наблюдали 1000 игроков в боулинг, каждый из которых сыграл относительно небольшое количество игр (скажем, от 1 до 20). Вы отметили процент забастовок для каждого из этих игроков по количеству игр, в которые играл каждый из них.

Заходит новый игрок в боулинг, играет в 10 игр и получает 3 удара.

Распределение по количеству ударов для любого игрока считается биномиальным.

Я хочу оценить «истинную» вероятность успеха для этого игрока.

Пожалуйста, обратите внимание на следующее:

  1. Это не реальная ситуация или школьная проблема, просто проблема самопознания.
  2. Я студент с немного большим статистическим образованием, чем курс Stats 101. Я немного знаю о выводах, таких как оценка максимального правдоподобия ... Так что не стесняйтесь рассказывать мне области в статистике, о которых я должен прочитать.
  3. Моей проблеме может не хватать информации, или, если, скажем, было бы полезно, чтобы распределение вероятности успеха было приблизительно нормальным, скажите мне об этом.

большое спасибо


Как вы думаете, какова связь между вероятностью этого игрока и вероятностью для каждого из остальных 1000 игроков? Другими словами, зачем нам вообще учитывать другие 1000 при оценке вероятности этого игрока?
rolando2

1
Я предполагаю, что истинный процент удара игрока по сути является реализацией того же распределения процентов удара, что и 1000 других игроков. Другими словами, в этом новом игроке нет ничего особенного, он просто еще один случайный игрок. Надеюсь, это имеет смысл.
Уват

Ответы:


10

Это отличный пример, иллюстрирующий разницу между частыми и байесовскими подходами к выводу.

Мой первый, упрощенный ответ на частые вопросы: если вы уже предположили, что распределение ударов является биномиальным, вам не нужно ничего знать о других 1000 игроках (кроме, возможно, вы могли бы использовать их для проверки вашего биномиального предположения).

Когда у вас есть четкое предположение, ваша оценка очень проста: 3/10. Дисперсия этой оценки обычно равна p (1-p) / n = 0,021.

По сути, 1000 других игроков не имеют значения, если вы не думаете, что в распределении забастовок есть что-то интересное и не биномиальное (например, люди становятся лучше, когда играют в больше игр).

Более обдуманный байесовский взгляд на это: в качестве альтернативы, если вы заинтересованы в применении предыдущих знаний, полученных от других игроков, и считаете, что новый игрок - это, в основном, новая выборка из той же группы, вам следует подумать об этом на байесовском термины .

Оцените предварительное распределение игроков. Для этого вам нужно взглянуть на свои 1000 точек данных - 1000 игроков, которые уже наблюдались, для каждого из которых у вас есть оценка их вероятности удара. Каждая из этих 1000 точек может принимать только одно из 21 значения (от нуля до двадцати ударов из двадцати), и вы увидите распределение по всему полю. Если вы преобразуете эти оценки в пропорции (то есть между нулем и единицей), это распределение, вероятно, может быть достаточно хорошо аппроксимировано распределением вероятностей случайной величины с распределением бета, Бета-распределение полностью характеризуется только двумя параметрами - скажем, a и b - но поскольку эти параметры на самом деле не связаны с тем распределением, о котором вы нас спрашивали (собственная вероятность удара игрока), а с распределением более высокого уровня, которое мы называть их гиперпараметрами. Вы можете составить оценки этих гиперпараметров на основе 1000 точек данных одним из нескольких способов, которые на самом деле не имеют отношения к основному вопросу вашего вопроса.

Прежде чем вы вообще получите какую-либо информацию о своем игроке, вам лучше всего будет рассчитывать его / ее долю в забастовке (назовем это p), как раз наиболее вероятное значение p из того распределения Беты, которое мы только что установили.

Однако у нас есть данные о нашем собственном игроке, а не только о населении в целом! В Бога, которому мы верим, все остальные должны принести данные (я приписал бы эту цитату, если бы мог вспомнить, где я ее нашел, извините) Каждый раз, когда мы наблюдаем, как наш игрок играет в игру и получает удар или нет, у нас появляется новая информация для уточнения нашей оценки его пропорции.

Одна из замечательных особенностей бета-распределения как распределения вероятностей для пропорции заключается в том, что когда мы собираем новую информацию из данных и создаем новую улучшенную оценку пропорции, теория вероятности может показать, что новая улучшенная оценка также является бета-оценкой. Дистрибуция - просто более концентрированная версия. Это связано с тем, что бета-распределение - это то, что раньше называлось сопряженным при попытке сделать оценку биномиальной модели.

То есть, если мы наблюдаем z из n успешных событий (игры с ударами в этом случае); и предыдущее распространение было бета (а, б); апостериорное распределение (является оценкой распределения вероятности p с учетом как исходных 1000 точек данных, так и новых наблюдений за десятью играми) - это бета (a + z, b + nz) или (в нашем случае) бета (a + 3, Ь + 7). Как видите, чем больше данных вы получите, тем менее важны a и b. Математика этого достаточно проста и во многих текстах, но не так интересна (для меня, во всяком случае).

Если у вас есть R, вы можете увидеть пример, запустив приведенный ниже код (а если у вас нет R, вы должны его получить - это бесплатно и здорово помочь в решении этой проблемы). Это предполагает, что предварительное распределение игроков можно смоделировать с помощью бета-версии (2,5) - это было сделано мной. В действительности, есть способы, которыми вы можете оценить цифры для a и b лучше, чем просто составить 2 и 5, потому что я думаю, что кривая выглядит хорошо.

Как вы увидите, запустив этот стилизованный пример, точечная оценка вероятности забастовки игрока с учетом предварительного распределения бета (2,5) составляет 0,29, а не 0,30. Кроме того, мы можем создать доверительный интервал, который, откровенно говоря, более интуитивен и легче объяснить, чем доверительный интервал (см. Много вопросов и обсуждений в Интернете о разнице между ними, в том числе о CrossValidated).

plot(0:100/100,dbeta(0:100/100,2,5), type="l", ylim=c(0,4), bty="l")
lines(0:100/100,dbeta(0:100/100,2+3,5+7), type="l", lty=2)
legend(0.6,3.5,c("Posterior distribution", "Prior distribution"), 
    lty=2:1, bty="n")
qbeta(c(0.025, 0.975), 2, 5) # credibility interval prior to any new data
qbeta(c(0.025, 0.975), 2+3, 5+7) # credibility interval posterior to data
qbeta(0.5, 2+3, 5+7) # point estimate of p, posterior to data

Тогда понаблюдайте за своим новым игроком; и рассчитать новое апостериорное распределение для нового игрока. Фактически это говорит: «Учитывая то, что мы только что наблюдали, где, по нашему мнению, при распределении игроков этот человек, скорее всего, будет?»


2
Я не думаю, что это правильно. Предположим, что подавляющее большинство (99%) людей из 1000 человек имеют процент забастовок от 5% до 15%, а горстка имеет процент забастовок выше 25%. Тогда я бы сказал, что более вероятно, что у нового игрока, которого мы наблюдали, процент реальных ударов ниже 30%, а просто «повезло».
Уват

хорошо, хороший момент - я добавил правку, чтобы учесть эту ситуацию. В основном у вас есть хорошее изложение проблемы байесовского вывода.
Питер Эллис

@ Питер - все красиво спорили.
rolando2

Спасибо за Ваш ответ. Тем не менее, я не совсем понял, что вы имели в виду: «вам нужно фактическое распределение уровней забастовок людей, которое, вероятно, будет какой-то бета». Не могли бы вы уточнить немного? Спасибо
Уват

Спасибо, действительно хороший вопрос, я очень расширил свой ответ в ответ.
Питер Эллис
Используя наш сайт, вы подтверждаете, что прочитали и поняли нашу Политику в отношении файлов cookie и Политику конфиденциальности.
Licensed under cc by-sa 3.0 with attribution required.