Дискретные функции: доверительный интервал покрытия?

Как рассчитать покрытие дискретного интервала?

Что я умею делать:

Если бы у меня была непрерывная модель, я мог бы определить 95% доверительный интервал для каждого из моих прогнозируемых значений, а затем посмотреть, как часто фактические значения были в пределах доверительного интервала. Я мог бы обнаружить, что только в 88% случаев мой 95% доверительный интервал покрывал фактические значения.

Что я не знаю как сделать:

Как мне сделать это для дискретной модели, такой как пуассон или гамма-пуассон? Что у меня есть для этой модели, так это одно наблюдение (из 100 000, которые я планирую генерировать :)

Наблюдение №: (произвольно)

Прогнозируемая стоимость: 1,5

Прогнозируемая вероятность 0: .223

Прогнозируемая вероятность 1: .335

Прогнозируемая вероятность 2: .251

Прогнозируемая вероятность 3: .126

Прогнозируемая вероятность 4: .048

Прогнозируемая вероятность 5: 0,014 [и 5 или больше 0,019]

...(так далее)

Прогнозируемая вероятность 100 (или некоторой нереалистичной цифры): .000

Фактическое значение (целое число, например «4»)

Обратите внимание, что, хотя я и дал значения Пуассона выше, в реальной модели прогнозируемое значение 1,5 может иметь разные прогнозируемые вероятности 0,1, ... 100 по наблюдениям.

Я смущен дискретностью ценностей. «5» явно выходит за интервал 95%, так как есть только 0,019 при 5 и выше, что меньше, чем 0,025. Но будет много 4-х - по отдельности они находятся внутри, но как мне более правильно оценить количество 4-х?

Почему меня это волнует?

Модели, на которые я смотрю, подвергались критике за точность на агрегированном уровне, но за плохие индивидуальные прогнозы. Я хочу увидеть, насколько хуже плохие индивидуальные прогнозы, чем изначально широкие доверительные интервалы, предсказанные моделью. Я ожидаю, что эмпирическое покрытие будет хуже (например, я могу обнаружить, что 88% значений лежат в пределах 95% доверительного интервала), но я надеюсь, что только немного хуже.

Доверительные интервалы Неймана не делают попыток обеспечить покрытие параметра в случае какого-либо конкретного интервала. Вместо этого они обеспечивают охват всех возможных значений параметров в долгосрочной перспективе. В некотором смысле они пытаются быть глобально точными за счет локальной точности.

Доверительные интервалы для биномиальных пропорций служат наглядной иллюстрацией этой проблемы. Неймановская оценка интервалов дает такие графики нерегулярного охвата, как для 95% интервалов Клоппера-Пирсона для n = 10 биномиальных испытаний:

Есть альтернативный способ сделать освещение, которое я лично считаю гораздо более интуитивно доступным и (таким образом) полезным. Покрытие интервалами может быть указано условно по наблюдаемому результату. Это покрытие будет местным. Вот график, показывающий локальное покрытие для трех различных методов вычисления доверительных интервалов для биномиальных пропорций: оценки Клоппера-Пирсона, Уилсона и условно точный метод, которые дают интервалы, идентичные байесовским интервалам с равномерным априором:

Обратите внимание, что 95% метод Клоппера-Пирсона дает более 98% локального охвата, но точные условные интервалы, ну, в общем, точны.

Один из способов понять разницу между глобальным и локальным интервалами состоит в том, чтобы считать глобальные инверсии тестов гипотезы Неймана-Пирсона, где результатом является решение, которое принимается на основе рассмотрения долгосрочных коэффициентов ошибок для текущего Эксперимент как член глобального набора всех экспериментов, которые могут быть проведены. Локальные интервалы больше похожи на инверсию тестов значимости по Фишеру, которые дают значение P, которое представляет собой свидетельство против нуля в этом конкретном эксперименте.

(Насколько я знаю, различие между глобальной и локальной статистикой было впервые проведено в неопубликованной магистерской диссертации Клэр Ф. Лесли (1998). Отсутствие доверия: исследование по подавлению некоторых контрпримеров в теории Неймана-Пирсона. статистический вывод с особым указанием на теорию доверительных интервалов. Этот тезис принадлежит библиотеке Байе в Мельбурнском университете.)