Является ли вычисление «фактической вероятности покрытия» таким же, как вычисление «вероятного интервала»?

10

Я читал учебник по статистике начального уровня. В главе, посвященной оценке максимального правдоподобия доли успеха в данных с биномиальным распределением, он дал формулу для расчета доверительного интервала, а затем упомянул небрежно

Рассмотрим его фактическую вероятность покрытия, то есть вероятность того, что метод создает интервал, который фиксирует истинное значение параметра. Это может быть немного меньше, чем номинальное значение.

И далее предлагается создать альтернативный «доверительный интервал», который предположительно содержит фактическую вероятность покрытия.

Я впервые столкнулся с идеей номинальной и фактической вероятности покрытия. Пробираясь сквозь старые вопросы здесь, я думаю, что у меня есть понимание: есть два разных понятия, которые мы называем вероятностью, во-первых, насколько вероятно, что еще не произошедшее событие даст определенный результат, и второе насколько вероятно, что предположение агента-наблюдателя о результате уже произошедшего события верно. Также казалось, что доверительные интервалы измеряют только первый тип вероятности, а то, что называется «достоверные интервалы», измеряет второй тип вероятности. Я кратко предположил, что доверительные интервалы - это те, которые рассчитывают «номинальную вероятность покрытия», а вероятные интервалы - это те, которые охватывают «фактическую вероятность покрытия».

Но, возможно, я неправильно истолковал книгу (не совсем понятно, предназначены ли различные методы расчета для доверительного интервала и вероятного интервала или для двух различных типов доверительных интервалов) или для других источников, к которым я приходил мое текущее понимание. Особенно комментарий, который я получил по другому вопросу,

Доверительные интервалы для частых, достоверные для байесовских

заставил меня усомниться в моих выводах, так как книга не описывала байесовский метод в этой главе.

Поэтому, пожалуйста, уточните, правильно ли мое понимание или я допустил логическую ошибку в пути.

confidence-interval terminology coverage-probability

— rumtscho
источник

Номинальная вероятность покрытия - это «целевая» вероятность покрытия: та, которую мы пытаемся достичь, когда выводим метод, обеспечивающий доверительный интервал. Фактическое покрытие - это «истинное» покрытие. Некоторые люди говорят, что доверительный интервал является точным, когда фактический охват равен номинальному охвату. Скотчи и Unwisdom отметили, что доверительный интервал никогда не бывает точным для дискретных данных. Другой пример - когда мы используем асимптотический доверительный интервал: он точен только тогда, когда . Я полностью понимаю вашу идею, потому что «фактическое» также является синонимом «настоящего».

n \to \infty

$n \to \infty$

— Стефан Лоран

5

Как правило, фактическая вероятность покрытия никогда не будет равна номинальной вероятности, когда вы работаете с дискретным распределением.

Доверительный интервал определяется как функция данных. Если вы работаете с биномиальным распределением, существует только конечное число возможных результатов ( точнее ), поэтому существует только конечное число возможных доверительных интервалов. Поскольку параметр является непрерывным, довольно легко увидеть, что вероятность покрытия (которая является функцией от ) не может быть лучше, чем приблизительно 95% (или что-то еще). $n+1$ $p$ $p$

Обычно верно, что методы, основанные на CLT, будут иметь вероятности покрытия ниже номинального значения, но другие методы могут на самом деле быть более консервативными.

— неблагоразумие
источник

1

Вот полезное формальное утверждение определения: Учитывая выборочное пространство и неизвестный параметр , процедура доверия состоит из пары функций такой, чтоЛевая часть этого выражения - это (обратите внимание, что это зависит от θ), а RHS - это номинальный уровень достоверности . Если инфимум (более ) LHS равен RHS, то процедура является точной .

⟨ Ω, F, P ⟩

$\langle\Omega,\mathcal{F},P\rangle$

θ

$\theta$

1 - α

$1-\alpha$

L \leq U : Ω \to R

$L\leq U:\Omega\to\mathbb{R}$

P [{ω \in Ω | [L (ω), U (ω)] ∋ θ}] \approx 1 - α .

$P\big[\left\{\omega\in\Omega\vert [L(\omega),U(\omega)]\ni\theta\right\}\big]\approx 1-\alpha.$

coverage probability

$\textit{coverage probability}$

Ω

$\Omega$

— Мудрость

8

Это не имеет ничего общего с байесовскими достоверными интервалами против частых доверительных интервалов. 95% (скажем) доверительный интервал определяется как обеспечивающий охват не менее 95% независимо от истинного значения параметра . Таким образом, когда номинальное покрытие составляет 95%, фактическое покрытие может составлять 97% при , 96,5% при , но при отсутствии значения оно составляет менее 95%. Проблема (то есть несоответствие между номинальным и фактическим покрытием) возникает с дискретными распределениями, такими как биномиальное. $\pi$ $\pi=\pi_1$ $\pi=\pi_2$ $\pi$

В качестве иллюстрации рассмотрим наблюдение за успехами из биномиальных испытаний с неизвестной вероятностью успеха : В первом столбце показаны возможные наблюдаемые значения . Вторая показывает точное ^† верхнее ^‡ доверительное ограничение $x$ $n$ $\pi$

\begin{array}{ccc} x & π_{U} & Pr (X = x | π = 0.7) & I (π_{U} \leq 0.7) \\ 0 & 0.3930378 & 0.000729 & 0 \\ 1 & 0.5818034 & 0.010206 & 0 \\ 2 & 0.7286616 & 0.059535 & 1 \\ 3 & 0.8468389 & 0.185220 & 1 \\ 4 & 0.9371501 & 0.324135 & 1 \\ 5 & 0.9914876 & 0.302526 & 1 \\ 6 & 1.0000000 & 0.117649 & 1 \end{array}

$\begin{array}{c,c,c} x & \pi_\mathrm{U} & \Pr(X= x | \pi=0.7) & I(\pi_\mathrm{U}\leq 0.7)\\ 0 & 0.3930378 & 0.000729 & 0\\ 1 & 0.5818034 & 0.010206 & 0\\ 2 & 0.7286616 & 0.059535 & 1\\ 3 & 0.8468389 & 0.185220 & 1\\ 4 & 0.9371501 & 0.324135 & 1\\ 5 & 0.9914876 & 0.302526 & 1\\ 6 & 1.0000000 & 0.117649 & 1\\ \end{array}$

x

$x$

95 %

$95\%$

π_{U} = π : [Pr (X > x | π) = 0.95]

$\pi_\mathrm{U} =\pi: [\Pr(X>x | \pi)=0.95]$ что вы будете рассчитывать в каждом конкретном случае. Теперь предположим, что : в третьем столбце показана вероятность каждого наблюдаемого значения при этом предположении; четвертый показывает, для каких случаев вычисленный доверительный интервал покрывает истинное значение параметра, помечая их как . Если вы сложите вероятности для случаев, когда доверительный интервал действительно покрывает истинное значение, вы получите фактическое покрытие . Для разных истинных значений фактическое покрытие будет другим:

π = 0.7

$\pi=0.7$

x

$x$

1

$1$

0.989065

$0.989065$

π

$\pi$

охваты

Номинальное покрытие достигается только тогда, когда истинные значения параметров совпадают с достижимыми верхними границами.

[Я просто перечитал ваш вопрос и заметил, что автор говорит, что фактическая вероятность может быть меньше, чем номинальная вероятность покрытия. Поэтому я считаю, что они говорят о приблизительном методе расчета доверительного интервала, хотя то, что я сказал выше, все еще продолжается. На графике можно предложить сообщить о среднем уровне достоверности около но - усредняя значения неизвестного параметра?] $98\%$

† Точно в том смысле, что фактическое покрытие никогда не меньше номинального покрытия для любого значения , и равно ему для некоторых значений - @ Unwisdom's sense, а не @ Stephane's. $\pi$ $\pi$

‡ Интервалы с верхними и нижними границами, конечно, чаще используются; но немного сложнее объяснить, и есть только один точный интервал для рассмотрения только с верхней границей. (См. Blaker (2000), «Кривые достоверности и улучшенные точные доверительные интервалы для дискретных распределений», Канадский журнал статистики , 28 , 4 и ссылки.)

— Scortchi - Восстановить Монику
источник

Спасибо, что ответили. Теперь, когда я знаю, какова реальная вероятность покрытия, у вас есть предположение, почему пользователя в этом вопросе отправили на вопросы, которые объясняют разницу между вероятными и доверительными интервалами? Именно здесь у меня возникла мысль, что фактическое / номинальное покрытие проблемы. двойственность связана. stats.stackexchange.com/questions/63922/…

— rumtscho

Возможно, потому что ОП дает только ссылку на то, где он видел термины «номинальный» и «фактический» (вместо того, чтобы резюмировать или цитировать его в вопросе, как вы это делали), а затем посвящает остальную часть своего вопроса своей неверной интерпретации их использовать в этом контексте.

— Scortchi - Восстановить Монику

2

Я думаю, что разница на самом деле заключается в использовании приближений, сделанных при расчете доверительных интервалов. Например, если мы используем довольно стандартный CI

estimate \pm 1.96 \times estimated standard error

$\text{estimate}\pm 1.96 \times \text {estimated standard error}$

Мы можем назвать это «доверительным интервалом 95%». Однако, как правило, здесь делается несколько приближений. Если мы не сделаем аппроксимации, то мы можем рассчитать фактическое покрытие. Типичная ситуация при оценке стандартной ошибки. Тогда интервалы слишком узки, чтобы получить истинное значение с вероятностью 95%. Они могут получить только истинное значение, скажем, с вероятностью 85%. Вероятность «фактического покрытия» может быть рассчитана с использованием имитационного моделирования Монте-Карло (например, сгенерировать выборочных наборов данных, используя выбранное истинное значение, затем рассчитать 95% -й доверительный интервал для каждого и найти, что действительно содержит истинное значение). $1000$ $850$

— probabilityislogic
источник