Доверительный интервал вокруг биномиальной оценки 0 или 1

Как лучше всего рассчитать доверительный интервал биномиального эксперимента, если ваша оценка такова, что (или аналогично ) и размер выборки относительно мал, например, ? $p=0$ $p=1$ $n=25$

confidence-interval binomial

— Kasper
источник

Как близко к нулю

? Это часто ноль, или порядка 0,001, или 0,01, или ...? А сколько у вас данных?

\hat{p}

$\hat{p}$

— jbowman

У нас обычно более 800 испытаний. Обычно мы ожидаем от 0 до 0,1 для

\hat{p}

$\hat{p}$

— AI2.0

Используйте интервал Clopper – Pearson, который вы связали. Общий принцип: сначала попробуйте интервал Клоппера – Пирсона. Если компьютер не может получить ответ, попробуйте метод аппроксимации, такой как нормальная аппроксимация. В соответствии с текущей скоростью компьютера, я не думаю, что нам нужно приближение в большинстве ситуаций.

— user158565

Для получения только верхнего предела доверительного интервала с (1-

уровнем доверия, мы просто будем использовать B (1 -

; x + 1, n-x), где x - количество успехов (или неудач), n - . размер выборки В Python, мы просто используем Если это значение TRUE, можно сделать вывод , что мы мы 1-.

уверены , что верхний предел ограничен величиной от вычислим ?

α

$\alpha$

α

$\alpha$ scipy.stats.beta.ppf(1−$\alpha$;x+1,n−x)

α

$\alpha$ scipy.stats.beta.ppf(1−$\alpha$;x+1,n−x)

— AI2.0

При 800 испытаниях обычное нормальное приближение будет работать достаточно хорошо, вплоть до

(мое моделирование показало фактическое покрытие 94,5% с доверительным интервалом 95%). При 1000 испытаниях и

фактическое покрытие составляло около 92,7%. (Все основаны на 100 000 повторений.) Так что это проблема только для очень низкого

, учитывая ваш счет проб.

p = 0.015

$p=0.015$

p = 0.01

$p=0.01$

p

$p$

— jbowman

Ответы:

Не используйте нормальное приближение

Много было написано об этой проблеме. Общий совет - никогда не использовать нормальное приближение (т. Е. Асимптотический / доверительный интервал Вальда), поскольку оно обладает ужасными свойствами покрытия. R код для иллюстрации этого:

library(binom)
p = seq(0,1,.001)
coverage = binom.coverage(p, 25, method="asymptotic")$coverage
plot(p, coverage, type="l")
binom.confint(0,25)
abline(h=.95, col="red")

Вероятности покрытия асимптотических доверительных интервалов для биномиальной пропорции.

Для малых вероятностей успеха вы можете запросить 95% доверительный интервал, но на самом деле получите, скажем, 10% доверительный интервал!

Расчет интервалов

Чтобы рассчитать эти доверительные интервалы, вы можете использовать этот онлайн-калькулятор или binom.confint()функцию из binomпакета в R. Например, для 0 успехов в 25 испытаниях код R будет иметь вид:

> binom.confint(0, 25, method=c("wilson", "bayes", "agresti-coull"),
  type="central")
         method x  n  mean  lower upper
1 agresti-coull 0 25 0.000 -0.024 0.158
2         bayes 0 25 0.019  0.000 0.073
3        wilson 0 25 0.000  0.000 0.133

Вот bayesинтервал Джеффриса. (Аргумент type="central"необходим для получения равноправного интервала.)

Обратите внимание, что вы должны решить, какой из трех методов вы хотите использовать, прежде чем вычислять интервал. Глядя на все три и выбирая самый короткий, естественно, вы получите слишком малую вероятность покрытия.

Быстрый, приблизительный ответ

В заключение: если вы наблюдаете ровно ноль успехов в ваших n испытаниях и просто хотите очень приблизительный доверительный интервал, вы можете использовать правило трех . Просто разделите число 3 на n . В приведенном выше примере n равно 25, поэтому верхняя граница равна 3/25 = 0,12 (нижняя граница, конечно, равна 0).

— Карл Ове Хуфтхаммер
источник

Большое спасибо за ваш ответ. Представьте себе этот реальный пример из жизни: архитектор должен проверить в небоскребе, правильно ли установлены все изоляционные панели в потолке. Он открывает 25 потолочных панелей на случайной выборке полов и обнаруживает над всеми этими потолочными панелями изоляцию. Таким образом, мы можем заключить, что реальная вероятность наличия изоляционной панели с вероятностью 95% между CI [0,867-1] на основе интервала оценки Вильсона?

— Каспер

Я бы не сказал, что вы можете заключить это с «95% уверенностью» (Google для «правильной интерпретации доверительных интервалов»). Кроме того, это основано на предположении о независимых испытаниях с равными вероятностями успеха, которые могут быть здесь нереальными. Возможно, последние установленные панели имели более высокий риск неправильной установки (человек, который их устанавливал, устал / скучал). Или, возможно, первые были, так как человек был менее опытным тогда. В любом случае, если архитектору сказали проверить , правильно ли установлены все панели, он должен выполнить свою работу, а не просто протестировать образец!

— Карл Ове Хуфтхаммер

bayesиспользует одинаковый априор (вместо Джеффри), когда оба параметра формы равны 1. Я написал по электронной почте сопровождающему пакета binom из любопытства о (не) преимуществах Джеффри и единообразного априора, и он сказал мне, что в новой версии будет использоваться униформа до по умолчанию. Так что не удивляйтесь, если результаты немного изменятся в будущем.

— cbeleites поддерживает Монику

Это отличный ответ. Он передает всю ключевую информацию, которую вы можете прочитать в статьях по теме, но очень кратко и четко. Если бы я мог дважды поднять голос, я бы сделал это.

— SigmaX

binconfМетод Hmiscтакже вычисляет эти интервалы. По умолчанию используется метод Уилсона.

— SigmaX

$p\pm z_{\alpha/2}\sqrt{p(1-p)/n}$ $\pi_0$ $\pi_0$ $\pi_0$

\frac{| п - π_{0} |}{\sqrt{п (1 - п) / N}} знак равно 0

$\frac{|p-\pi_0|}{\sqrt{p(1-p)/n}}=0$

(1 + Z_{0}^{2} / N) π_{0}^{2} + (- 2 п - Z_{0}^{2} / N) π_{0} + п^{2} знак равно 0

$(1+z_0^2/n)\pi_0^2+(-2p-z_0^2/n)\pi_0+p^2=0$

— Джей Шайлер Раадт
источник

π_{0}

$\pi_0$

π_{0}

$\pi_0$ это популяционный параметр,

p

$p$ является оценкой параметра на основе вашей выборки, и

n

$n$ это размер выборки. Эта процедура даст вам критическое значение z, которое вы хотите. Основные предположения изложены в Agretsi and Coull (1998), ссылка в конце. К сожалению, Agretsi (2007) является учебником, поэтому я не могу дать ссылку на него. scholar.google.com/...

— Джей Шайлер Раадт

Это Агрести.

— Ник Кокс

@NickCox это другая работа

— Джей Шилер Раадт

Алан Агрести опубликовал различные тексты. Полагаю, вы намекаете на «Введение в категориальный анализ данных» (2-е издание 2007 г .; 3-е издание запланировано на октябрь 2018 г. и может иметь дату 2019 г.) от Джона Уайли.

— Ник Кокс

Доверительный интервал вокруг биномиальной оценки 0 или 1

Не используйте нормальное приближение

рекомендации

Расчет интервалов

Быстрый, приблизительный ответ