Я очень плохо знаком с байесовской статистикой, и это может быть глупым вопросом. тем не менее:

Рассмотрим вероятный интервал с априором, который определяет равномерное распределение. Например, от 0 до 1, где от 0 до 1 представляет полный диапазон возможных значений эффекта. В этом случае будет ли доверительный интервал 95% равным доверительному интервалу 95%?

Многие частые доверительные интервалы (ДИ) основаны на функции вероятности. Если предшествующее распределение действительно неинформативно, то байесовский апостериор имеет по существу ту же информацию, что и функция правдоподобия. Следовательно, на практике байесовский интервал вероятности (или вероятный интервал) может быть в числовом отношении очень похож на частый доверительный интервал. [Конечно, даже если численно схожи, существуют философские различия в интерпретации между частыми и байесовскими интервальными оценками.]

Вот простой пример, оценивающий вероятность биномиального успеха Предположим, что у нас наблюдений (испытаний) с успехами.n = 100 X = $\theta.$$n = 100$$X = 73$

Частый: Традиционный интервал Вальда использует точечную оценку И 95% -й КИ имеет форму которая вычисляется в& Thetas ; & plusmn1,96$\hat \theta = X/n = 73/100 = 0.73.$(0,643

n = 100;  x = 73;  th.w = x/n;  pm = c(-1,1)
ci.w = th.w + pm*1.96*sqrt(th.w*(1-th.w)/n);  ci.w
[1] 0.6429839 0.8170161

Эта форма CI предполагает, что соответствующие биномиальные распределения могут быть аппроксимированы нормальными и что предел погрешности хорошо аппроксимируется В особенности для малых эти предположения не обязательно должны быть верными. [Случаи, когда или , особенно проблематичны.]$\sqrt{\theta(1-\theta)/n}$n,X=0X=$\sqrt{\hat\theta(1-\hat\theta)/n}.$$n,$$X = 0$$X = n$

Агрести-Коулл CI было показано , чтобы иметь более точную вероятность охвата. Этот интервал «добавляет два успеха и два отказа» как трюк, чтобы приблизить вероятность покрытия к 95%. Она начинается с точечной оценки где Тогда 95% -й КИ имеет вид который вычисляется вДля и разница между этими двумя стилями доверительных интервалов практически ничтожна. ~ п +4. ~ & thetas ; & plusmn1,96$\tilde \theta = (X+2)/\tilde n,$$\tilde n + 4.$(0,612,0,792). п>1000.3<~θ<0,7

ci.a = th.a + pm*1.96*sqrt(th.a*(1-th.a)/n);  ci.a
[1] 0.6122700 0.7915761

Байесовский: один популярный неинформативный априор в этой ситуации - этоФункция правдоподобия пропорциональна Умножая ядра априора и вероятности, мы получаем ядро ​​апостериорного распределения θ x ( 1 - θ ) n - x . B e t a ( x + 1 $\mathsf{Beta}(1,1) \equiv \mathsf{Unif}(0,1).$$\theta^x(1-\theta)^{n-x}.$$\mathsf{Beta}(x+1,\, n-x+1).$

Затем для оценки байесовского интервала 95% используются квантили 0,025 и 0,975 апостериорного распределения для получения Когда предыдущее распределение является «плоским» или «неинформативным», числовая разница между байесовским вероятностным интервалом и доверительным интервалом Агрести-Кулла незначительна.$(0.635, 0.807).$

qbeta(c(.025, .975), 74, 28)
[1] 0.6353758 0.8072313

Примечания: (a) В этой ситуации некоторые байесовцы предпочитают неинформативный априорный(b) Для уровней достоверности, отличных от 95%, Agresti-Coull CI использует немного другую точечную оценку. (c) Для данных, отличных от биномиальных, может не быть доступного «плоского» априора, но можно выбрать априор с огромной дисперсией (малой точностью), который несет очень мало информации. (d) Для более подробного обсуждения КИ Agresti-Coull, графиков вероятностей покрытия и некоторых ссылок, возможно, также посмотрите эти вопросы и ответы .$\mathsf{Beta}(.5, .5).$

Ответ BruceET отличный, но довольно длинный, поэтому вот краткое практическое резюме:

• если предшествующий является плоским, вероятность и задний имеют одинаковую форму
• интервалы, однако, не обязательно одинаковы, потому что они построены по-разному. Стандартный байесовский 90% CI покрывает центральные 90% задней части. Частота CI обычно определяется точечным сравнением (см. Ответ BruceET). Для неограниченного параметра местоположения (например, оценки среднего нормального распределения) разница обычно невелика, но если вы оцениваете ограниченный параметр (например, биномиальное среднее) близко к границам (0/1), различия могут быть существенными.
• Конечно, интерпретация тоже другая, но я интерпретирую вопрос главным образом как «когда значения будут одинаковыми?»

Хотя для априора можно решить, который дает достоверный интервал, равный доверительному доверительному интервалу, важно понимать, насколько узкой является область применения. Все обсуждение предполагает, что размер выборки был фиксированным и не является случайной величиной. Предполагается, что был только один взгляд на данные, и что последовательный вывод не был сделан. Предполагается, что была только одна зависимая переменная, а другие параметры не представляли интереса. Там, где есть кратности, байесовские и частые интервалы расходятся (байесовские апостериорные вероятности находятся в режиме прогнозирования прямого времени и не должны учитывать «как мы сюда попали», поэтому не имеют никакого способа или необходимости корректировать множественные взгляды). К тому же,

Правдоподобие байесовский с плоским до$\neq$

Функция правдоподобия и связанный с ней доверительный интервал не совпадают (концепция) с байесовской апостериорной вероятностью, построенной с априором, который задает равномерное распределение.

В частях 1 и 2 этого ответа утверждается, почему вероятность не следует рассматривать как байесовскую апостериорную вероятность, основанную на плоском априоре.

В части 3 приведен пример, в котором доверительный интервал и вероятный интервал широко варьируются. Также указывается, как возникает это несоответствие.

1 Разное поведение при преобразовании переменной

Вероятности трансформируются особым образом . Если мы знаем распределение вероятности то мы также знаем распределение для переменной определенной любой функцией , согласно правилу преобразования:$f_x(x)$$f_\xi(\xi)$$\xi$$x=\chi(\xi)$

Если вы преобразуете переменную, то среднее значение и режим могут отличаться из-за этого изменения функции распределения. Это означает, что и .$\bar{x} \neq \chi(\bar{\xi})$$x_{\max f(x)} \neq \chi(\xi_{\max f(\xi)})$

Функция правдоподобия не преобразуется таким образом . Это контрасты между функцией правдоподобия и апостериорной вероятностью. Функция правдоподобия (максимум) остается неизменной при преобразовании переменной.

Связанный:

• Плоский априор неоднозначен . Это зависит от формы конкретной статистики.

  Например, если равномерна распределена (например , то является не однородным распределенным переменным.$X$$\mathcal{U}(0,1))$$X^2$

  Не существует ни одной квартиры до, с которой вы могли бы связать функцию правдоподобия. Он отличается , когда вы определяете плашмя перед для или некоторые преобразованные переменной как . По всей вероятности, такой зависимости не существует.$X$$X^2$

• Границы вероятностей (интервалы вероятности) будут разными при преобразовании переменной (для функций правдоподобия это не так) . Например, для некоторого параметра и монотонного преобразования (например, логарифм) вы получаете эквивалентные интервалы правдоподобия $a$$f(a)$мин <

  $$\begin{array}{ccccc} a_{\min} &<& a &<& a_{\max}\\ f(a_{\min}) &<& f(a) &<& f(a_{\max}) \end{array}$$

2 Другая концепция: доверительные интервалы не зависят от предыдущих

Предположим, вы выбираете переменную из совокупности с (неизвестным) параметром которая сама (совокупность с параметром ) отбирается из суперпопуляции (возможно, с различными значениями для ).$X$$\theta$$\theta$$\theta$

Можно сделать обратное утверждение пытается сделать вывод о том , что оригинал , возможно, был основан на наблюдение некоторых значений для переменной .$\theta$$x_i$$X$

• Байесовская метода сделать это, допуская априорное распределение для распределения возможных$\theta$
• Это контрастирует с функцией правдоподобия и доверительным интервалом, которые не зависят от предыдущего распределения.

Доверительный интервал не использует информацию априора, как достоверный интервал (достоверность не является вероятностью).

Независимо от предшествующего распределения (равномерное или нет) интервал x% -доверности будет содержать истинный параметр в случаев$x%$ (доверительные интервалы относятся к коэффициенту успеха, ошибке I типа, метода, а не конкретного случая) ,

В случае вероятного интервала это понятие ( времени, в котором интервал содержит истинный параметр) даже не применимо, но мы можем интерпретировать его в частом смысле, а затем мы видим, что вероятный интервал будет содержать только истинный параметр времени, когда (равномерное) предшествующее значение правильно описывает суперпопуляцию параметров, с которыми мы можем столкнуться. Интервал может эффективно работать выше или ниже, чем x% (не то, чтобы это имело значение, поскольку байесовский подход отвечает на разные вопросы, но это просто для того, чтобы отметить разницу).$%$$x%$

3 Разница между доверием и достоверными интервалами

В приведенном ниже примере мы исследуем функцию правдоподобия для экспоненциального распределения как функцию параметра скорости , среднего значения выборки и размера выборки :$\lambda$$\bar{x}$$n$

эта функция выражает вероятность наблюдать (для данного и ) выборочное среднее между и .$n$$\lambda$$\bar{x}$$\bar{x}+dx$

^{примечание: параметр скорости изменяется от до (в отличие от OP 'request' от до ). Приор в этом случае будет ненадлежащим приором . Принципы, однако, не меняются. Я использую эту перспективу для упрощения иллюстрации. Распределения с параметрами от до часто являются дискретными (трудно рисовать непрерывные линии) или бета-распределением (сложно рассчитать)$\lambda$$0$$\infty$$0$$1$$0$$1$}

Изображение ниже иллюстрирует эту функцию правдоподобия (карта синего цвета) для размера выборки , а также рисует границы для интервалов 95% (как достоверных, так и достоверных).$n=4$

Границы создаются с получением (одномерной) кумулятивной функции распределения. Но эта интеграция / накопление может быть сделано в двух направлениях .

Разница между интервалами происходит потому, что 5% площади сделаны по-разному.

• 95-процентный доверительный интервал содержит значения для которых наблюдаемое значение встречается как минимум в 95% случаев. Этим способом. Независимо от значения , мы ошиблись бы только в 95% случаев.$\lambda$$\bar{x}$$\lambda$

  Для любой вас есть север и юг от границ (изменение ) 2,5% от веса функции правдоподобия.$\lambda$$\bar{x}$

• Доверительный интервал 95% содержит значения которые, скорее всего, вызывают наблюдаемое значение (с учетом предшествующего фиксированного значения)$\lambda$$\bar{x}$

  Даже когда наблюдаемый результат менее чем на 5% вероятен для данного , конкретный может находиться внутри вероятного интервала. В конкретном примере более высокие значения являются «предпочтительными» для вероятного интервала.$\bar{x}$$\lambda$$\lambda$$\lambda$

  Для любого вас есть запад и восток от границ (изменение ) 2,5% от веса функции правдоподобия.$\bar{x}$$\lambda$

Случай, когда доверительный интервал и вероятный интервал (на основе неправильного априорного значения) совпадают, предназначен для оценки среднего значения гауссовой распределенной переменной (распределение показано здесь: https://stats.stackexchange.com/a/351333/164061 ).

Очевидный случай, когда доверительный интервал и вероятный интервал не совпадают, иллюстрируется здесь ( https://stats.stackexchange.com/a/369909/164061 ). Доверительный интервал для этого случая может иметь одну или даже обе (верхнюю / нижнюю) границы на бесконечности.

Обычно это не так, но может показаться так из-за наиболее часто рассматриваемых особых случаев.

РассмотримИнтервал - это доверительный интервал для хотя и не тот, который использовал бы кто-либо со здравым смыслом. Он не совпадает с вероятным интервалом в от апостериорной плоскости до априорной.( минимум { X , Y } , максимум { X , Y } ) 50 % θ , 50 $X,Y\sim\operatorname{i.i.d}\sim\operatorname{Uniform}[\theta-1/2,\, \theta+1/2].$$\big(\min\{X,Y\},\max\{X,Y\}\big)$$50\%$$\theta,$$50\%$

Техника обусловленности Фишера на вспомогательной статистике в этом случае дает доверительный интервал, который совпадает с этим вероятным интервалом.

Из моего чтения я подумал, что это утверждение верно асимптотически, то есть для большого размера выборки, и если кто-то использует неинформативный априор.

Простой числовой пример, казалось бы, подтверждает это - интервалы максимального правдоподобия профиля 90% и доверительные интервалы 90% биномиального GLM ML и байесовского GLM действительно практически идентичны n=1000, хотя расхождение станет большим для малых n:

# simulate some data
set.seed(123)
n = 1000                     # sample size
x1 = rnorm(n)                # two continuous covariates 
x2 = rnorm(n)
z = 0.1 + 2*x1 + 3*x2        # predicted values on logit scale
y = rbinom(n,1,plogis(z))    # bernoulli response variable
d = data.frame(y=y, x1=x1, x2=x2)

# fit a regular GLM and calculate 90% confidence intervals
glmfit = glm(y ~ x1 + x2, family = "binomial", data = d)
library(MASS)
# coefficients and 90% profile confidence intervals :
round(cbind(coef(glmfit), confint(glmfit, level=0.9)), 2) 
#                      5 % 95 %
#   (Intercept) 0.00 -0.18 0.17
# x1            2.04  1.77 2.34
# x2            3.42  3.05 3.81

# fit a Bayesian GLM using rstanarm
library(rstanarm)
t_prior = student_t(df = 3, location = 0, scale = 100) # we set scale to large value to specify an uninformative prior
bfit1 = stan_glm(y ~ x1 + x2, data = d, 
                 family = binomial(link = "logit"), 
                 prior = t_prior, prior_intercept = t_prior,  
                 chains = 1, cores = 4, seed = 123, iter = 10000)
# coefficients and 90% credible intervals :
round(cbind(coef(bfit1), posterior_interval(bfit1, prob = 0.9)), 2) 
#                        5%  95%
#   (Intercept) -0.01 -0.18 0.17
# x1             2.06  1.79 2.37
# x2             3.45  3.07 3.85


# fit a Bayesian GLM using brms
library(brms)
priors = c(
  prior(student_t(3, 0, 100), class = "Intercept"),
  prior(student_t(3, 0, 100), class = "b")
)
bfit2 = brm(
  y ~ x1 + x2,
  data = d,
  prior = priors,
  family = "bernoulli",
  seed = 123 
) 
# coefficients and 90% credible intervals :
summary(bfit2, prob=0.9)
# Population-Level Effects: 
#           Estimate Est.Error l-90% CI u-90% CI Eff.Sample Rhat
# Intercept    -0.01      0.11    -0.18     0.18       2595 1.00
# x1            2.06      0.17     1.79     2.35       2492 1.00
# x2            3.45      0.23     3.07     3.83       2594 1.00


# fit a Bayesian GLM using arm
library(arm)
# we set prior.scale to Inf to specify an uninformative prior
bfit3 = bayesglm(y ~ x1 + x2, family = "binomial", data = d, prior.scale = Inf) 
sims = coef(sim(bfit3, n.sims=1000000))
# coefficients and 90% credible intervals :
round(cbind(coef(bfit3), t(apply(sims, 2, function (col) quantile(col,c(.05, .95))))),2)
#                       5%  95%
#   (Intercept) 0.00 -0.18 0.17
# x1            2.04  1.76 2.33
# x2            3.42  3.03 3.80

Как видно из приведенного выше примера, для n=100090-процентных доверительных интервалов профиля биномиального GLM практически идентичны 90-процентным доверительным интервалам байесовского биномиального GLM (разница также в пределах использования разных семян и различных Число итераций в байесовских подгонках, и точная эквивалентность также не может быть получена, поскольку указание 100% неинформативного априора также невозможно с помощью rstanarmили brms).