Bootstrapping vs Bayesian Bootstrapping концептуально?

У меня проблемы с пониманием, что такое байесовский процесс начальной загрузки, и чем он отличается от вашей обычной начальной загрузки. И если бы кто-то мог предложить интуитивно-концептуальный обзор и сравнение того и другого, это было бы здорово.

Давайте возьмем пример.

Скажем, у нас есть набор данных X, который [1,2,5,7,3].

Если мы производим выборку с заменой несколько раз, чтобы создать размеры выборки, равные размеру X (например, [7,7,2,5,7], [3,5,2,2,7] и т. Д.), А затем вычислите средние значения каждого, означает ли это начальное распределение выборки?

Каково было бы байесовское распределение начальной загрузки этого?

И как байесовское начальное распределение других параметров (дисперсия и т. Д.) Выполняется таким же образом?

Загрузчик (частый) использует данные как разумное приближение к неизвестному распределению населения. Следовательно, распределение выборки статистики (функция данных) может быть аппроксимировано путем многократной повторной выборки наблюдений с заменой и вычисления статистики для каждой каждой выборки.

Пусть обозначает исходные данные. (В данном примере ) Пусть обозначает образец начальной загрузки. Такая выборка, вероятно, будет иметь некоторые наблюдения, повторенные один или несколько раз, а другие наблюдения будут отсутствовать. Среднее значение примера начальной загрузки определяется какИменно распределение по множеству загрузочных репликаций используется для аппроксимации распределения выборки из неизвестной популяции.n = 5 y b = ( y b 1 , … , y b n ) m b = $y = (y_1,\ldots,y_n)$$n=5$$y^b = (y_1^b, \ldots, y_n^b)$м

$$m_b = \frac{1}{n} \sum_{i=1}^n y_i^b.$$ $m_b$

Чтобы понять связь между частым загрузчиком и байесовским загрузчиком, полезно посмотреть, как вычислить с другой точки зрения.$m_b$

В каждом образце начальной загрузки каждое наблюдение происходит от 0 до раз. Пусть обозначает число случаев, когда встречается в , и пусть . Таким образом, и . Для заданного мы можем построить набор неотрицательных весов , сумма которых равна единице: , где . С помощью этой записи мы можем повторно выразить среднее значение примера начальной загрузки как y i$y^b$$y_i$$n$ y i y b h b = ( h b 1 , … , h b n ) h b i ∈ { 0 , 1 , … , n - 1 , n } ∑ n i = 1 h b i = n h b w b = h b / n w b i$h_i^b$$y_i$$y^b$$h^b = (h_1^b, \ldots, h_n^b)$$h_i^b \in \{0, 1, \ldots, n-1,n\}$$\sum_{i=1}^n h_i^b = n$$h^b$$w^b = h^b/n$m b = n ∑ i = 1 w b $w_i^b = h_i^b/n$

$$m_b = \sum_{i=1}^n w_i^b\, y_i.$$

То, как наблюдения выбираются для образца начальной загрузки, определяет совместное распределение для . В частности, имеет полиномиальное распределение и, следовательно,Следовательно, мы можем вычислить , нарисовав из его распределения и вычислив скалярное произведение с помощью . С этой новой точки зрения, кажется, что наблюдения являются фиксированными, в то время как веса варьируются.ч б ( $w^b$$h^b$м б ш б

$$(n\,w^b) \sim \textsf{Multinomial}(n,(1/n)_{i=1}^n).$$ $m_b$$w^b$$y$

В байесовском умозаключении наблюдения действительно считаются фиксированными, поэтому эта новая перспектива кажется близкой байесовскому подходу. Действительно, расчет среднего по байесовскому бутстрапу отличается только распределением весов. (Тем не менее, с концептуальной точки зрения байесовский бутстрап весьма отличается от частой версии.) Данные фиксированы, а веса являются неизвестными параметрами. Нас может интересовать некоторый функционал данных, который зависит от неизвестных параметров: w μ = n ∑ i = 1 w $y$$w$

$$\mu = \sum_{i=1}^n w_i\, y_i.$$

Вот эскиз эскиза модели за байесовской начальной загрузкой: Распределение выборки для наблюдений является полиномиальным, а предшествующее для весов - это предельное распределение Дирихле, которое помещает весь свой вес в вершины симплекса. (Некоторые авторы называют эту модель полиномиальной моделью правдоподобия .)

Эта модель производит следующее апостериорное распределение для весов: (Это распределение плоское по симплексу.) Два распределения для весов (частое и байесовское) очень похожи: они имеют одинаковые средние и одинаковые ковариации. Распределение Дирихле «более гладкое», чем распределение многочленов, поэтому байесовский бутстрап можно назвать сглаженным бутстрапом. Мы можем интерпретировать частичную загрузку как приближение к байесовской загрузке.

$$w \sim \textsf{Dirichlet}(1,\ldots,1).$$

Учитывая апостериорное распределение для весов, мы можем аппроксимировать апостериорное распределение функционала путем повторной выборки из его распределения Дирихле и вычисления точечного произведения с помощью .$\mu$$w$$y$

Мы можем принять схему оценивания уравнений где - вектор оценивающих функций, который зависит от неизвестный параметр (вектор) и - это вектор нулей. Если эта система уравнений имеет единственное решение для заданных и , то мы можем вычислить ее апостериорное распределение, извлекая из его апостериорного распределения и оценивая это решение. (Каркас оценки уравнений используется с эмпирической вероятностью и с обобщенным методом моментов (GMM).)

$$\sum_{i=1}^n w_i\, g(y_i,\theta) = \underline 0,$$ $g(y_i,\theta)$$\theta$$\underline 0$$\theta$$y$$w$$w$

Простейший случай - это тот, с которым мы уже имели дело: Для среднего значения и дисперсии мы иметь Настройка немного сложнее, чем для частой начальной загрузки, поэтому байесовец может принять частую загрузку в качестве быстрого приближения.

$$\sum_{i=1}^n w_i\,(y_i - \mu) = 0.$$ $\theta = (\mu,v)$ $$g(y_i,\theta) = \begin{pmatrix} y_i - \mu \\ (y_i - \mu)^2 - v \end{pmatrix}.$$