Распределения на подмножествах

Мне интересно, есть ли какие-либо стандартные распределения на подмножествах целых чисел . Эквивалентно, мы могли бы выразить это как распределение по вектору длины двоичных результатов, например, если то соответствует вектору .$\{1, 2, ..., J\}$$J$$J = 5$$\{1, 3, 5\}$$(1, 0, 1, 0, 1)$

В идеале я ищу некое распределение , происходящее из семейства, индексируемого конечномерным параметром , которое распределит свою массу таким образом, что два двоичных вектора и будут иметь одинаковый вероятность того, что они «близки» друг к другу, т.е. и имеют схожие вероятности. Действительно, то, что я намерен сделать, я надеюсь, это поставить априту на , что если я знаю, что довольно велика, то , вероятно, велика относительно векторов, удаленных от .$\nu_\theta (\cdot)$$\theta$$r_1$$r_2$$r_1 = (0, 0, 1, 0, 1)$$r_2 = (0, 0, 1, 1, 1)$$\theta$$\nu_\theta (r_1)$$\nu_\theta (r_2)$$r_1$

Одна из стратегий , которая приходит на ум бы поставить метрику или некоторую другую меру дисперсии на $d_\theta$ на $\{0, 1\}^J$ , а затем принять $\nu_\theta (r) \propto \exp (-d_\theta (r, \mu))$ , или что-то похожее. Явным примером будет по аналогии с нормальным распределением. Это хорошо, но я надеюсь, что есть что-то стандартное и поддающееся байесовскому анализу; с этим я не могу записать нормализующую константу.$\exp\left\{-\|r - \mu\|^2 / (2 \sigma^2)\right\}$

Вы можете предпочесть семейства местоположений, основанные на расстоянии Хэмминга , из-за их богатства, гибкости и вычислительной управляемости.

Обозначения и определения

Напомним , что в свободном конечномерном модуле с базисом ( е 1 , е 2 , ... , е J ) , то расстояние Хэмминга δ H между двумя векторами v = v 1 е 1 + ⋯ + v J е J и ш = ш 1 e 1 + ⋯ + w J e J - количество мест i, где v $V$$\left(\mathbf{e}_1, \mathbf{e}_2, \ldots, \mathbf{e}_J\right)$ $\delta_H$$\mathbf{v}=v_1 \mathbf{e}_1 + \cdots + v_J\mathbf{e}_J$$\mathbf{w}=w_1 \mathbf{e}_1 + \cdots + w_J\mathbf{e}_J$$i$ .$v_i \ne w_i$

Для любого начала координат расстояние Хэмминга разбивает V на сферы S i ( v 0 ) , , где . Когда основное кольцо имеет элементов, имеет элементов, а имеет элементов. (Это сразу следует из наблюдения, что элементы отличаются от в точности$\mathbf{v}_0\in V$$V$$S_i(\mathbf{v}_0)$S i ( v 0 ) = { w ∈ V | δ H ( w , v 0 ) = i } n V n J S i ( v ) ($i=0, 1, \ldots, J$$S_i(\mathbf{v}_0) = \{\mathbf{w}\in V\ |\ \delta_H(\mathbf{w}, \mathbf{v}_0) = i\}$$n$$V$$n^J$$S_i(\mathbf{v})$Si(v)vi ($\binom{J}{i}\left(n-1\right)^i$$S_i(\mathbf{v})$$\mathbf{v}$$i$ мест - из которых есть возможностей - и что существует, независимо, выбор значений для каждого места.) п-$\binom{J}{i}$$n-1$

Аффинный перевод в действует естественным образом в его распределениях, давая семейства местоположений. В частности, когда - это любое распределение на (что означает чуть больше, чем , для всех и ) и - любой элемент из , тогда также является распределением гдеf V f : V → [ 0 , 1 ] f ( v ) ≥ 0 v ∈ V ∑ v ∈ V f ( v ) = 1 w V f ( w$V$$f$$V$$f:V\to [0,1]$$f(\mathbf{v})\ge 0$$\mathbf{v} \in V$$\sum_{\mathbf{v}\in V}f(\mathbf{v})=1$$\mathbf{w}$$V$$f^{(\mathbf{w})}$

для всех . Расположение семьи распределений инвариантна относительно этого действия: означает для всех .Ом F ∈ Ом F ( v ) ∈ Ом v ∈ $\mathbf{v}\in V$ $\Omega$$f\in \Omega$$f^{(\mathbf{v})}\in \Omega$$\mathbf{v}\in V$

строительство

Это позволяет нам определять потенциально интересные и полезные семейства распределений, определяя их формы в одном фиксированном векторе , который для удобства я буду считать и переводя эти «порождающие распределения» под действием чтобы получить полное семейство . Для достижения желаемого свойства, чтобы имело сопоставимые значения в близлежащих точках, просто требуется это свойство всех генерирующих распределений.0 = ( 0 , 0 , … , 0 ) V Ω $\mathbf{v}$$\mathbf{0} = (0,0,\ldots,0)$$V$$\Omega$$f$

Чтобы увидеть, как это работает, построим семейство местоположений всех распределений, которые уменьшаются с увеличением расстояния. Поскольку возможны только расстояния Хэмминга, рассмотрим любую убывающую последовательность неотрицательных действительных чисел = . Наборa 0 ≠ a 0 ≥ a 1 ≥ ⋯ ≥ a J ≥ $J+1$$\mathbf{a}$$0 \ne a_0 \ge a_1 \ge \cdots \ge a_J \ge 0$

и определите функцию помощью$f_\mathbf{a}:V\to [0,1]$

Тогда, как несложно проверить, является распределением на . Кроме того, тогда и только тогда, когда является положительным кратным (как векторы в ). Таким образом, если нам нравится, мы можем стандартизировать к . V f a = f a ′ a ′ a R J + 1 a a 0 = $f_\mathbf{a}$$V$$f_\mathbf{a} = f_{\mathbf{a}'}$$\mathbf{a}'$$\mathbf{a}$$\mathbb{R}^{J+1}$$\mathbf{a}$$a_0=1$

Соответственно, эта конструкция дает явную параметризацию всех таких локально-инвариантных распределений, которые уменьшаются с расстоянием Хэмминга: любое такое распределение имеет вид для некоторой последовательности и некоторый вектор . = 1 ≥ 1 ≥ 2 ≥ ⋯ ≥ J ≥ 0 v ∈ $f_\mathbf{a}^{(\mathbf{v})}$$\mathbf{a} = 1 \ge a_1 \ge a_2 \ge \cdots \ge a_J \ge 0$$\mathbf{v}\in V$

Эта параметризация может обеспечить удобную спецификацию априоров: разложить их в априор в расположении и априор в форме . (Конечно, можно рассмотреть больший набор приоров, где местоположение и форма не являются независимыми, но это было бы более сложным делом.)$\mathbf{v}$$\mathbf{a}$

Генерация случайных значений

Один из способов выборки из заключается в поэтапном распределении его по распределению по сферическому радиусу, а другое распределение зависит от каждой сферы:$f_\mathbf{a}^{(\mathbf{v})}$

1. Нарисуйте индекс из дискретного распределения на заданного вероятностями , где определено, как и раньше ,{ 0 , 1 , … , J } ($i$$\{0,1,\ldots,J\}$$\binom{J}{i}(n-1)^i a_i / A$$A$

2. Индекс соответствует множеству векторов, отличающихся от ровно местами. Поэтому выберите те которые размещаю из возможных подмножеств, давая каждому равную вероятность. (Это только образец Нижние индексы из без замены.) Пусть это подмножество место записывается .против я я ($i$$\mathbf{v}$$i$$i$ яJя$\binom{J}{i}$$i$$J$ $i$$I$

3. Нарисуйте элемент , независимо выбрав значение равномерно из набора скаляров, не равных для всех и в противном случае установите . Эквивалентно, создайте вектор , выбрав случайным образом из ненулевых скаляров, когда и в противном случае установите . Установите .w j v j j ∈ I w j = v j u u j j ∈ I u j = 0 w = v + $\mathbf{w}$$w_j$$v_j$$j\in I$$w_j=v_j$$\mathbf{u}$$u_j$$j\in I$$u_j=0$$\mathbf{w} = \mathbf{v} + \mathbf{u}$

Шаг 3 не нужен в двоичном случае.

пример

Вот Rреализация для иллюстрации.

rHamming <- function(N=1, a=c(1,1,1), n=2, origin) {
  # Draw N random values from the distribution f_a^v where the ground ring
  # is {0,1,...,n-1} mod n and the vector space has dimension j = length(a)-1.
  j <- length(a) - 1
  if(missing(origin)) origin <- rep(0, j)

  # Draw radii `i` from the marginal distribution of the spherical radii.
  f <- sapply(0:j, function(i) (n-1)^i * choose(j,i) * a[i+1])
  i <- sample(0:j, N, replace=TRUE, prob=f)

  # Helper function: select nonzero elements of 1:(n-1) in exactly i places.
  h <- function(i) {
    x <- c(sample(1:(n-1), i, replace=TRUE), rep(0, j-i))
    sample(x, j, replace=FALSE)
  }

  # Draw elements from the conditional distribution over the spheres
  # and translate them by the origin.
  (sapply(i, h) + origin) %% n
}

В качестве примера его использования:

test <- rHamming(10^4, 2^(11:1), origin=rep(1,10))
hist(apply(test, 2, function(x) sum(x != 0)))

Для извлечения iid элементов из дистрибутива потребовалось секунды, где , (двоичный регистр), и экспоненциально уменьшается.$0.2$$10^4$$f_{\mathbf{a}}^{(\mathbf{v})}$$J=10$$n=2$$\mathbf{v}=(1,1,\ldots,1)$$\mathbf{a}=(2^{11},2^{10},\ldots,2^1)$

(Этот алгоритм не требует уменьшения ; таким образом, он будет генерировать случайные изменения из любого семейства местоположений, а не только унимодальных.)$\mathbf{a}$

Выборка из k-детерминантного точечного процесса моделирует распределение по подмножествам, которое поощряет разнообразие, так что подобные элементы с меньшей вероятностью встречаются вместе в выборке. Обратитесь к K-детерминантной выборке точечного процесса Алекса Кулеша, Бена Таскара.