Почему проблема беспорядка неразрешима для больших выборок?

Предположим, у нас есть множество точек $\mathbf{y} = \{y_1, y_2, \ldots, y_N \}$ . Каждая точка $y_i$ генерируется с использованием распределения

p (y_{i} | x) = \frac{1}{2} N (x, 1) + \frac{1}{2} N (0, 10) .

$p(y_i| x) = \frac12 \mathcal{N}(x, 1) + \frac12 \mathcal{N}(0, 10).$ Чтобы получить апостериор для

x

$x$ мы пишем

p (x | y) \propto p (y | x) p (x) = p (x) \prod_{i = 1}^{N} p (y_{i} | x) .

$p(x| \mathbf{y}) \propto p(\mathbf{y}| x) p(x) = p(x) \prod_{i = 1}^N p(y_i | x).$ Согласно статье Минки ораспространении ожиданий,нам нужно

2^{N}

$2^N$ вычислений, чтобы получить апостериорный

, и, таким образом, проблема становится неразрешимой при больших размерах образца

. Однако я не могу понять, зачем нам нужно такое количество вычислений в этом случае, потому что для одиночного

вероятность имеет вид

p (x | y)

$p(x| \mathbf{y})$

N

$N$

y_{i}

$y_i$

p (y_{i} | x) = \frac{1}{2 \sqrt{2 π}} (\exp {- \frac{1}{2} (y_{i} - x)^{2}} + \frac{1}{\sqrt{10}} \exp {- \frac{1}{20} y_{i}^{2}}) .

$p(y_i| x) = \frac{1}{2 \sqrt{2 \pi}} \left( \exp \left\{-\frac12 (y_i - x)^2\right\} + \frac{1}{\sqrt{10}} \exp \left\{-\frac1{20} y_i^2\right\} \right).$

Используя эту формулу, мы получаем апостериорное простое умножение , поэтому нам нужно только операций, и, таким образом, мы можем точно решить эту проблему для больших размеров выборки. $p(y_i| x)$ $N$

Я провожу численный эксперимент для сравнения, действительно ли я получаю один и тот же апостериор, если вычисляю каждый член отдельно и если я использую произведение плотностей для каждого . Постеры одинаковые. Видишь, где я не прав? Может кто-нибудь объяснить мне, почему нам нужно операций для вычисления апостериорного значения для данного и выборки ? $y_i$ введите описание изображения здесь $2^N$ $x$ $\mathbf{y}$

bayesian mixture posterior

— Алексей Зайцев
источник

Одна операция на триместр и

терминов, поэтому нам нужно

операций. Кроме того, я снова просматриваю статью Минки и главу Бишопа о приближенном выводе. Оба предполагают, что мы хотим оценить и получить апостериорное значение для

N

$N$

O (N)

$O(N)$

x

$x$

— Алексей Зайцев

Могу ли я правильно понять , что ваши

«s являются одномерными? Если это так, вы можете решить эту проблему в

который считается поддающимся обработке независимо от

y_{i}

$y_i$

O (n \log (n))

$O(n\log(n))$

n

$n$

— user603

@ Алексей После перечитывания этого абзаца, я думаю, что автор не упоминает

операций. Он просто указывает, что «состояние веры для представляет собой смесь гауссиан» .

2^{N}

$2^N$ $x$ $2^N$

@ Procrastinator, согласно статье, мы хотим использовать пропаганду веры, но не можем ее использовать, потому что нам нужно продолжить смесь

гауссиан. Тогда возникает вопрос: почему мы хотим использовать BP? Другой вопрос возникает в случае, если мы прочитаем главу 10.7.1 в PRML Бишопа или посмотрим видеолекцию Минки . После этого ответ не так ясен.

2^{N}

$2^N$

— Алексей Зайцев

@ Алексей, я думаю, что логика здесь другая. Автор описывает, что происходит, если вы используете пропаганду веры, чтобы подчеркнуть некоторые трудности с ней, когда

велико, и затем продвигаете его «пропаганду ожидания». Он упоминает, что распространение веры требует использования смеси

гауссиан для состояния веры для

N

$N$

2^{N}

$2^N$

x

$x$ что усложняется, когда

большое. Нет упоминания о количестве требуемых операций, но о сложности состояния веры для

N

$N$

x

$x$

Вы правы, что газета говорит не то, что нужно. Вы, конечно, можете оценить последующее распределение в известном месте, используя операции. Проблема в том, когда вы хотите вычислить моменты задних. Для точного вычисления среднего среднего значения потребуется операций. Это проблема, которую газета пытается решить. $x$ $O(n)$ $x$ $2^N$

— Том Минка
источник

$y_i$ $p(y_i | x)$ $1-w$ $p_c(y)$ $y$ $x$ $w$

Пусть - переменная индикатора, указывающая, что образец был взят из распределения беспорядка; таким образом, если это это указывает, что выборка была взята из . Очевидно, что если образец был взят из распределения беспорядка, его значение не имеет значения для оценки . $c_i$ $i$ $0$ $p(y|x)$ $x$

Проблема заключается в наличии возможных совместных состояний для этих индикаторных переменных. $2^N$

— Дейв
источник

c_{i}

$c_i$

x

$x$

2^{N}

$2^N$

c

$c$

c_{i}

$c_i$

c_{i}

$c_i$

2^{N}

$2^N$

O (n)

$O(n)$

O (2^{n})

$O(2^n)$ complexity.

— Alexey Zaytsev