Точная выборка из неправильных смесей

Предположим, я хочу сделать выборку из непрерывного распределения . Если у меня есть выражение в виде $p(x)$ $p$

p (x) = \sum_{i = 1}^{\infty} a_{i} f_{i} (x)

$p(x) = \sum_{i=1}^\infty a_i f_i(x)$

где и - это распределения, из которых можно легко брать выборки, тогда я могу легко сгенерировать выборки из : $a_i \geqslant 0, \sum_i a_i= 1$ $f_i$ $p$

Выборка метки $i$ с вероятностью $a_i$
Выборка $X \sim f_i$

Можно ли обобщить эту процедуру, если $a_i$ иногда отрицательны? Я подозреваю, что видел, как это где-то сделано - возможно, в книге, возможно, для рассылки Колмогорова - поэтому я был бы очень рад принять ссылку в качестве ответа.

Если конкретный пример с игрушкой полезен, скажем, я хотел бы взять пример из

p (x, y) \propto \exp (- x - y - α \sqrt{x y}) x, y > 0

$p(x,y) \propto \exp(-x-y-\alpha\sqrt{xy})\qquad x,y > 0$ я буду принять

α \in (0, 2)

$\alpha \in (0, 2)$ по техническим причинам, которые не должны иметь большого значения, в общей схеме вещей.

В принципе, я мог бы затем расширить это как следующую сумму:

p (x, y) \propto \sum_{n = 0}^{\infty} \frac{(- 1)^{n} α^{n} (\frac{n}{2})! (\frac{n}{2})!}{n!} (\frac{x^{n / 2} e^{- x}}{(\frac{n}{2})!}) (\frac{y^{n / 2} e^{- y}}{(\frac{n}{2})!}) .

$p(x,y) \propto \sum_{n=0}^\infty \frac{(-1)^n \alpha^n \left( \frac{n}{2} \right)! \left( \frac{n}{2} \right)!}{n!} \left( \frac{x^{n/2} e^{-x}}{\left( \frac{n}{2} \right)!}\right) \left( \frac{y^{n/2} e^{-y}}{\left( \frac{n}{2} \right)!}\right) .$

$(x,y)$ -термины внутри сумма может быть затем независимо от пробы , как гамма случайных величин случайным образом . Моя проблема, очевидно, в том, что коэффициенты «иногда» отрицательны.

Редактировать 1 : Я уточняю, что я стремлюсь генерировать точные выборки из $p$ , а не вычислять ожидания по $p$ . Для тех, кто заинтересован, некоторые процедуры для этого упоминаются в комментариях.

Редактировать 2 : Я нашел ссылку, которая включает в себя особый подход к этой проблеме, в «Неоднородном генерации случайных вариаций» Девроя . Алгоритм взят из «Заметки о выборке из комбинаций распределений» Бингами и де Маттеиса . Метод заключается в том, чтобы эффективно связать плотность сверху с помощью положительных членов суммы, а затем использовать выборку отклонения, основанную на этом конверте. Это соответствует методу, описанному в ответе @ Xi'an.

— πr8
источник

Почему вы не можете сэмплировать, просто используя абсолютное значение , а затем отрицая сэмпл ? Другими словами, определите(при условии , что это конечная), а затем перенормировать вашу сумму на .

a_{i}

$a_i$

X \sim f_{i}

$X\sim f_i$

Z := \sum_{i = 1}^{\infty} | a_{i} |

$Z:=\sum_{i=1}^\infty |a_i|$

Z

$Z$

— Алекс Р.

@AlexR. Если я вас понимаю, вариант этого будет полезен для расчета ожиданий при , но все же не для получения точных выборок из . Конечно, это ответ на актуальную проблему, хотя и не совсем то, что я ищу.

p

$p$

p

$p$

— августа

Это зависит от того, что вы собираетесь делать с этим образцом. Например, в целях вычисления моментов представляется простым обобщить выборку из смесей плотностей, дополнительно помечая любую точку, выбранную из компонента с отрицательным коэффициентом, как «отрицательную» точку и взвешивая ее вклад отрицательно в оценке момента. Точно так же вы можете создать KDE с такими отрицательными весами, при условии, что вы можете принять вероятность того, что некоторые из его значений будут отрицательными! (cc @ Xi'an)

— whuber

Каким будет «точный» образец распределения? Опять же, то, как и как вы можете использовать смесь с отрицательным весом, зависит от того, как вы собираетесь использовать образец.

— whuber

Это не отвечает на ваш вопрос, но вам может быть интересно прочитать о выборке из логарифмических вероятностей stats.stackexchange.com/a/260248/35989

— Тим

Ответы:

Я ломал голову над этим вопросом, но так и не нашел удовлетворительного решения.

Одно свойство, которое возможно использовать, состоит в том, что, если плотность записывает где является плотность такая, что , симуляция из и отклонение этих симуляций с вероятностью обеспечивает симуляции из . В данном случае является нормализованной версией положительных весовых компонент и - остаток

f (x) = \frac{g (x) - ω h (x)}{1 - ω} ω > 0

$f(x)=\frac{g(x)-\omega h(x)}{1-\omega}\qquad \omega>0$

g

$g$

g (x) \geq ω h (x)

$g(x)\ge \omega h(x)$

g

$g$

ω h (x) / g (x)

$\omega h(x)/g(x)$

f

$f$

g

$g$

g (x) = \sum_{α_{i} > 0} α_{i} f_{i} (x) / \sum_{α_{i} > 0} α_{i}

$g(x)=\sum_{\alpha_i>0} \alpha_i f_i(x) \big/ \sum_{\alpha_i>0} \alpha_i$

ω h

$\omega h$

h (x) = \sum_{α_{i} < 0} α_{i} f_{i} (x) / \sum_{α_{i} < 0} α_{i}

$h(x)=\sum_{\alpha_i<0} \alpha_i f_i(x) \big/ \sum_{\alpha_i<0}\alpha_i$ Это действительно найдено в Библии моделирования Devroye, Неоднородная генерация случайных вариаций, раздел II.7.4, но следует из простого рассуждения о принятии-отклонении.

Первый вычислительный недостаток этого подхода состоит в том, что, несмотря на первое моделирование из выбранного компонента , суммы для и должны быть вычислены для этапа отклонения. Если суммы бесконечны без закрытой версии, это делает невозможным реализацию метода accept-reject . $f_i$ $g$ $h$

Вторая трудность заключается в том, что, поскольку обе суммы весов имеют одинаковый порядок коэффициент отклоненияне имеет верхнего предела. На самом деле, если ряд, связанный с , не является абсолютно сходящимся, вероятность принятия равна нулю! И метод не может быть реализован в этой ситуации.

\sum_{α_{i} > 0} α_{i} = 1 - \sum_{α_{i} < 0} α_{i}

$\sum_{\alpha_i>0}\alpha_i = 1 - \sum_{\alpha_i<0}\alpha_i$

1 - ϱ^{accept} = \sum_{α_{i} < 0} | α_{i} | / \sum_{i} | α_{i} |

$1-\varrho^\text{accept}=\sum_{\alpha_i<0}|\alpha_i| \Big/ \sum_i |\alpha_i|$ $\alpha_i$

В случае смешанного представления, если можно записать как сначала можно выбрать компонент, а затем метод, примененный к компоненту. Но это может быть деликатным для реализации, так как идентификация пар которые соответствуют из возможно бесконечной суммы, не всегда выполнима. $f$

f (x) = \sum_{i = 1}^{\infty} α_{i} \frac{g_{i} (x) - ω_{i} h (x_{i})}{1 - ω_{i}} ω_{i} > 0

$f(x)=\sum_{i=1}^\infty \alpha_i \frac{g_i(x)-\omega_i h(x_i)}{1-\omega_i}\qquad \omega_i>0$

(g_{i}, h_{i})

$(g_i,h_i)$

g_{i} (x) - ω_{i} h (x_{i}) > 0

$g_i(x)-\omega_i h(x_i)>0$

Я думаю, что более эффективное разрешение могло бы прийти из самого представления серии. Devroye, Неоднородная генерация случайных вариаций, раздел IV.5, содержит широкий спектр последовательных методов. Как, например, следующий алгоритм для представления альтернативного ряда цели когда ' s сходятся к нулю с и является плотностью:

f (x) = κ h (x) {1 - a_{1} (x) + a_{2} (x) - \dots}

$f(x)=\kappa h(x)\{1-a_1(x)+a_2(x)-\cdots\}$

a_{i} (x)

$a_i(x)$

n

$n$

h

$h$

Эта проблема была недавно рассмотрена в контексте искажения смещенных оценок для MCMC, как, например, в подходе Глинна-Ри . И российский оценщик рулетки (в связи с проблемой фабрики Бернулли). И беспристрастная методология MCMC . Но нет выхода из проблемы знака ... Что делает его использование сложным при оценке плотностей, как в псевдо-маргинальных методах.

После дальнейших размышлений я пришел к выводу, что не существует общего метода для создания фактической симуляции из этой серии [вместо смеси, которая оказывается неправильной], без наложения дополнительной> структуры на элементы серии, как в вышеуказанный алгоритм из Библии Деврой . Действительно, поскольку большинство (?) Плотностей допускают последовательное разложение вышеописанного вида, это в противном случае подразумевало бы существование своего рода универсальной имитационной машины ...

— Сиань
источник

Спасибо! Я также ценю дополнительные ссылки.

— августа

Дополнительное спасибо за очень тщательный ответ и ссылки. Я рад принять этот ответ, так как он успешно генерирует точные выборки из за конечное время. Я вероятно продолжу думать о проблеме до некоторой степени все же; единственная дополнительная идея, которая мне показалась многообещающей, это рассматривать выборку из как выборку , зависящую от , и что там может быть некоторая геометрическая понимание, которое полезно для этой характеристики (я думаю, как сэмплер среза на ). Ура!

p

$p$

p = λ g - μ h

$p = \lambda g - \mu h$

X \sim g

$X \sim g$

λ g ⩾ μ h

$\lambda g \geqslant \mu h$

{(x, y) : μ h (x) < y < λ g (x)}

$\{(x,y): \mu h (x) < y < \lambda g(x) \}$

— №8

Я объяснил условный пробоотборник довольно плохо; характеристика, основанная на множестве, немного яснее (на мой взгляд). Мой ключевой момент заключается в том, что если вы можете сделать выборку равномерно из двумерного набора в последней строке, отсюда следует, что координата имеет правильное распределение. Может ли эта характеристика быть полезной для неподходящих смесей с более длинной суммой, еще неизвестно.

(x, y)

$(x,y)$

x

$x$

— №8

Я также думал о пробоотборнике срезов, но это не "точно" в смысле симуляции.

— Сиань

У меня есть проект идеи, которая могла бы работать. Это не точно , но, надеюсь, асимптотически точно. Чтобы превратить его в действительно строгий метод, где аппроксимация контролируется, или что-то в этом может быть доказано, вероятно, требуется много работы.

Во-первых, как упомянул Сиань, вы можете сгруппировать положительные веса, с одной стороны, и отрицательные веса, с другой стороны, чтобы в итоге у задачи было только два распределения и : $g$ $h$

p = λ g - μ h

$p=\lambda g - \mu h$

с . Обратите внимание, что у вас есть . $\lambda-\mu=1$ $\lambda\geq 1$

Моя идея заключается в следующем. Вы хотите образец наблюдений от . Делать: $N$ $p$

выборка значений из и сохранение их в списке $\lambda N$ $g$
для каждого из значений, выбранных из , удалите их ближайшего (оставшегося) соседа из списка. $\mu N$ $h$

В конце вы получаете баллов. Это не обязательно должен быть точно ближайший сосед, а просто точка, которая «достаточно близка». Первый шаг подобен созданию материи. Второй шаг похож на создание антивещества, и пусть оно сталкивается и отменяется с материей. Этот метод не является точным, но я считаю, что в некоторых условиях он асимптотически точен для больших (чтобы сделать его почти точным для малых сначала нужно использовать большое а затем взять небольшую случайную часть окончательного списка) , Я даю очень неофициальный аргумент, который является скорее объяснением, чем доказательством. $(\lambda-\mu)N=N$ $N$ $n$ $N$

Рассмотрим в пространстве наблюдений и небольшой объем вокруг с объемом Лебега . После выборки из число элементов в списке, которые также находятся в , приблизительно равно . После второго шага из него будет удалено приблизительно , и вы приблизительно получите желаемое число . Для этого нужно предположить, что количество точек в объеме достаточно велико. $x$ $v$ $x$ $\epsilon$ $g$ $v$ $\lambda Ng(x)\epsilon$ $\mu Nh(x)\epsilon$ $Np(x)\epsilon$

Очень маловероятно, что этот метод противостоит большой размерности или некоторым патологиям и но может работать в малой размерности и достаточно гладких, «достаточно однородных» распределениях. $g$ $h$

Примечание о точном методе:

Сначала я подумал об этом для дискретных распределений, и ясно, что в этом случае этот метод не является точным, поскольку он может генерировать выборки с вероятностью 0. У меня есть сильное убеждение, что точный метод невозможен с конечным временем обработки, и что это невозможность может быть доказана, по крайней мере, для дискретных распределений. Правило игры состоит в том, что вам разрешено использовать только точные сэмплеры «оракула» для и но вы не знаете и как функции от . Для простоты ограничимся распределениями Бернулли. Отсутствие точного метода связано с теорией фабрики Бернулли : если бы вы могли создать -койну из $g$ $h$ $g$ $h$ $x$ $(\lambda p - \mu q)$ $p$ -coin и -coin, тогда вы можете создать монету из монеты, которая, как известно, невозможна для . $q$ $\lambda p$ $p$ $\lambda>1$

— Бенуа Санчес
источник

Я подумал об этом, но отклонил его, потому что мои первоначальные попытки продемонстрировать, что он может работать, привели к осознанию того, что в лучшем случае он будет приблизительным и потенциально плохим. Да, асимптотически это может сработать, но он не будет отвечать запросу OP на «точную» выборку из распределения.

— whuber

Эффективность этого метода точно того же порядка, что и метод точного принятия-отклонения.

— Сиань

Согласовано. И все же они совершенно разные. Метод accept-reject должен вычислять и как функции от . Я сосредоточился на использовании только выборок из и качестве «оракулов», как в настоящей смеси. Чем больше я думаю об этом, тем больше я убежден, что точный метод, основанный на выборке оракулов, не может существовать.

g

$g$

h

$h$

x

$x$

g

$g$

h

$h$

— Бенуа Санчес

Я думаю , что это в целом правильно, но могут быть полезны классы особых случаев , когда такой точный метод делает существование. Это потому, что (1) в некоторых случаях вычисление легко и (2) вам не нужно вычислять и и вам нужно только вычислить это отношение.

g / (g + h)

$g/(g+h)$

g

$g$

h

$h$

— whuber

@BenoitSanchez Спасибо за ваш исчерпывающий ответ; Я особенно ценю комментарии в конце о (потенциальной) невозможности точности. Я встречал фабрики Бернулли в прошлом и нашел их довольно сложными; Я постараюсь вернуться к теме и посмотреть, если она дает какие-либо идеи.

— №8