Ссылки, которые оправдывают использование гауссовых смесей

Модели гауссовых смесей (GMM) привлекательны, потому что с ними просто работать как в аналитическом, так и на практическом плане, и они способны моделировать некоторые экзотические распределения без особых сложностей. Есть несколько аналитических свойств, которые мы должны ожидать, которые в целом не ясны. Особенно:

Скажем, $S_n$ - класс всех гауссовых смесей с компонентами. Гарантируем ли мы для любого непрерывного распределения на вещественных значениях, что с ростом мы можем приблизить с GMM с незначительными потерями в смысле относительной энтропии? То есть $n$ $P$ $n$ $P$ $lim_{n \to \infty} inf_{\hat{P} \in S_{n}} D (P | | \hat{P}) = 0 ?$ $\lim_{n\rightarrow \infty}\inf_{\hat{P}\in S_n} D(P||\hat{P})=0?$
Скажем, у нас есть непрерывное распределение $P$ и мы нашли $N$ -компонентную гауссову смесь $\hat{P}$ которая близка к $P$ в полной вариации: $\delta(P,\hat{P})<\varepsilon$ . Можем ли мы связать $D(P||\hat{P})$ в терминах $\epsilon$ ?
Если мы хотим наблюдать через независимый аддитивный шум (как действительный, непрерывный), и у нас есть GMMs где , тогда это значение мало: т. Е. Правда ли, что оценить шум через примерно так же сложно, как оценить шум через ? $X\sim P_X$ $Y\sim P_Y$ $\hat{X} \sim Q_X, \hat{Y} \sim Q_N$ $\delta(P,Q)<\epsilon$ $| m m s e (X | X + Y) - m m s e (\hat{X} | \hat{X} + \hat{Y}) |,$ $\left|\mathsf{mmse}(X|X+Y)-\mathsf{mmse}(\hat{X}| \hat{X}+\hat{Y})\right|,$ $X$ $Y$ $\hat{X}$ $\hat{Y}$
Можете ли вы сделать это для моделей с неаддитивным шумом, таких как шум Пуассона?

Мой (короткий) обзор литературы только что нашел очень прикладные уроки. Есть ли у кого-нибудь ссылки, которые строго демонстрируют, при каких условиях мы оправдываемся при использовании смешанных моделей?

— enthdegree
источник

Множество ГММ плотно на множестве распределений в слабой топологии (что соответствует сходимости в распределении); см. например здесь . Я не уверен , имеет ли ваше первое заявление, хотя это, безусловно , потребует позволяя компоненты нулевой дисперсии в смеси , чтобы иметь дело с любыми точечными массами в . Я также скептически отношусь ко второму пункту, опять же из-за вопроса о точечных массах.

P

$P$

— Дугал

Хороший вопрос, я указал, что все должно быть непрерывным

— enthdegree

Возможно, вам повезет больше, глядя на литературу по оценке плотности ядра с гауссовыми ядрами. Поскольку у вас есть смесь гауссиан с одним на выборку, с увеличением количества выборок вы получаете асимптотически несмещенную и последовательную оценку распределения? Я думаю, что ответ - да, но не мог сразу найти ссылку.

— Грег Вер Стиг

@enthdegree: очень хороший вопрос. Поскольку вы хотите использовать сильные топологии (дивергенцию KL и полную вариацию), общий ответ на ваши первые два пункта - нет: например, рассмотрите распределение с "жирным хвостом"; KL для любой конечной гауссовой смеси бесконечен (я уверен, что это работает, но не на 100%). Но это приводит к гораздо более интересному вопросу, к какому подклассу распределений вероятностей применимы все ваши маркеры? Я не знаю ответа, но он кажется чрезвычайно интересным. Я думаю, что это, вероятно, почти все распределения вероятностей.

— Гийом Дехен,

Я взял класс с этой книгой. ссылка Это делает некоторый приличный фон по основам.

— EngrStudent - Восстановить Монику

Ответы:

В эконометрике, где контекст представляет собой смешанные распределения коэффициентов в логит-моделях, стандартным справочником является: СМЕШАННЫЕ МНЛ-МОДЕЛИ ДЛЯ ДИСКРЕТНОГО ОТВЕТА ДЭНЬЯ МАКФАДДЕНА И КЕННЕТА, ЖУРНАЛ ПРИКЛАДНОЙ ЭКОНОМЕТРИКИ, J. Appl. Econ. 15: 447-470 (2000).

— Тим
источник

Что касается ваших вопросов:

Для очень похожей байесовской проблемы гауссовского процесса Дирихле, я понимаю, что ответ - да. Ghosal (2013) .
Когда я присутствовал на некоторых выступлениях на эту тему, казалось, что прогресс был достигнут главным образом с помощью дивергенции KL. Посмотрите слайды Гарри ван Зантена .
Мне не понятно Однако это выглядит как проблема разделения источника ( ). Как правило, они намного сложнее, чем моделирование смеси. В частности, для простого случая вы не сможете идентифицировать истинные и из-за симметрии распределений около нуля. $P_N, P_S$ $P_N = P_S = N(0,1)$ $X$ $Y$
См. Четвертый из слайдов, связанных выше, есть список байесовских моделей, для которых имеют место гарантии конвергенции.

— гипотезы
источник

Вот частичный ответ.

Скажем, - класс всех гауссовых смесей с компонентами. Гарантируем ли мы для любого непрерывного распределения на вещественных значениях, что с ростом мы можем приблизить с GMM с незначительными потерями в смысле относительной энтропии? То есть, делает $S_n$ $n$ $P$ $n$ $P$
$lim_{n \to \infty} inf_{\hat{P} \in S_{n}} D (P | | \hat{P}) = 0 ?$ $\lim_{n\rightarrow \infty}\inf_{\hat{P}\in S_n} D(P||\hat{P})=0?$

Нет , вы только надеяться , что KL дивергенции мала , если вы знаете , что «хвосты s в конце концов одного и того же порядка, что и » s. Это не правда в целом. Не трудно видеть , что для Коши , то для любого , $D(P\|Q)$ $Q$ $P$ $P$ $n$

inf_{\hat{P} \in S_{n}} D (P | | \hat{P}) = \infty

$\inf_{\hat{P}\in S_n} D(P||\hat{P})=\infty$

Чтобы сказать это, нужно больше условий на $P$

Скажем , мы имеем непрерывное распределение и мы нашли -компонент гауссовой смеси , которая близка к в общей вариации: . Можем ли мы связаны в терминах ? $P$ $N$ $\hat{P}$ $P$ $\delta(P,\hat{P})<\varepsilon$ $D(P||\hat{P})$ $\epsilon$

Нет. Тот же пример приведен выше.

$X\sim P_X$ $Y\sim P_Y$ $\hat{X} \sim Q_X, \hat{Y} \sim Q_Y$ $\delta(P,Q)<\epsilon$
$| m m s e (X | X + Y) - m m s e (\hat{X} | \hat{X} + \hat{Y}) |,$ $\left|\mathsf{mmse}(X|X+Y)-\mathsf{mmse}(\hat{X}| \hat{X}+\hat{Y})\right|,$ $X$ $Y$ $\hat{X}$ $\hat{Y}$

$X,Y,\hat{X},\hat{Y}$ $E[X|Y]$ $E[\hat{X}|\hat{Y}]$ $|E_P[(E_P[X|Y]-X)^2]-E_Q[(E_Q[X|Y]-X)^2]|$ $TV(P,Q)$

Я не смог доказать это ни в целом, ни с использованием дополнительной аддитивной структуры, которую мы предположили для P, Q, или придумали какие-либо контрпримеры.

Можете ли вы сделать это для моделей с неаддитивным шумом, таких как шум Пуассона?

Это неоднозначно. В контексте предыдущего вопроса, если утверждение в этом ответе может быть доказано в целом, тогда ответ - да.

— enthdegree
источник