Выборка из многомерного гауссова с графом лапласовой (обратной) ковариации

Мы знаем, например, из Koutis-Miller-Peng (на основе работы Spielman & Teng), что мы можем очень быстро решить линейные системы $A x = b$ для матриц $A$ которые представляют собой матрицу Лапласа графа для некоторого разреженного графа с неотрицательными весами ребер ,

Теперь (первый вопрос) рассмотрим использование одной из этих графов лапласовских матриц $A$ в качестве ковариационной или (второй вопрос) обратной ковариационной матрицы многомерного нормального распределения с нулевым средним или . Для каждого из этих случаев у меня есть два вопроса: $\mathcal{N}(\boldsymbol{0}, A)$ $\mathcal{N}(\boldsymbol{0}, A^{-1})$

A. Насколько эффективно мы можем извлечь образец из этого распределения? (Как правило, чтобы нарисовать образец, мы вычисляем разложение Холецкого , нарисуем стандартную нормаль , затем вычисляем образец как ). $A = LL^T$ $y \sim \mathcal{N}(\boldsymbol{0}, I)$ $x = L^{-1} y$

B. Насколько эффективно мы можем вычислить определитель $A$ ?

Обратите внимание, что оба из них могут быть легко решены с помощью разложения Холецкого, но я не сразу вижу, как извлечь $L$ более эффективно, чем просто с помощью стандартного разреженного алгоритма Холецкого, который не будет использовать методы, представленные в вышеупомянутой ссылке работает, и который будет иметь кубическую сложность для графов разреженной, но высокой ширины.

— dan_x
источник

Я думаю, что это может помочь немного конкретизировать то, что вы считаете «эффективным» в обоих случаях. Является ли «эффективность» такой же, как «не зависит от разложения Холецкого»?

— Суреш Венкат

Спасибо за предложение. Возможно, ответ на все вопросы таков: «вам нужно вычислить разложение Холецкого, и нет структуры, которую можно было бы использовать за пределами редкости матрицы». Мне было бы интересно узнать, правда ли это (но я надеюсь, что это не так). Что касается «эффективно» в последнем абзаце, да, я в основном имею в виду более эффективно, чем стандартные разреженные алгоритмы Холецкого. Хотя, если бы был способ использовать методы вышеупомянутой работы, чтобы вычислить число Холецки так же быстро, как это можно сделать с помощью других средств, это также было бы интересно.

— dan_x

Если вы хотите произвести выборку из , вы можете использовать это , где - матрица заболеваемости на графике. Таким образом, вы можете попробовать от стандартной гауссовой на ( являются ребра) и применить линейное преобразование . Я не знаю, как это соотносится с предложениями ниже, но вам не нужно вычислять разложение Холецкого.

N (0, A)

$N(0,A)$

A = B^{T} B

$A = B^T B$

B

$B$

R^{E}

$\mathbb{R}^E$

E

$E$

B

$B$

— Лоренцо Найт

Здесь есть два отдельных вопроса.

Как использовать эффективные решатель для для применения . $Ax=b$ $A^{1/2}b$
Как вычислить определитель.

Краткие ответы: 1) использовать приближения рациональных матричных функций и 2) нет, но в любом случае вам это не нужно. Я рассматриваю оба эти вопроса ниже.

Матрица квадратного корня

Идея состоит в том, чтобы преобразовать приближение рациональной функции для скалярных функций в приближение рациональной функции для матричных функций.

Мы знаем, что существуют рациональные функции, которые могут очень хорошо аппроксимировать функцию квадратного корня, для положительного. Действительно, чтобы получить высокую точность на интервале, вам нужно

\sqrt{x} \approx r (x) := \frac{a_{1}}{x + b_{1}} + \frac{a_{2}}{x + b_{2}} + \dots + \frac{a_{N}}{x + b_{N}},

$\sqrt{x} \approx r(x) := \frac{a_1}{x+b_1} + \frac{a_2}{x+b_2} + \dots + \frac{a_N}{x+b_N},$

b_{i}

$b_i$

[m, M]

$[m,M]$

условия в серии. Чтобы получить подходящие веса (

) и полюса (

), просто найдите рациональное приближение функции онлайн или в книге.

O (\log \frac{M}{m})

$O(\log \frac{M}{m})$

a_{i}

$a_i$

- b_{i}

$-b_i$

Теперь рассмотрим применение этой рациональной функции к вашей матрице:

r (A) = a_{1} (A + b_{1} I)^{- 1} + a_{2} (A + b_{2} I)^{- 1} + \dots + a_{N} (A + b_{N} I)^{- 1} .

$r(A) = a_1(A + b_1 I)^{-1} + a_2(A + b_2 I)^{-1} + \dots + a_N(A + b_N I)^{-1}.$

$A$

\begin{aligned} | | A^{1 / 2} - r (A) | |_{2} & = | | U (Σ^{1 / 2} - r (Σ)) U^{*} | |_{2}, \\ = max_{i} | \sqrt{σ_{i}} - r (σ_{i}) | \end{aligned}

$\begin{align} ||A^{1/2} - r(A)||_2 &= ||U\left(\Sigma^{1/2} - r(\Sigma)\right)U^*||_2, \\ &= \max_i |\sqrt{\sigma_i} - r(\sigma_i)| \end{align}$

A = U Σ U^{*}

$A = U \Sigma U^*$

A

$A$

Обозначив число условия через , мы можем применить к любому желаемому допуску, выполнив положительно смещенный граф лапласовых решений вида $A$ $\kappa$ $A^{1/2}b$ $O(\log \kappa)$

(A + b I) x = b .

$(A + bI)x=b.$

Эти решения могут быть сделаны с вашим любимым графическим лапласовским решателем - я предпочитаю методы многосеточного типа, но тот, который вы цитируете, тоже подойдет. Дополнительный только помогает сходимости решателя. $bI$

Отличная статья, в которой обсуждается это, а также более общие методы комплексного анализа, применимые к несимметричным матрицам, см. разделе « Вычисление , и связанных матричных функций с помощью контурных интегралов» $A^α$ $\log(A)$ , Hale, Higham и Trefethen (2008). ).

Определитель "вычисления"

Детерминант сложнее вычислить. Насколько я знаю, лучший способ вычислить разложение Шура с помощью QR - алгоритма, а затем считывать собственные от диагонали верхней треугольной матрицы . Это занимает времени, где - количество узлов в графе. $A = Q U Q^*$ $U$ $O(n^3)$ $n$

Однако вычисление детерминантов является изначально плохо обусловленной проблемой, поэтому, если вы когда-либо читали статью, которая основывается на вычислении детерминантов большой матрицы, вы должны очень скептически относиться к этому методу.

К счастью, вам, вероятно, не нужен определитель. Например,

Чтобы нарисовать выборки из одного гауссовского распределения , константа нормализации одинакова во всех точках, поэтому вам никогда не придется ее вычислять. $N(0,A^{-1})$
Если ваша матрица Лапласа представляет обратную ковариацию локального гауссова приближения в точке к негауссову распределению, то определитель действительно меняется от точки к точке. Тем не менее, в каждой эффективной схеме выборки, которую я знаю (включая цепочку Маркова, Монте-Карло, выборку по важности и т. Д.), Вам действительно нужно соотношение детерминантов , где - текущая точка, а - предлагаемый следующий образец. $A = A_x$ $x$ $det (A_{x_{0}}^{- 1} A_{x_{p}}),$ $\det(A_{x_0}^{-1}A_{x_p}),$ $x_0$ $x_p$

Мы можем рассматривать как низкоуровневое обновление идентификатора, где эффективный числовой ранг низшего ранга является локальной мерой того, насколько негауссово истинное распределение; обычно это намного ниже, чем полный ранг матрицы. В самом деле, если велико, то истинное распределение локально настолько негауссово, что следует подвергнуть сомнению всю стратегию попытки выборки этого распределения с использованием локальных гауссовых приближений. $A_{x_0}^{-1}A_{x_p}$

A_{x_{0}}^{- 1} A_{x_{p}} = I + Q D Q^{*},

$A_{x_0}^{-1}A_{x_p} = I + Q D Q^*,$

r

$r$

r

$r$

Факторы низкого ранга и можно найти с помощью рандомизированных SVD или Lanczos, применяя матрицу к различным векторам, для каждого применения которых требуется один граф Лапласово решение. Таким образом, общая работа по получению этих факторов низкого ранга составляет . $Q$ $D$

A_{x_{0}}^{- 1} A_{x_{p}} - I

$A_{x_0}^{-1}A_{x_p} -I$

O (r)

$O(r)$

O (r max (n, E))

$O(r \max(n,E))$

Зная , отношение определителей будет тогда $D = \text{diag}(d_1,d_2,\dots,d_r)$

det (A_{x_{0}}^{- 1} A_{x_{p}}) = det (I + Q D Q^{*}) = \exp (\sum_{i = 1}^{r} \log d_{i}) .

$\det(A_{x_0}^{-1}A_{x_p}) = \det(I + Q D Q^*) = \exp\left(\sum_{i=1}^r \log d_i\right).$

Эти методы расчета коэффициента детерминанта низкого ранга можно найти в методе стохастического Ньютона MCMC для крупномасштабных статистических обратных задач с применением к сейсмической инверсии , Martin, et al. (2012). В этой статье он применяется к задачам континуума, поэтому «граф» - это сетка в трехмерном пространстве, а граф Лапласа - это действительная матрица Лапласа. Однако все техники применимы к лапласианам общего графа. Вероятно, есть и другие статьи, в которых этот метод применяется к общим графам (расширение тривиально и, в основном, то, что я только что написал)

— Ник Алджер
источник