Метод случайных следов

10

Я встречал следующую методику рандомизированных следов у М. Сигера, «Обновления низкого ранга для разложения Холецкого», Университет Калифорнии в Беркли, Тех. Реп, 2007.

tr (A) = E [x^{T} A x]

$\operatorname{tr}(\mathbf{A}) = {E[\mathbf{x}^T \mathbf{A} \mathbf{x}]}$

где . $\mathbf{x} \sim N(\mathbf{0},\mathbf{I})$

Как человек без глубоких математических знаний, мне интересно, как можно достичь этого равенства. Кроме того, как мы можем интерпретировать , например, геометрически? Где я должен искать, чтобы понять смысл взятия внутреннего произведения вектора и его значения диапазона? Почему среднее значение равно сумме собственных значений? Помимо теоретического свойства, каково его практическое значение? $\mathbf{x}^T \mathbf{A} \mathbf{x}$

Я написал фрагмент кода MATLAB, чтобы увидеть, работает ли он

#% tr(A) == E[x'Ax], x ~ N(0,I)

N = 100000;
n = 3;
x = randn([n N]); % samples
A = magic(n); % any n by n matrix A

y = zeros(1, N);
for i = 1:N
    y(i) = x(:,i)' * A * x(:,i);
end
mean(y)
trace(A)

След 15, где приближение 14,9696.

normal-distribution matlab

— Petrichor
источник

12

NB. Указанный результат не зависит от предположения о нормальности или даже независимости от координат . Это также не зависит от положительно определенного. Действительно, предположим только, что координаты имеют нулевое среднее значение, дисперсию единицы и некоррелированы (но не обязательно независимы); то есть , и для всех . $\newcommand{\x}{\mathbf{x}}\newcommand{\e}{\mathbb{E}}\newcommand{\tr}{\mathbf{tr}}\newcommand{\A}{\mathbf{A}}\x$ $\A$ $\x$ $\e \x_i = 0$ $\e \x_i^2 = 1$ $\e \x_i \x_j = 0$ $i \neq j$

Подход голыми руками

Пусть - произвольная матрица. По определению . Тогда и все готово. $\A = (a_{ij})$ $n \times n$ $\tr(\A) = \sum_{i=1}^n a_{ii}$

t r (A) = \sum_{i = 1}^{n} a_{i i} = \sum_{i = 1}^{n} a_{i i} E x_{i}^{2} = \sum_{i = 1}^{n} a_{i i} E x_{i}^{2} + \sum_{i \neq j} a_{i j} E x_{i} x_{j},

$\tr(\A) = \sum_{i=1}^n a_{ii} = \sum_{i=1}^n a_{ii} \e \x_i^2 = \sum_{i=1}^n a_{ii} \e \x_i^2 + \sum_{i\neq j} a_{ij} \e \x_i \x_j ,$

В случае, если это не совсем очевидно, обратите внимание, что правая часть по линейности ожидания равна

\sum_{i = 1}^{n} a_{i i} E x_{i}^{2} + \sum_{i \neq j} a_{i j} E x_{i} x_{j} = E (\sum_{i = 1}^{n} \sum_{j = 1}^{n} a_{i j} x_{i} x_{j}) = E (x^{T} A x)

$\sum_{i=1}^n a_{ii} \e \x_i^2 + \sum_{i\neq j} a_{ij} \e \x_i \x_j = \e\Big(\sum_{i=1}^n \sum_{j=1}^n a_{ij} \x_i \x_j \Big) = \e(\x^T \A \x)$

Доказательство через свойства трассировки

Есть еще один способ написать это, что наводит на мысль, но концептуально опирается на немного более продвинутые инструменты. Нам нужно, чтобы и ожидание, и оператор трассировки были линейными и чтобы для любых двух матриц и соответствующих размеров, . Тогда, поскольку , мы имеем и так, $\A$ $\newcommand{\B}{\mathbf{B}}\B$ $\tr(\A\B) = \tr(\B\A)$ $\x^T \A \x = \tr(\x^T \A \x)$

E (x^{T} A x) = E (t r (x^{T} A x)) = E (t r (A x x^{T})) = t r (E (A x x^{T})) = t r (A E x x^{T}),

$\e(\x^T \A \x) = \e( \tr(\x^T \A \x) ) = \e( \tr(\A \x \x^T) ) = \tr( \e( \A \x \x^T ) ) = \tr( \A \e \x \x^T ),$

E (x^{T} A x) = t r (A I) = t r (A) .

$\e(\x^T \A \x) = \tr(\A \mathbf{I}) = \tr(\A) .$

Квадратичные формы, внутренние произведения и эллипсоиды

Если положительно определен, то внутреннее произведение на можно определить через и определяют эллипсоид в центром в начале координат. $\A$ $\mathbf{R}^n$ $\langle \x, \mathbf{y} \rangle_{\A} = \x^T \A \mathbf{y}$ $\mathcal{E}_{\A} = \{\x: \x^T \A \x = 1\}$ $\mathbf{R}^n$

— кардинальный
источник

Весьма запутанно следить за полужирными и mormalcase переменными. Я думаю, что они являются скалярными значениями. Я понимаю более четко, когда начинаю с формы ожидания, как вы делали в прошлой части. Итак, теперь для меня совершенно ясно.

x_{i}

$\mathbf{x}_i$

x_{i}

$x_i$

E [(x^{T} A x)] = E [(\sum_{i = 1}^{n} \sum_{j = 1}^{n} a_{i j} x_{i} x_{j})] = \sum_{i = 1}^{n} a_{i i} E [x_{i}^{2}] + \sum_{i \neq j} a_{i j} E [x_{i} x_{j}]

$\newcommand{\x}{\mathbf{x}}\newcommand{\tr}{\operatorname{tr}} {E[(\x^T \mathbf{A} \x)]} = {E[\Big(\sum_{i=1}^n \sum_{j=1}^n a_{ij} x_i x_j \Big)]} = \sum_{i=1}^n a_{ii} {E[x_i^2]} + \sum_{i\neq j} a_{ij} {E[x_i x_j]}$

— Петричор

x_{i}

$\mathbf{x}_i$ - это я координата вектора . Остальные просто опечатки. Прости за это. Я пытался следовать вашей записи как можно ближе. Я бы обычно использовал с в качестве координат случайной величины . Но я не хотел (потенциально) запутать.

i

$i$

x

$\mathbf{x}$

X = (X_{i})

$\mathbf{X} = (X_i)$

X_{i}

$X_i$

X

$\mathbf{X}$

— кардинал

На самом деле, это согласуется с ответом. Я просто хотел убедиться, что подписанные переменные являются элементами вектора. Теперь понятно.

— Петричор

Ну, это соответствует (сейчас), потому что я редактировал это! :) Спасибо за указание на опечатки. Я постараюсь добавить немного больше о геометрии в какой-то момент в течение следующих нескольких дней.

— кардинал

3

Если симметрично положительно определен, то с ортонормированным и диагональю с собственными значениями на диагонали. Поскольку имеет единичную ковариационную матрицу, а ортонормирован, также имеет единичную ковариационную матрицу. Следовательно, записывая , мы имеем . Поскольку оператор ожидания является линейным, это просто . Каждый является хи-квадрат с 1 степенью свободы, поэтому имеет ожидаемое значение 1. Следовательно, ожидание является суммой собственных значений. $A$ $A = U^tDU$ $U$ $D$ $x$ $U$ $Ux$ $y = Ux$ $E[x^TAx] = E[y^tDy]$ $\sum_{i=0}^n \lambda_i E[y_i^2]$ $y_i$

Геометрически симметричные положительно определенные матрицы находятся в 1-1 соответствии с эллипсоидами, заданными уравнением . Длина осей эллипсоида определяется как где - собственные значения. $A$ $x^TAx = 1$ $1/\sqrt\lambda_i$ $\lambda_i$

Когда где - ковариационная матрица, это квадрат расстояния Махаланобиса . $A = C^{-1}$ $C$

— aprokopiw
источник

1

Позвольте мне остановиться на части вопроса «какова ее практическая важность». Есть много ситуаций , в которых мы имеем возможность вычислять матрицу векторных произведений эффективно , даже если мы не будем иметь сохраненную копию матрицы или не имеют достаточно места , чтобы сохранить копию . Например, может иметь размер 100 000 на 100 000 и быть полностью плотным - для хранения такой матрицы в формате с плавающей запятой с двойной точностью потребуется 80 гигабайт оперативной памяти. $Ax$ $A$ $A$ $A$

Рандомизированные алгоритмы , как это может быть использовано для оценки следов или (используя связанный алгоритм) индивидуальные диагональные элементы . $A$ $A$

Некоторые применения этого метода для крупномасштабных задач геофизической инверсии обсуждаются в

Дж. К. Маккарти, Б. Борхерс и Р. К. Астер. Эффективная стохастическая оценка диагонали матрицы разрешения модели и обобщенная перекрестная проверка для больших геофизических обратных задач. Журнал геофизических исследований, 116, B10304, 2011. Ссылка на статью

— Брайан Борхерс
источник

+1 Я познакомился с рандомизированными алгоритмами в этом семестре и увлекся ими. Позвольте мне добавить еще одну хорошую статью. Натан Халко, Пер-Гуннар Мартинссон, Джоэл А. Тропп, «Нахождение структуры со случайностью: вероятностные алгоритмы построения приближенных матричных разложений», 2010, arxiv.org/abs/0909.4061

— petrichor