Какая интуиция стоит за СВД?

Я читал о разложении сингулярных значений (SVD). Почти во всех учебниках упоминается, что она разбивает матрицу на три матрицы с заданной спецификацией.

Но какова интуиция, лежащая в основе разделения матрицы в такой форме? PCA и другие алгоритмы уменьшения размерности интуитивно понятны в том смысле, что алгоритм обладает хорошим свойством визуализации, но с SVD это не так.

Запишите SVD матрицы (вещественное, n × p ) как X = U D V T, где U - n × p , D - диагональ p × p, а V T - p × p . В терминах столбцов матриц U и V мы можем записать X = ∑ p i = 1 d i u i v T $X$$n\times p$

$$X = U D V^T$$ $U$$n\times p$$D$$p\times p$$V^T$$p\times p$$U$$V$$X=\sum_{i=1}^p d_i u_i v_i^T$, Это показывает, что записано в виде суммы p рангов-1 матриц. Как выглядит матрица ранга 1? Давайте посмотрим: ( 1 2 3 ) ( 4 5 6 ) = ( 4 5 6 8 10 12 12 15 18 ) Строки пропорциональны, а столбцы пропорциональны.$X$$p$ $$\begin{pmatrix} 1 \\ 2 \\ 3 \end{pmatrix} \begin{pmatrix} 4 & 5 & 6 \end{pmatrix} = \begin{pmatrix} 4 & 5 & 6 \\ 8 & 10 & 12 \\ 12 & 15 & 18 \end{pmatrix}$$

Теперь представьте, что содержит значения черно-белого изображения в оттенках серого, каждая запись в матрице представляет один пиксель. Например, следующая картина бабуина:$X$

Затем прочитайте это изображение в R и получите матричную часть полученной структуры, возможно, используя библиотеку pixmap.

---

Если вы хотите получить пошаговое руководство по воспроизведению результатов, вы можете найти код здесь .

---

Рассчитаем СВД:

baboon.svd  <-  svd(bab) # May take some time

$512 \times 512$$512$$512$$1$$20$

baboon.1  <-  sweep(baboon.svd$u[,1,drop=FALSE],2,baboon.svd$d[1],"*") %*%
                   t(baboon.svd$v[,1,drop=FALSE])

baboon.20 <-  sweep(baboon.svd$u[,1:20,drop=FALSE],2,baboon.svd$d[1:20],"*") %*%
                   t(baboon.svd$v[,1:20,drop=FALSE])

в результате чего получаются следующие два изображения:

Слева мы можем легко увидеть вертикальные / горизонтальные полосы на изображении ранга 1.

$20$

Что довольно интересно: мы видим части исходного изображения, которые трудно представить как суперпозицию вертикальных / горизонтальных линий, в основном волосы диагонального носа и некоторую текстуру, а также глаза!

$A$$m \times n$$m \geq n$$v$$A$

$$\begin{align} \tag{1}v_1 = \,\,& \arg \max_{v \in \mathbb R^n} \quad \| A v \|_2 \\ & \text{subject to } \, \|v\|_2 = 1. \end{align}$$ $v_1$$A$ $$\begin{align} v_2 = \,\,& \arg \max_{v \in \mathbb R^n} \quad \| A v \|_2 \\ & \text{subject to } \,\langle v_1, v \rangle = 0, \\ & \qquad \qquad \, \, \, \, \|v\|_2 = 1. \end{align}$$ $v_1, \ldots, v_n$$\mathbb R^n$$\mathbb R^n$$A$

Пусть (поэтому количественно определяет взрывную силу в направлении ). Предположим, что единичные векторы определены так, что Уравнения (2) могут быть кратко выражены с использованием матричной записи в виде где - матрица , й столбец которой равен , - матрица чья столбец и$\sigma_i = \|A v_i \|_2$$\sigma_i$$A$$v_i$$u_i$

$$\tag{2} A v_i = \sigma_i u_i \quad \text{for } i = 1, \ldots, n.$$ $$\tag{3} A V = U \Sigma,$$ $V$$n \times n$$i$$v_i$$U$$m \times n$$i$$u_i$$\Sigma$это диагональная матрица, й диагональный элемент которой равен . Матрица ортогональна, поэтому мы можем умножить обе части (3) на чтобы получить Может показаться, что теперь мы вывели SVD из с почти нулевым усилием. Ни один из шагов до сих пор не был сложным. Однако важная часть картины отсутствует - мы еще не знаем, что ортогонально.$n \times n$$i$$\sigma_i$$V$$V^T$ $$A = U \Sigma V^T.$$ $A$$U$

Вот ключевой факт, отсутствующий фрагмент: оказывается, что ортогонален : Я утверждаю, что если это не так, то не будет оптимальным для задачи (1). Действительно, если бы (4) не было выполнено, то можно было бы улучшить , немного его возмутив в направлении .$A v_1$$A v_2$

$$\tag{4} \langle A v_1, A v_2 \rangle = 0.$$ $v_1$ $v_1$$v_2$

Предположим (для противоречия), что (4) не выполняется. Если слегка возмущается в ортогональном направлении , норма не изменяется (или, по крайней мере, изменение нормы незначительно). Когда я иду по поверхности земли, мое расстояние от центра Земли не меняется. Однако, когда возмущается в направлении , вектор возмущается в неортогональном направлении , и поэтому изменение нормы является пренебрежимо малым . Норма$v_1$$v_2$$v_1$$v_1$$v_1$$v_2$$A v_1$$A v_2$$A v_1$$A v_1$может быть увеличено на незначительную сумму. Это означает, что не является оптимальным для задачи (1), что противоречит. Мне нравится этот аргумент, потому что: 1) интуиция очень ясна; 2) интуиция может быть преобразована непосредственно в строгое доказательство.$v_1$

Аналогичный аргумент показывает, что является ортогональным как к и к , и так далее. Векторы попарно ортогональны. Это означает, что единичные векторы могут быть выбраны попарно ортогональными, что означает, что матрица выше является ортогональной матрицей. Это завершает наше открытие СВД.$A v_3$$A v_1$$A v_2$$A v_1, \ldots, A v_n$$u_1, \ldots, u_n$$U$

---

Чтобы преобразовать приведенный выше интуитивный аргумент в строгое доказательство, мы должны учитывать тот факт, что если возмущен в направлении , возмущенный вектор действительно не является единичным вектором. (Его норма .) Чтобы получить строгое доказательство, определите Вектор действительно является единичным вектором. Но, как вы можете легко показать, если (4) не выполняется, то для достаточно малых значений имеем (при условии, что знак$v_1$$v_2$

$$\tilde v_1 = v_1 + \epsilon v_2$$ $\sqrt{1 + \epsilon^2}$ $$\bar v_1(\epsilon) = \sqrt{1 - \epsilon^2} v_1 + \epsilon v_2.$$ $\bar v_1(\epsilon)$$\epsilon$ $$f(\epsilon) = \| A \bar v_1(\epsilon) \|_2^2 > \| A v_1 \|_2^2$$ $\epsilon$выбран правильно). Чтобы показать это, просто проверьте, что . Это означает, что не является оптимальным для задачи (1), что противоречит.$f'(0) \neq 0$$v_1$

(Кстати, я рекомендую прочитать объяснение Qiaochu Юаня из СВДА здесь . В частности, обратите внимание на «Key лемме # 1», которая является то , что мы обсуждали выше. Как Qiaochu говорит, ключевая лемму # 1 является «техническим сердцем разложения по сингулярным числам ".)

Чувак, потрать час своего дня и посмотри эту лекцию: https://www.youtube.com/watch?v=EokL7E6o1AE

Этот парень очень прямолинеен, важно не пропускать ничего из этого, потому что в конце концов все сводится вместе. Даже если вначале это может показаться немного медленным, он пытается определить критическую точку, что он и делает!

Я подведу итог для вас, вместо того, чтобы просто дать вам три матрицы, которые все делают (потому что это сбивало меня с толку, когда я читал другие описания). Откуда взялись эти матрицы и почему мы так настроили их? Лекция прибивает это! Каждая матрица (когда-либо существовавшая в истории вечности) может быть построена из базовой матрицы с одинаковыми размерами, затем повернуть ее и растянуть (это основная теорема линейной алгебры). Каждая из этих трех матриц, которые бросают люди, представляет собой исходную матрицу (U), матрицу масштабирования (сигма) и матрицу вращения (V).

Матрица масштабирования показывает, какие векторы вращения являются доминирующими, они называются сингулярными значениями. Разложение является решающим для U, сигма и V.