Подгонка новых изображений из расчета SVD / PCA

Я пытаюсь повторить идеи со страницы Eigenface в Википедии. Из сотни образцов изображений, представленных матрицей данных (где каждое изображение сведено к вектору длины , то есть является матрицей размером на ), я вычислил декомпозицию SVD: $\bf X$ $n$ $\bf X$ $100$ $n$

X = U Σ V^{T}

$\begin{equation} \bf X = U \Sigma V^{T} \end{equation}$

следовательно:

X X^{T} = U Σ^{2} U^{T}

$\begin{equation} \bf X X^{T} = U \Sigma^2 U^{T} \end{equation}$

Принимая подмножество крупнейших собственных мод, можно аппроксимировать матрицу (пусть ): $q$ $\sigma_1 \ge \sigma_2 \ge \cdots$

X \approx σ_{1} u_{1} v_{1}^{T} + σ_{2} u_{2} v_{2}^{T} + \dots + σ_{q} u_{q} v_{q}^{T}

$\begin{equation} {\bf X} \approx \sigma_1 u_1 v_1^{T} + \sigma_2 u_2 v_2^{T} + \cdots + \sigma_q u_q v_q^{T} \end{equation}$

Теперь, учитывая новый вектор , который представляет изображение не в , как мне определить вес собственных векторов чтобы наилучшим образом представить мое новое изображение ? За исключением патологических случаев, является ли это представление уникальным? $y$ $\bf X$ $q$ $\bf U$ $y$

Короче говоря, то, что я хотел бы сделать, это (со страницы вики):

Эти собственные грани теперь можно использовать для представления как существующих, так и новых граней : мы можем спроецировать новое (вычтенное из среднего) изображение на собственные грани и тем самым записать, как это новое лицо отличается от среднего грани.

Как мне сделать эту проекцию?

computer-vision linear-systems linear-algebra

— Увлеченные
источник

Будущие читатели могут найти эту реализацию ценным.

— Эмре

Упомянутая «проекция» является векторной проекцией . Чтобы рассчитать проекцию вектора на вектор , вы используете внутреннее произведение двух векторов: $\mathbf{a}$ $\mathbf{b}$

a_{p r o j} = ⟨ a, b ⟩ b

$\mathbf{a_{proj}} = \langle \mathbf{a}, \mathbf{b} \rangle \mathbf{b}$

в этом случае - векторная компонента которая лежит в том же направлении от . В евклидовом пространстве оператор внутреннего произведения определяется как ихточечный продукт: $\mathbf{a_{proj}}$ $\mathbf{a}$ $\mathbf{b}$

⟨ a, b ⟩ = a \cdot b = \sum_{i = 1}^{n} a_{i} b_{i}

$\langle \mathbf{a}, \mathbf{b} \rangle = \mathbf{a} \cdot \mathbf{b} = \sum_{i=1}^{n}a_ib_i$

где - количество компонентов в векторах и а и - компонент векторов и соответственно. Интуитивно, вычисляя внутреннее произведение двух векторов, вы находите, «сколько из» вектора идет в направлении вектора . Обратите внимание, что это число со знаком, поэтому отрицательное значение будет означать, что угол между двумя векторами больше 90 градусов, как показано альтернативным определением для оператора проекции: $n$ $\mathbf{a}$ $\mathbf{b}$ $a_i$ $b_i$ $i$ $\mathbf{a}$ $\mathbf{b}$ $\mathbf{a}$ $\mathbf{b}$

a_{p r o j} = | a | \cos (θ) b

$\mathbf{a_{proj}} = |\mathbf{a}| \cos(\theta) \mathbf{b}$

где - угол между двумя векторами. $\theta$

Таким образом, учитывая вектор и набор базисных векторов , можно найти «сколько из » идет в каждом из направлений каждого из базисных векторов. Как правило, эти базисные векторы будут взаимно ортогональными. В вашем случае SVD - это ортогональное разложение, поэтому это условие должно быть выполнено. Итак, чтобы выполнить то, что вы описываете, вы должны взять матрицу собственных векторов и вычислить внутреннее произведение вектора-кандидата с каждым из столбцов матрицы: $\mathbf{a}$ $\mathbf{b_i}$ $\mathbf{a}$ $\mathbf{U}$ $\mathbf{y}$

p_{i} = y \cdot u_{i}

$p_i = \mathbf{y} \cdot \mathbf{u_i}$

Скалярное значение которое вы получаете от каждого внутреннего произведения, показывает, насколько хорошо вектор "выровнен" с собственным вектором. Поскольку собственные векторы ортонормированы , вы можете восстановить исходный вектор следующим образом: $p_i$ $\mathbf{y}$ $i$ $\mathbf{y}$

y = \sum_{i = 1}^{n} p_{i} u_{i}

$\mathbf{y} = \sum_{i=1}^n p_i \mathbf{u_i}$

$\mathbf{y}$ $\mathbf{U}$ $\mathbf{y}$

— Джейсон Р
источник

Отличный ответ, спасибо! Под «уникальным» я имел в виду уникальное в смысле основы, данной СВД. Я предполагаю, что, учитывая ортонормированную основу, то

y

$\bf y$ Вы должны вычислить должны быть уникальными - но если базис не ортонормирован, то он может не быть (так как если бы они не были ортогональными, то мы могли бы найти меньший базисный набор)?

— подключен

Все еще не уверен, к чему ты клонишь.

y

$\mathbf{y}$ это вектор, к которому вы перешли ваше новое изображение, так что он уникален как исходное изображение и процесс, который вы используете для определения соответствующего вектора. Базис векторного пространства по определению состоит из линейно независимых векторов, что обусловливает свойство взаимной ортогональности. Вы правильно заметили, что если вы спроектировали

y

$\mathbf{y}$ на множество неортогональных векторов вы могли бы придумать более компактное представление, если бы пространство, охватываемое векторами, имело меньшую базовую размерность (меньший базис).

— Джейсон Р