Объясните шаги алгоритма LLE (локальное линейное вложение)?

Я понимаю, что основной принцип, лежащий в основе алгоритма LLE, состоит из трех этапов.

1. Нахождение окрестности каждой точки данных по некоторой метрике, такой как k-nn.
2. Найти веса для каждого соседа, которые обозначают влияние, которое сосед оказывает на точку данных.
3. Построить низкоразмерное вложение данных на основе вычисленных весов.

Но математическое объяснение шагов 2 и 3 сбивает с толку все учебники и онлайн-ресурсы, которые я читал. Я не могу объяснить, почему формулы используются.

Как эти шаги выполняются на практике? Есть ли интуитивно понятный способ объяснения используемых математических формул?

Ссылки: http://www.cs.nyu.edu/~roweis/lle/publications.html

Локальное линейное вложение (LLE) устраняет необходимость оценивать расстояние между удаленными объектами и восстанавливает глобальную нелинейную структуру с помощью локальных линейных подгонок. LLE является выгодным, потому что в нем нет таких параметров, как скорость обучения или критерии конвергенции. LLE также хорошо масштабируется с внутренней размерностью $\mathbf{Y}$ . Целевая функция для LLE:

$$\begin{equation} \zeta(\mathbf{Y})=(\mathbf{Y}- \mathbf{WY})^2\\ \quad \quad \quad \quad \quad\quad \quad = \mathbf{Y}^\top (\mathbf{I}-\mathbf{W})^\top (\mathbf{I}-\mathbf{W})\mathbf{Y} \end{equation}$$ весовой матрицы$\mathbf{W}$ элементов$w_{ij}$ для объектов$i$ и$j$ устанавливаются в нольесли$j$ не является ближайшим соседом$i$ ,противном случае, весов для K- ближайшие соседи объекта$i$ определяются по методу наименьших квадратов $$\begin{equation} \mathbf{U}=\mathbf{G}\boldsymbol{\beta} \end{equation}$$ где зависимая переменнаяявляетсявектором единиц,$\mathbf{U}$$K \times 1$$\mathbf{G}$ является матрицей Грама для всех ближайших соседей объекта , а - вектором весов которые следуют ограничениям суммы на единицу. Пусть - симметричная положительная полуопределенная матрица расстояний для всех пар K-ближайших соседей -мерного объекта . Можно показать, что равен двухцентровой матрице расстояний с элементами $K \times K$$i$$\boldsymbol{\beta}$$K \times 1$$\mathbf{D}$$K \times K$$p$$\mathbf{x}_i$$\mathbf{G}$$\boldsymbol{\tau}$ $$\begin{equation} \tau_{lm}=-\frac{1}{2} \left( d_{lm}^2 - \frac{1}{K}\sum_l d_{lm}^2 - \frac{1}{K}\sum_m d_{lm}^2 + \sum_l\sum_m d_{lm}^2 \right). \end{equation}$$ К β К × 1 = ( т ⊤ т ) К × K - 1 т ⊤ U К × 1 , β я Коэффициенты регрессии определяются численно с использованием и проверены чтобы подтвердить, что они сводятся к единству. Значения встроены в ряд из на различных позициях столбцов , соответствующих K-ближайших соседей объекта$K$ $$\begin{equation} \underset{K \times 1}{\boldsymbol{\beta}}=\underset{K \times K}{(\boldsymbol{\tau}^\top \boldsymbol{\tau})}^{-1}\underset{K \times 1}{\boldsymbol{\tau}^\top\mathbf{U}}, \end{equation}$$ $\boldsymbol{\beta}$$i$$\mathbf{W}$$i$, а также транспонировать элементы. Это повторяется для каждого го объекта в наборе данных. Следует отметить, что если число ближайших соседей слишком мало, то может быть разреженным, что затрудняет собственный анализ. Было обнаружено, что ближайших соседей приводят к матрицам которые не содержат патологий во время собственного анализа. Целевая функция минимизируется путем нахождения наименьших ненулевых собственных значений Сокращенная форма представлена$i$$K$$\mathbf{W}$$K=9$$\mathbf{W}$ $$\begin{equation} (\mathbf{I}-\mathbf{W})^\top(\mathbf{I}-\mathbf{W})\mathbf{E}=\boldsymbol{\Lambda}\mathbf{D}\mathbf{E}. \end{equation}$$ $\mathbf{X}$$\mathbf{Y}=\mathbf{E}$E n × 2 Λ где имеет размеры основанные на двух нижних собственных значениях . $\mathbf{E}$$n \times 2$$\boldsymbol{\Lambda}$