Как понимать «нелинейный» как «нелинейное уменьшение размерности»?

24

Я пытаюсь понять различия между методами уменьшения линейной размерности (например, PCA) и нелинейными (например, Isomap).

Я не совсем понимаю, что подразумевает (не) линейность в этом контексте. Я прочитал из Википедии, что

Для сравнения, если PCA (алгоритм линейного уменьшения размерности) используется для сокращения этого же набора данных в два измерения, результирующие значения не так хорошо организованы. Это показывает, что многомерные векторы (каждый из которых представляет букву «А»), которые образуют это многообразие, изменяются нелинейным образом.

Что значит

векторы с высокой размерностью (каждый из которых представляет букву «А»), которые образуют это многообразие, изменяются нелинейным образом.

означать? Или, в более широком смысле, как я понимаю (не) линейность в этом контексте?

— Sibbs Gambling
источник

20

Уменьшение размерности означает, что вы отображаете каждый многомерный вектор в низкоразмерный вектор. Другими словами, вы представляете (заменяете) каждый многомерный вектор низкоразмерным вектором.

Линейное уменьшение размерности означает, что компоненты вектора низкой размерности задаются линейными функциями компонентов соответствующего вектора большой размерности. Например, в случае сокращения до двух измерений мы имеем:

[x1, x2, ..., xn] ->  [f1(x1, x2, ..., xn), f2(x1, x2, ..., xn)]

Если f1и f2являются (не) линейными функциями, мы имеем (нелинейное) уменьшение размерности.

— Римский
источник

3

f (a \cdot x + b) = a \cdot f (x) + b

$f(a\cdot x + b) = a\cdot f(x) + b$

w_{1} x_{1} + \dots + w_{n} x_{n}

$w_1x_1 + \dots + w_nx_n$

1

f_{i} = f_{i} (x_{1}, \dots, x_{n}) = c^{(i)} + ω_{1}^{(i)} x_{1} + \dots ω_{n}^{(i)} x_{n}

$f_i = f_i (x_1, \dots, x_n) = c^{(i)} + \omega^{(i)}_1 x_1 + \dots \omega^{(i)}_n x_n$

f_{i}

$f_i$

x_{i}

$x_i$ являются компонентами низко- и высокомерных векторов соответственно (и я думаю, что это не то, что вы имеете в виду). Я думал, что проблема не в понимании, что такое линейная функция, а в том, где появляется линейность.

— Роман

49

Одна картинка стоит тысячи слов:

PCA против Isomap

Здесь мы ищем одномерную структуру в 2D. Точки лежат вдоль S-образной кривой. PCA пытается описать данные с помощью линейного одномерного многообразия, которое представляет собой просто линию; Конечно, строка соответствует этим данным довольно плохо. Isomap ищет нелинейное (то есть изогнутое!) Одномерное многообразие и должно быть в состоянии обнаружить лежащую в основе S-образную кривую.

— амеба говорит восстановить монику
источник