Строго говоря, «случайная проекция» не является проекцией?

10

Текущие реализации алгоритма случайного Проекционного уменьшить размерность выборок данных путем сопоставления их с к с использованием проекции матрицы , элементы которой являются IID из подходящего распределения (например , из ): $\mathbb R^d$ $\mathbb R^k$ $d\times k$ $R$ $\mathcal N(0,1)$

$x^\prime = \frac{1}{\sqrt k}xR$

Удобно, что существуют теоретические доказательства, показывающие, что это отображение приблизительно сохраняет попарные расстояния.

Однако недавно я нашел эти заметки, где автор утверждает, что это отображение со случайной матрицей не является проекцией в строгом линейном алгебраическом смысле этого слова (стр. 6). Из приведенных там объяснений это объясняется тем, что столбцы не являются строго ортогональными, когда его элементы независимо выбираются из . Следовательно, более ранние версии RP, в которых была применена ортогональность столбцов можно рассматривать как проекцию. $R$ $\mathcal N(0,1)$ $R$

Можете ли вы дать более подробное объяснение: (1) каково определение проекции в этом строгом смысле и (2) почему RP не является проекцией согласно этому определению ?.

— Даниэль Лопес
источник

1

Вы можете найти ответы на (1), выполнив поиск на нашем сайте . Утверждение (2) является непосредственным, потому что, если столбцы всегда были ортогональны, их записи не могли быть независимыми.

— whuber

4

Каково определение проекции в этом строгом (линейном алгебраическом) смысле (слова)

https://en.wikipedia.org/wiki/Projection_(linear_algebra)

В линейной алгебры и функционального анализа, проекция есть линейное преобразование из векторного пространства в себя, что . То есть всякий раз, когда применяется дважды к любому значению, он дает тот же результат, как если бы он был применен один раз (идемпотент). $P$ $P^2 = P$ $P$

Для ортогональной или векторной проекции

https://en.wikipedia.org/wiki/Projection_(linear_algebra)

Ортогональная проекция - это проекция, для которой диапазон U и нулевое пространство V являются ортогональными подпространствами.
Почему RP не является проекцией по этому определению?

Майкл Махони пишет в своих примечаниях к лекции, что это зависит от того, как построено RP, является ли RP проекцией в традиционном линейном алгебраическом смысле. Это он делает в третьем и четвертом пунктах:

В-третьих, если бы случайные векторы были точно ортогональными (как они были на самом деле в исходных конструкциях JL), то мы имели бы, что проекция JL была ортогональной проекцией

...

но хотя это неверно для гауссианов, случайных величин и большинства других конструкций, можно доказать, что полученные векторы имеют приблизительно единичную длину и приблизительно ортогональные $\lbrace \pm \rbrace$

...

это «достаточно хорошо».

Таким образом, вы можете сделать, в принципе, случайную проекцию с другой конструкцией, которая ограничена ортогональными матрицами (хотя это и не нужно). Смотрите, например, оригинальную работу:

Джонсон, Уильям Б. и Йорам Линденштраус. «Расширения липшицевых отображений в гильбертово пространство». Современная математика 26.189-206 (1984): 1.

... если случайным образом ортогональную проекцию ранга на $k$ $l_2^n$

...

Чтобы сделать это более точным, пусть будет проекцией на первые координат и пусть будет нормализованной мерой Хаара на , ортогональной группе на . Тогда случайная величина определяемая как определяет понятие «случайной проекции ранга ». $Q$ $k$ $l_2^n$ $\sigma$ $O(n)$ $l_2^n$
$f : (O (n), σ) \to L (l_{2}^{n})$ $f: (O(n), \sigma) \to L(l_2^n)$ $f (u) = U^{⋆} Q U$ $f(u) = U^\star Q U$ $k$

Запись в Википедии описывает случайную проекцию таким образом (то же самое упоминается в примечаниях к лекциям на страницах 10 и 11).

https://en.wikipedia.org/wiki/Random_projection#Gaussian_random_projection

Первая строка - это случайный единичный вектор, равномерно выбранный из . Вторая строка представляет собой случайный единичный вектор из пространства, ортогонального первой строке, третья строка представляет собой случайный единичный вектор из пространства, ортогонального первым двум строкам, и так далее. $S^{d − 1}$

Но вы обычно не получаете эту ортогональность, когда вы берете все элементы матрицы в матрице случайными и независимыми переменными с нормальным распределением (как Уубер упомянул в своем комментарии с очень простым следствием), если бы столбцы были всегда ортогональны, их записи могли бы не быть независимым ").

Матрица и произведение в случае ортонормированных столбцов можно рассматривать как проекцию, поскольку она относится к матрице проекции . Это немного похоже на обычную регрессию наименьших квадратов в качестве проекции. Произведение не является проекцией, но дает координату в другом базисном векторе. «Реальная» проекция - это , а матрица проекции - . $R$ $P = R^TR$ $b = R^T x$ $x' = Rb = R^TRx$ $R^TR$

Матрица проекции должна быть тождественным оператором в подпространстве которое является диапазоном проекции (см. Свойства, упомянутые на странице википедии). Или иначе сказал, что он должен иметь собственные значения 1 и 0, так что подпространство, для которого он является единичной матрицей, является диапазоном собственных векторов, связанных с собственными значениями 1. Со случайными элементами матрицы вы не получите это свойство. Это второй пункт в лекционных заметках $P=R^TR$ $U$

... он во многих отношениях "выглядит как" ортогональная матрица ... является равномерно распределенным подпространством ... но собственные значения не находятся в . $range(P^T P)$ $\lbrace 0, 1 \rbrace$

^{обратите внимание, что в этой цитате матрица относится к матрице в вопросе, а не к матрице проекции которая подразумевается матрицей $P$ $R$ $P = R^TR$ $R$}

Таким образом, случайная проекция с помощью различных конструкций, таких как использование случайных элементов в матрице, не совсем равна ортогональной проекции. Но это вычислительно проще и, по словам Майкла Махони, «достаточно хорошо».

— Секст Эмпирик
источник

1

Спасибо за ваш ответ, я думаю, что он идет в том же направлении, что и выше. Просто чтобы прояснить , я думаю , вы должны указать , что . Тогда, как вы объясните, если записи определены из мы не можем гарантировать, что или что имеет собственные значения в . И наоборот, если столбцы ортонормированы, оба условия выполняются. Но важно указать, что проекция , а не только !

P = R R^{T}

$P = RR^T$

R \in R^{d \times k}

$R\in\mathbb R^{d\times k}$

N (0, 1)

$\mathcal N(0,1)$

P^{2} = P

$P^2 = P$

P

$P$

{0, 1}

$\{0,1\}$

R

$R$

R R^{T}

$RR^T$

R

$R$

— Даниэль Лопес

1

@ DanielLópez Я обновил его.

— Секст Эмпирик

6

Правильно: «случайная проекция», строго говоря, не является проекцией.

Проектируется четко определен математический объект: https://en.wikipedia.org/wiki/Projection_(linear_algebra) - это линейный оператор idempotentent, то есть линейный оператор такой , что . Применение проекции дважды - это то же самое, что применение ее только один раз, потому что после проецирования точки на подпространство она должна просто оставаться там, если проецируется снова. В этом определении нет ничего об ортогональности; на самом деле, проекция может быть косой (см. Википедия). $P$ $P^2 = P$

Обратите внимание, что только квадратные матрицы могут представлять «проекции» в этом смысле. «Случайные проекции» использует случайный матрице с , поэтому он не может быть проекцией в смысле приведенного выше определение. $d\times k$ $R$ $k\ll d$

Даже если вы сделаете столбцы ортонормированными (например, применив процесс Грамма-Шмидта), этот аргумент все равно будет применяться. Кто-то недавно задал этот вопрос о PCA: что именно следует называть «проекционной матрицей» в контексте PCA? - a матрица ортонормированных собственных векторов, строго говоря, также не является проекцией. $R$ $d\times k$ $U$

— амеба
источник

3

В последнем абзаце вы говорите, что если столбцы ортонормированы, то проекция все еще не является проекцией в смысле проекции в линейной алгебре. Однако это только потому, что матрица не является квадратной матрицей. Это больше связано с обозначениями, чем с принципами. Если вы расширяете матрицу нулями, то матрица является линейной проекцией.

— Секст Эмпирик

1

@MartijnWeterings Нет, я так не думаю. Возьмите 2D пространство и U, которое равно 1x2 и выглядит следующим образом: [sqrt (2) / 2, sqrt (2) / 2] (соответствует проекции на диагональ). Теперь расширьте его нулями. Это не будет равно квадрату.

— амеба

1

Это должно быть расширено другим способом, может быть сделано

— kjetil b halvorsen

2

@amoeba, я согласен , что это растяжение концепция / определение, но я бы сказать , что он более тонкий , чем , который включает в себя этот обратный термин , который не равен . Линейная комбинация когда она составлена из ортогональных векторов, действительно напоминает ортогональную проекцию на меньшее подпространство, и вы можете повторить эту проекцию, получив в результате то же самое. Только то, что наряду с проекцией выбирается другой набор базисных векторов (по крайней мере, так его можно увидеть), и матричное представление не работает как , но геометрически это выглядит как проекция.

R (R^{T} R)^{- 1} R^{T}

$R (R^TR)^{-1}R^T$

I

$I$

U

$U$

P^{2} = P

$P^2=P$

— Секст Эмпирик

2

Правильно, @MartijnWeterings, но почему любой с неортогональными столбцами не "выглядит" как наклонная проекция ?

R

$R$

— амеба

1

Я думаю, что ключом здесь является рассмотрение пространства столбцов матрицы RP как подпространства, на которое мы выполняем проекцию. В общем, независимо от того, являются ли столбцы ортогональными, можно спроецировать образец на пространство столбцов используя следующее уравнение [1]: $d\times k$ $R$ $R$ $x\in \mathbb R^d$ $R$

$p = xR(R^TR)^{-1}R^T$ , где . $p\in\mathbb R^d$

Если, как и в более старых версиях или RP, столбцы матрицы ограничены ортонормированными, то и, следовательно, проекция на пространство столбцов будет выглядеть так : $R$ $R^TR = I\in \mathbb R^{k\times k}$ $x$ $R$

$p = xRR^T$ , с , $p\in\mathbb R^d$

и становится матрицу проекции , потому что квадратные и . $RR^T\in\mathbb R^{d\times d}$ $(RR^T)^2=RR^TRR^T=RR^T$

Возможно, утверждение о том, что более ранняя версия Random Projection (где столбцы были ортонормированными) на самом деле является проекцией, относится к тому факту, что в этом случае вложение вниз в и последующее восстановление обратно в образца заданного , действительно является проекцией на пространство столбцов , а является проекционной матрицей . $R$ $\mathbb R^k$ $\mathbb R^d$ $x\in\mathbb R^d$ $xRR^T$ $R$ $RR^T$

Я был бы признателен, если бы вы могли подтвердить / исправить мои рассуждения здесь.

Ссылка:

[1] http://www.dankalman.net/AUhome/classes/classesS17/linalg/projection.pdf

— Даниэль Лопес
источник

1

Это верно, но для любого R матрица которую вы используете в первой формуле, также является проекцией. Поэтому я не думаю, что ортогональность столбцов R имеет значение для аргумента, который вы приводите в последнем абзаце.

R (R^{T} R)^{- 1} R^{T}

$R(R^T R)^{-1} R^T$

— амеба

1

Да, но я хотел сказать, что, возможно, вы хотите, чтобы была матрицей проекции, поскольку она соответствует естественной логике встраивания и реконструкции в уменьшении размерности. Кроме того, таким образом столбцы образуют ортонормированный базис подпространства (пространство столбцов R). Я свяжусь с автором заметок, чтобы узнать, смогут ли они пролить свет на это. Спасибо за Ваш ответ!

R R^{T}

$RR^T$

R

$R$

— Даниэль Лопес

2

@amoeba матрица является проекцией, но случайная проекция не использует часть , а вместо этого . Если у вас есть ортонормированные столбцы , то этот псевдо обратной части равен матрица . Вы можете видеть это как в отношении OLS, вычисляя , как проекцию, но коэффициенты не являются проекцией. OLS - это только проекция, когда вы вычисляете . И все же можно считать проекцией в другом базисе. Это больше похоже на семантическую вещь, чем на математическую.

R (R^{T} R)^{- 1} R^{T}

$R(R^TR)^{-1}R^T$

(R^{T} R)^{- 1} R^{T}

$(R^TR)^{-1}R^T$

R^{T}

$R^T$

R^{T}

$R^T$

β = (R^{T} R)^{- 1} R^{T} y

$\beta=(R^TR)^{-1}R^Ty$

β

$\beta$

\hat{y} = R (R^{T} R)^{- 1} R^{T} y

$\hat{y}=R(R^TR)^{-1}R^Ty$

β

$\beta$

— Секст Эмпирик

-1

Если вы используете перевычисляемый случайный переворот или перестановку знаков перед быстрым преобразованием Уолша-Адамара, случайная проекция будет ортогональной.

— Шон О'Коннор
источник