Являются ли решения PCA уникальными?

12

Когда я запускаю PCA для определенного набора данных, предоставляется ли мне уникальное решение?

Т.е. я получаю набор 2d координат, основанный на расстояниях между точками. Можно ли найти хотя бы еще одно расположение точек, которое бы соответствовало этим ограничениям?

Если ответ да, как я могу найти такое другое решение?

pca

— raygozag
источник

11

Ответ на вопрос об уникальности - да и нет. Это «да» в том смысле, что собственные пространства и собственные значения математически хорошо и однозначно определены. «Нет» в том смысле, что (а) существует несколько способов представления этих собственных пространств (даже нормализованный собственный вектор может быть сведен на нет, и существует много вариантов выбора для вырожденных собственных пространств) и (б) разные алгоритмы могут давать результаты, которые отличаются из-за накопления ошибки в вычислениях с плавающей запятой.

— whuber

Рамсей и Сильверман в книге «Анализ функциональных данных» упоминают ротацию VARIMAX. Вы говорите о разделении набора данных функций (представленных в виде матрицы) на его основные компоненты.

— мощность

Похоже, вы хотите использовать PCA в качестве инструмента для уменьшения размеров. Вы можете начать с рассмотрения уменьшения размерности ...

— Элвис

7

Нет, ответ не уникален. Есть много способов показать это. Одна из возможностей состоит в том , что уведомления спектральное разложение квадратной по матрицы является решением к максимизации выпуклой функции . Рассмотрим первый собственный вектор / значение: $p$ $p$ $X$ $w$

λ_{1} = max_{w \in R^{p} : | | w | | = 1} w^{'} X w

$\lambda_1=\underset{w\in\mathbb{R}^{p}:||w||=1}{\max} w'Xw$

(где - первое собственное значение, а - первый собственный вектор). $\lambda_1$ $w^*$

Решение таких проблем (например , значение достижения этой максимум), в общем, не является уникальным. $w$

Однако алгоритмы вычисления этих решений являются детерминированными, а это означает, что за исключением угловых случаев, решения, которые вы получите, должны быть одинаковыми.

Пример таких числовых угловых случаев: случаи, когда несколько собственных значений (численно) одинаковы, случаи, когда является ранг-дефицитным ... $X$

— user603
источник

7

Что-то, что еще не было замечено, - то, что просто изменение знака ПК производит другое решение. То есть, если является м главным компонентом, то также является решением го главного компонента. Раньше это вызывало путаницу, особенно когда ваш компьютер выводит чередующиеся ПК. Смотрите этот вопрос . $\mathbf{w}$ $n$ $-\mathbf{w}$ $n$

— Cam.Davidson.Pilon
источник

3

Для интересного практического применения этой неоднозначности, пожалуйста, см. Stats.stackexchange.com/questions/34396 . (Кстати, было замечено изменение знака : см. Первый комментарий к этому вопросу.)

— whuber