Вопросы с тегом «pca»

Как связаны PCA, LDA, CCA и PLS? Все они кажутся «спектральными» и линейными алгебраическими и очень хорошо понятными (скажем, 50+ лет теории, построенной вокруг них). Они используются для самых разных вещей (PCA для уменьшения размерности, LDA для классификации, PLS для регрессии), но все же они чувствуют себя очень тесно связанными.

26 pca  discriminant-analysis  partial-least-squares  canonical-correlation 

Предположим , что я бегу регрессию . Почему, выбирая главные основных компонентов X , модель сохраняет свою предсказательную силу на Y ?k X YY∼ XY~ИксY \sim XККkИксИксXYYY Я понимаю, что с точки зрения уменьшения размерности / выбора признаков, если v1, v2, . , , vКv1,v2,,,,vКv_1, v_2, ... v_k являются собственными …

25 regression  classification  pca  dimensionality-reduction  regularization 

У меня есть несколько вопросов, касающихся штрафа за ребро в контексте наименьших квадратов: βR i Dге= ( λ ID+ X'Икс)- 1Икс'Yβряdгезнак равно(λяD+Икс'Икс)-1Икс'Y\beta_{ridge} = (\lambda I_D + X'X)^{-1}X'y 1) Выражение предполагает, что ковариационная матрица X сжимается в сторону диагональной матрицы, означая, что (при условии, что переменные стандартизируются до процедуры) корреляция между …

25 regression  pca  regularization  ridge-regression 

Предположим, у меня есть набор данных для контролируемой статистической задачи классификации, например, через байесовский классификатор. Этот набор данных состоит из 20 функций, и я хочу свести его к 2 функциям с помощью методов уменьшения размерности, таких как анализ основных компонентов (PCA) и / или линейный дискриминантный анализ (LDA). Оба метода …

25 classification  pca  regularization  discriminant-analysis  overfitting 

У меня есть data.frame с 800 obs. 40 переменных, и хотел бы использовать Принцип компонентного анализ, чтобы улучшить результаты моего предсказания (который до сих пор является лучшим с работой опорных векторов на некоторых 15 подобранных переменных). Я понимаю, что prcomp может помочь мне улучшить мои прогнозы, но я не знаю, …

25 r  pca 

Я изучаю различные методы, используемые в кластеризации документов, и я хотел бы прояснить некоторые сомнения, касающиеся PCA (анализ главных компонентов) и LSA (скрытый семантический анализ). Первое - какие различия между ними? Я знаю, что в PCA декомпозиция SVD применяется к матрице терминов-ковариаций, в то время как в LSA это матрица …

25 clustering  pca  data-mining  svd  lsa 

Я знаю, что в ситуации регрессии, если у вас есть набор сильно коррелированных переменных, это обычно «плохо» из-за нестабильности оценочных коэффициентов (дисперсия движется к бесконечности, так как детерминант движется к нулю). Мой вопрос заключается в том, сохраняется ли эта «плохость» в ситуации PCA. Не становятся ли коэффициенты / нагрузки / …

25 pca  multicollinearity 

Обычно в анализе главных компонентов (PCA) используются первые несколько ПК, а ПК с низкой дисперсией отбрасываются, поскольку они не объясняют большую часть различий в данных. Тем не менее, есть ли примеры, когда ПК с малой вариацией полезны (то есть используются в контексте данных, имеют интуитивное объяснение и т. Д.) И …

24 pca 

Я пытаюсь понять различия между методами уменьшения линейной размерности (например, PCA) и нелинейными (например, Isomap). Я не совсем понимаю, что подразумевает (не) линейность в этом контексте. Я прочитал из Википедии, что Для сравнения, если PCA (алгоритм линейного уменьшения размерности) используется для сокращения этого же набора данных в два измерения, результирующие …

24 pca  terminology  dimensionality-reduction  pattern-recognition  manifold-learning 

Я узнал о PCA несколько лекций назад в классе, и, узнав больше об этой увлекательной концепции, я узнал о редких PCA. Я хотел спросить, если я не ошибаюсь, это то, что является редким PCA: В PCA, если у вас есть точек данных с переменными, вы можете представить каждую точку данных …

24 machine-learning  pca  sparse 

Обычно мы используем PCA как метод уменьшения размерности для данных, где предполагается, что случаи Вопрос: Каковы типичные нюансы в применении PCA для зависимых, неидеальных данных? Какие полезные / полезные свойства PCA для данных iid скомпрометированы (или полностью потеряны)? Например, данные могут быть многомерным временным рядом, и в этом случае можно …

23 time-series  pca  non-independent  iid 

В двух статьях в 1986 и 1988 годах Коннор и Корайчик предложили подход к моделированию доходности активов. Поскольку у этих временных рядов обычно больше активов, чем наблюдений за временными периодами, они предложили провести PCA по поперечным ковариациям доходности активов. Они называют этот метод Асимптотическим анализом главных компонентов (APCA, что довольно …

23 pca  econometrics 

Я использовал эту prcomp()функцию для выполнения PCA (анализа главных компонентов) в R. Однако в этой функции есть ошибка, из-за которой na.actionпараметр не работает. Я попросил помощи по stackoverflow ; два пользователя предложили два разных способа работы со NAзначениями. Однако проблема обоих решений заключается в том, что при наличии NAзначения эта …

23 r  pca  missing-data  data-imputation 

В PCA, когда число измерений больше (или даже равно) количеству выборок N , почему у вас будет не более N - 1 ненулевых собственных векторов? Другими словами, ранг ковариационной матрицы среди измерений d ≥ N равен N - 1 .dddNNNN−1N−1N-1d≥Nd≥Nd\ge NN−1N−1N-1 Пример: ваши образцы - это векторизованные изображения размером , …

22 pca  dimensionality-reduction  eigenvalues 

Этот вопрос касается эффективного способа вычисления основных компонентов. Многие тексты по линейному PCA рекомендуют использовать разложение по регистру данных по сингулярным значениям . То есть, если у нас есть данные и мы хотим заменить переменные (их столбцы ) на главные компоненты, мы делаем SVD: , особые значения (квадратные корни из …

22 pca  algorithms  svd  matrix-decomposition