Вопросы с тегом «svd»

Анализ главных компонент (PCA) обычно объясняется с помощью собственного разложения ковариационной матрицы. Тем не менее, он также может быть выполнен с помощью сингулярного разложения (SVD) матриц данных XИкс\mathbf X . Как это работает? Какова связь между этими двумя подходами? Какая связь между СВД и СПС? Или, другими словами, как использовать …

352 pca  dimensionality-reduction  matrix  svd 

Анализ основных компонентов (PCA) может использоваться для уменьшения размерности. После такого уменьшения размерности, как можно приблизительно восстановить исходные переменные / характеристики из небольшого числа главных компонентов? В качестве альтернативы, как можно удалить или удалить несколько основных компонентов из данных? Другими словами, как обратить вспять PCA? Учитывая, что PCA тесно связан …

113 pca  dimensionality-reduction  svd 

Я начинаю баловаться с использованием glmnetс LASSO регрессией , где мой результат представляет интерес дихотомический. Я создал небольшой фрейм данных ниже: age <- c(4, 8, 7, 12, 6, 9, 10, 14, 7) gender <- c(1, 0, 1, 1, 1, 0, 1, 0, 0) bmi_p <- c(0.86, 0.45, 0.99, 0.84, 0.85, …

78 r  self-study  lasso  regression  interpretation  anova  statistical-significance  survey  conditional-probability  independence  naive-bayes  graphical-model  r  time-series  forecasting  arima  r  forecasting  exponential-smoothing  bootstrap  outliers  r  regression  poisson-distribution  zero-inflation  genetic-algorithms  machine-learning  feature-selection  cart  categorical-data  interpretation  descriptive-statistics  variance  multivariate-analysis  covariance-matrix  r  data-visualization  generalized-linear-model  binomial  proportion  pca  matlab  svd  time-series  correlation  spss  arima  chi-squared  curve-fitting  text-mining  zipf  probability  categorical-data  distance  group-differences  bhattacharyya  regression  variance  mean  data-visualization  variance  clustering  r  standard-error  association-measure  somers-d  normal-distribution  integral  numerical-integration  bayesian  clustering  python  pymc  nonparametric-bayes  machine-learning  svm  kernel-trick  hyperparameter  poisson-distribution  mean  continuous-data  univariate  missing-data  dag  python  likelihood  dirichlet-distribution  r  anova  hypothesis-testing  statistical-significance  p-value  rating  data-imputation  censoring  threshold 

Я читал о разложении сингулярных значений (SVD). Почти во всех учебниках упоминается, что она разбивает матрицу на три матрицы с заданной спецификацией. Но какова интуиция, лежащая в основе разделения матрицы в такой форме? PCA и другие алгоритмы уменьшения размерности интуитивно понятны в том смысле, что алгоритм обладает хорошим свойством визуализации, …

50 matrix  linear-algebra  svd  intuition 

Биплот часто используется для отображения результатов анализа основных компонентов (и связанных с ним методов). Это двойная или наложенная диаграмма рассеяния, показывающая загрузки компонентов и оценки компонентов одновременно. Сегодня @amoeba сообщил мне, что он дал ответ, отходящий от моего комментария, на вопрос, который спрашивает о том, как создаются / масштабируются координаты …

38 pca  multivariate-analysis  svd  correspondence-analysis  biplot 

Кто-нибудь может порекомендовать хорошее изложение теории за частичной регрессией наименьших квадратов (доступно онлайн) для тех, кто понимает SVD и PCA? Я просмотрел многие источники в Интернете и не нашел ничего, что имело бы правильное сочетание строгости и доступности. zi=Xφizi=Xφiz_i=X \varphi_iyTziyTzi y^Tz_i z T i z j = 0 i ≠ …

33 regression  references  regularization  svd  partial-least-squares 

/ edit: далее следите, теперь вы можете использовать irlba :: prcomp_irlba / edit: следите за своим собственным постом. irlbaтеперь имеет аргументы "center" и "scale", которые позволяют использовать его для вычисления основных компонентов, например: pc <- M %*% irlba(M, nv=5, nu=0, center=colMeans(M), right_only=TRUE)$v У меня есть большой набор Matrixфункций, которые я …

31 r  pca  dimensionality-reduction  svd  matrix-decomposition 

Какое значение имеет центрирование (или де-смысл) ваших данных для PCA? Я слышал, что это облегчает математику или препятствует доминированию переменных на первом компьютере, но я чувствую, что пока не смог твердо понять концепцию. Например, главный ответ здесь. Как центрирование данных избавляет от перехвата в регрессии и PCA? описывает, как не …

30 r  pca  svd  eigenvalues  centering 

Я немного запутался с тем, как SVD используется в совместной фильтрации. Предположим, у меня есть социальный граф, и я строю матрицу смежности по краям, затем беру SVD (давайте забудем о регуляризации, скоростях обучения, оптимизации разреженности и т. Д.), Как я могу использовать этот SVD для улучшения моих рекомендаций? Предположим, что …

30 svd  recommender-system 

Я просто пытаюсь воспроизвести утверждение, сделанное в следующей статье « Поиск коррелированных бикластеров по данным экспрессии генов» : Предложение 4. Если . тогда мы имеем:XIJ=RICTJXIJ=RICJTX_{IJ}=R_{I}C^{T}_{J} я. Если - идеальный бикластер с аддитивной моделью, то - идеальный бикластер с корреляцией по столбцам; II. Если - идеальный бикластер с аддитивной моделью, то …

29 correlation  multivariate-analysis  svd 

Я изучаю PCA из курса Coursera Эндрю Нг и других материалов. В первом задании Stanford NLP cs224n и в видео лекции Эндрю Нг они проводят разложение по сингулярным значениям вместо разложения по ковариационной матрице по собственным векторам, и Нг даже говорит, что SVD численно более устойчив, чем собственное разложение. Насколько …

29 pca  linear-algebra  svd  eigenvalues  numerics 

Учитывая приближение PCA (или SVD) матрицы с матрицей , мы знаем , что является лучшим низкоразрядным приближением .XXXX^X^\hat XX^X^\hat XXXX Это в соответствии с индуцированной нормой∥⋅∥2∥⋅∥2\parallel \cdot \parallel_2 (т. Е. Самой большой нормой собственных значений) или в соответствии с нормой Фробениуса ?∥⋅∥F∥⋅∥F\parallel \cdot \parallel_F

26 pca  svd  matrix-decomposition 

Я использовал Линейный Дискриминантный Анализ (LDA) из scikit-learnбиблиотеки машинного обучения (Python) для уменьшения размерности, и мне было немного интересно узнать о результатах. Теперь мне интересно, что scikit-learnделает LDA , чтобы результаты выглядели иначе, чем, например, ручной подход или LDA, выполненные в R. Было бы здорово, если бы кто-то мог дать …

26 python  scikit-learn  dimensionality-reduction  discriminant-analysis  svd 

Каков наилучший способ вычисления разложения по сингулярным числам (SVD) очень большой положительной матрицы (65M x 3,4M), где данные чрезвычайно редки? Менее 0,1% матрицы не равно нулю. Мне нужен способ, который: впишется в память (я знаю, что онлайн методы существуют) будет рассчитан в разумные сроки: 3,4 дня будет достаточно точным, однако …

26 svd  numerics 

У меня есть корреляционная матрица возвращений безопасности, чей определитель равен нулю. (Это немного удивительно, поскольку выборочная корреляционная матрица и соответствующая ковариационная матрица теоретически должны быть положительно определенными.) Моя гипотеза состоит в том, что по крайней мере одна ценная бумага линейно зависит от других ценных бумаг. Есть ли в R функция, …

26 r  correlation  pca  linear-model  svd