Вопросы с тегом «linear-algebra»

Недавно я заметил, что многие люди разрабатывают тензорные эквиваленты многих методов (тензорная факторизация, тензорные ядра, тензоры для тематического моделирования и т. Д.). Мне интересно, почему мир внезапно очарован тензорами? Существуют ли недавние документы / стандартные результаты, которые особенно удивляют, которые привели к этому? Это в вычислительном отношении намного дешевле, чем …

171 machine-learning  references  matrix  linear-algebra  tensor 

Я немного работал в R и сталкивался с такими вещами, как PCA, SVD, QR-разложения и многими такими результатами линейной алгебры (при проверке оценки взвешенных регрессий и т. Д.), Поэтому я хотел знать, есть ли у кого-нибудь рекомендации относительно хорошего всеобъемлющая книга по линейной алгебре, которая не слишком теоретическая, но математически …

54 references  matrix  linear-algebra  weighted-regression 

Я много читал о PCA, включая различные учебники и вопросы (такие как этот , этот , этот и этот ). Геометрическая проблема, которую пытается оптимизировать PCA, мне ясна: PCA пытается найти первый главный компонент, сводя к минимуму ошибку реконструкции (проекции), которая одновременно максимизирует дисперсию проецируемых данных. Когда я впервые прочитал …

54 pca  optimization  linear-algebra  intuition 

Я читал о разложении сингулярных значений (SVD). Почти во всех учебниках упоминается, что она разбивает матрицу на три матрицы с заданной спецификацией. Но какова интуиция, лежащая в основе разделения матрицы в такой форме? PCA и другие алгоритмы уменьшения размерности интуитивно понятны в том смысле, что алгоритм обладает хорошим свойством визуализации, …

50 matrix  linear-algebra  svd  intuition 

Я думаю, что ответ должен быть да, но я все еще чувствую, что-то не так. В литературе должны быть общие результаты, кто-нибудь может мне помочь?

48 covariance  matrix  covariance-matrix  linear-algebra 

Я слышал, что частичные корреляции между случайными переменными можно найти, инвертировав ковариационную матрицу и взяв соответствующие ячейки из такой результирующей матрицы точности (этот факт упоминается в http://en.wikipedia.org/wiki/Partial_correlation , но без доказательства) , Почему это так?

32 covariance  covariance-matrix  linear-algebra  partial-correlation  matrix-inverse 

Допустим, у меня есть ppp мерное многомерное распределение Гаусса. И я беру nnn наблюдения (каждый из них ppp -векторных) от этого распределения и вычислить образец ковариационной матрицы SSS . В этой статье авторы утверждают, что выборочная ковариационная матрица, рассчитанная при p>np>np > n является сингулярной. Как это правда или выведено? …

30 covariance-matrix  linear-algebra 

Я изучаю PCA из курса Coursera Эндрю Нг и других материалов. В первом задании Stanford NLP cs224n и в видео лекции Эндрю Нг они проводят разложение по сингулярным значениям вместо разложения по ковариационной матрице по собственным векторам, и Нг даже говорит, что SVD численно более устойчив, чем собственное разложение. Насколько …

29 pca  linear-algebra  svd  eigenvalues  numerics 

Если и являются двумя независимыми случайными единичными векторами в (равномерно распределенными по единичной сфере), каково распределение их скалярного произведения (точечного произведения) ?xx\mathbf{x}yy\mathbf{y}RDRD\mathbb{R}^Dx⋅yx⋅y\mathbf x \cdot \mathbf y Я думаю, что по мере роста распределение быстро (?) Становится нормальным с нулевым средним и уменьшением дисперсии в более высоких измерениях но существует ли …

27 mathematical-statistics  linear-algebra  beta-distribution 

Я наблюдаю очень странное поведение в результате SVD случайных данных, которое я могу воспроизвести как в Matlab, так и в R. Это похоже на некоторую числовую проблему в библиотеке LAPACK; это? Я рисую выборок из мерного гауссиана с нулевым средним и единичной ковариацией: . Я собрать их в данных матрица …

21 pca  svd  linear-algebra  numerics 

Я знаю определение симметричной положительно определенной (SPD) матрицы, но хочу понять больше. Почему они так важны, интуитивно понятно? Вот что я знаю. Что еще? Для заданных данных матрица Co-дисперсии является SPD. Ковариационная матрица является важной метрикой, см. Этот превосходный пост для интуитивного объяснения. Квадратичная форма является выпуклой, если SPD. Выпуклость …

20 mathematical-statistics  optimization  covariance-matrix  intuition  linear-algebra 

Я пытаюсь получить интуитивное понимание того, как анализ главных компонентов (PCA) работает в предметном (двойном) пространстве . Рассмотрим двумерный набор данных с двумя переменными, x1x1x_1 и x2x2x_2 , и nnn точками данных (матрица данных XX\mathbf X имеет n×2n×2n\times 2 и предполагается, что она центрирована). Обычное представление PCA состоит в том, …

19 pca  linear-algebra  intuition  geometry 

Я хочу преобразовать свои данные так, чтобы отклонения были равны единице, а ковариации были равны нулю (т.е. я хочу отбелить данные). Кроме того, средства должны быть нулевыми.XX\mathbf X Я знаю, что доберусь туда, выполнив Z-стандартизацию и PCA-преобразование, но в каком порядке я должен их делать? Следует добавить, что составное отбеливающее …

18 pca  linear-algebra 

Пусть . Информационная матрица Фишера определяется как:θ∈Rnθ∈Rn\theta \in R^{n} I(θ)i,j=−E[∂2log(f(X|θ))∂θi∂θj∣∣∣θ]I(θ)i,j=−E[∂2log⁡(f(X|θ))∂θi∂θj|θ]I(\theta)_{i,j} = -E\left[\frac{\partial^{2} \log(f(X|\theta))}{\partial \theta_{i} \partial \theta_{j}}\bigg|\theta\right] Как я могу доказать, что информационная матрица Фишера является положительной полуопределенной?

18 inference  linear-algebra  fisher-information 

Это очень простой вопрос, но я не могу найти вывод ни в Интернете, ни в книге. Я хотел бы увидеть, как один байесовский обновляет многомерное нормальное распределение. Например: представьте, что P(x|μ,Σ)P(μ)==N(μ,Σ)N(μ0,Σ0).P(x|μ,Σ)=N(μ,Σ)P(μ)=N(μ0,Σ0). \begin{array}{rcl} \mathbb{P}({\bf x}|{\bf μ},{\bf Σ}) & = & N({\bf \mu}, {\bf \Sigma}) \\ \mathbb{P}({\bf \mu}) &= & N({\bf \mu_0}, …

18 bayesian  normal-distribution  matrix  posterior  linear-algebra