Являются ли компоненты PCA многомерных гауссовских данных статистически независимыми?

Являются ли компоненты PCA (в анализе главных компонентов) статистически независимыми, если наши данные многомерны и нормально распределены? Если да, то как это можно продемонстрировать / доказать?

Я спрашиваю, потому что я видел этот пост , где верхний ответ гласит:

PCA не делает явного предположения гауссовости. Он находит собственные векторы, которые максимизируют дисперсию, объясненную в данных. Ортогональность основных компонентов означает, что он находит наиболее некоррелированные компоненты, чтобы объяснить как можно больше изменений в данных. Для многомерных гауссовых распределений нулевая корреляция между компонентами подразумевает независимость, которая не верна для большинства распределений.

Ответ формулируется без доказательства и, по-видимому, подразумевает, что PCA производит независимые компоненты, если данные многомерны нормальны.

В частности, скажем, наши данные являются образцами из:

x \sim N (μ, Σ)

$\mathbf{x} \sim \mathcal N(\mathbf{\mu}, \mathbf{\Sigma})$

мы помещаем $n$ выборок $\mathbf{x}$ в строки нашей матрицы выборок $\mathbf{X}$ , поэтому $\mathbf{X}$ равно $n \times m$ . Вычисление SVD $\mathbf{X}$ (после центрирования) дает

X = {U S V}^{T}

$\mathbf{X} = \mathbf{USV}^{T}$

Можем ли мы сказать, что столбцы $\mathbf{U}$ статистически независимы, а также строки $\mathbf{V}^T$ ? В общем, верно ли это только для $\mathbf{x} \sim \mathcal N(\mathbf{\mu}, \mathbf{\Sigma})$ или нет вообще?

pca independence svd

— bill_e
источник

stats.stackexchange.com/q/110508/3277 - похожий вопрос.

— ttnphns

Я не понимаю, как компьютеры можно считать «статистически независимыми» в более чем одном измерении. В конце концов, по определению, каждый ортогонален всем остальным; эта функциональная зависимость создает очень сильную статистическую зависимость.

— whuber

@amoeba Я надеюсь , что я последовательно ясно, а также верным на вопрос, который я нахожу , чтобы быть четко сформулированы и однозначны: поскольку данные

являются случайными, так что все записи в

. Я применил к ним определение статистической независимости. Это все. Похоже, ваша проблема в том, что вы используете слово «некоррелированный» в двух совершенно разных смыслах, казалось бы, не осознавая этого: в силу того, как построены столбцы

, они геометрически ортогональны как векторы в , но они никоим образом означает независимые случайные векторы!

X

$X$

U

$U$

U

$U$ $\mathbb{R}^n$

— whuber

@amoeba Вы правы - симуляция довольно убедительно показывает, что корреляция может быть (сильно) ненулевой. Однако я не оспариваю, что «компоненты PCA некоррелированы» в смысле «корреляция» = «ортогональны», и при этом я не говорю, что какой-то конкретный учебник неверен. Меня беспокоит то, что такое утверждение, правильно понятое, настолько не имеет отношения к вопросу, что все, что он может сделать (и сделал), - это серьезная путаница в нынешнем контексте.

— whuber

@whuber, я уверен, что вы с нетерпением ждали еще одного издания моего ответа! Вот. Я явно признать свои пункты о зависимости, и сделать заявление , что столбцы

являются асимптотически независимы, как мой основной точки. Здесь «асимптотически» относится к числу

наблюдений (строк). Я очень надеюсь, что мы сможем договориться об этом! Я также утверждаю, что для любого разумного

, такого как

, зависимость между столбцами "практически не имеет значения". Я думаю, это более спорный вопрос, но я стараюсь сделать его достаточно точным в своем ответе.

U

$U$

n

$n$

n

$n$

n = 100

$n=100$

— говорит амеба: восстанови Монику

Начну с интуитивной демонстрации.

Я сгенерировал наблюдений (а) из сильно негауссовского 2D-распределения и (b) из 2D-гауссовского распределения. В обоих случаях я центрировал данные и выполнил разложение по сингулярным числам . Затем для каждого случая я составил график рассеяния первых двух столбцов , один против другого. Обратите внимание, что обычно это столбцы , которые называются «основными компонентами» (ПК); столбцы - это ПК, масштабируемые до единичной нормы; до сих пор, в этом ответе я сосредоточусь на столбцах . Вот точечные диаграммы: $n=100$ $\mathbf X=\mathbf{USV}^\top$ $\mathbf U$ $\mathbf{US}$ $\mathbf U$ $\mathbf U$

PCA of Gaussian and non-Gaussian data

Я думаю, что такие утверждения, как «компоненты PCA являются некоррелированными» или «компоненты PCA являются зависимыми / независимыми», обычно делаются относительно одной конкретной матрицы образцов и относятся к корреляциям / зависимостям между строками (см., Например , ответ @ ttnphns здесь ). PCA дает преобразованную матрицу данных , где строки - наблюдения, а столбцы - переменные ПК. Т.е. мы можем рассмотреть как образец и спросить, какова выборочная корреляция между переменными ПК. Эта выборочная корреляционная матрица, конечно, задается как $\mathbf X$ $\mathbf U$ $\mathbf U$ $\mathbf U^\top \mathbf U=\mathbf I$ Это означает, что выборочные корреляции между переменными ПК равны нулю. Это то, что люди имеют в виду, когда говорят, что «PCA диагонализирует ковариационную матрицу» и т. Д.

Вывод 1: в координатах PCA любые данные имеют нулевую корреляцию.

Это верно для обоих графиков рассеяния выше. Однако сразу очевидно, что две переменные ПК и на левой (негауссовой) диаграмме рассеяния не являются независимыми; даже несмотря на то, что они имеют нулевую корреляцию, они сильно зависят и фактически связаны a . И действительно, общеизвестно, что некоррелированный не означает независимость . $x$ $y$ $y\approx a(x-b)^2$

Напротив, две переменные ПК и на правой (гауссовой) диаграмме рассеяния кажутся «в значительной степени независимыми». Вычисление взаимной информации между ними (которая является мерой статистической зависимости: независимые переменные имеют нулевую взаимную информацию) любым стандартным алгоритмом даст значение, очень близкое к нулю. Это не будет точно ноль, потому что это никогда не будет точно ноль для любого конечного размера выборки (если не настроен точно); кроме того, существуют различные методы для вычисления взаимной информации двух образцов, дающие несколько разные ответы. Но мы можем ожидать, что любой метод даст оценку взаимной информации, которая очень близка к нулю. $x$ $y$

Вывод 2: в координатах PCA гауссовы данные «в значительной степени независимы», что означает, что стандартные оценки зависимости будут около нуля.

Вопрос, однако, более сложный, о чем свидетельствует длинная цепочка комментариев. Действительно, @whuber справедливо указывает на то, что переменные PCA и (столбцы ) должны быть статистически зависимыми: столбцы должны иметь единичную длину и быть ортогональными, и это вводит зависимость. Например, если какое-либо значение в первом столбце равно , то соответствующее значение во втором столбце должно быть . $x$ $y$ $\mathbf U$ $1$ $0$

Это верно, но актуально только для очень маленьких , таких как, например, (с $n$ $n=3$ после центрирования есть только один ПК). Для любого разумного размера выборки, такого как показанного на моем рисунке выше, эффект зависимости будет незначительным; столбцы являются (масштабированными) проекциями гауссовых данных, поэтому они также являются гауссовыми, что делает практически невозможным, чтобы одно значение было близко к (это потребовало бы, чтобы все остальные элементов были близки к , что вряд ли распределение Гаусса). $n=2$ $n=100$ $\mathbf U$ $1$ $n-1$ $0$

Вывод 3: строго говоря, для любого конечного гауссовы данные в координатах PCA являются зависимыми; однако эта зависимость практически не имеет значения для любого . $n$ $n\gg 1$

Мы можем уточнить это, рассмотрев, что происходит в пределе . В пределе бесконечного размера выборки ковариационная матрица выборки равна ковариационной матрице . Таким образом , если вектор данных выборка из , то переменные являются ПК $n \to \infty$ $\mathbf \Sigma$ $X$ $\vec X \sim \mathcal N(0,\boldsymbol \Sigma)$ (где и $\vec Y = \Lambda^{-1/2}V^\top \vec X/(n-1)$ $\Lambda$ $V$ являются собственными значениями и собственными векторами ) и . Т.е. переменные ПК происходят из многомерного гаусса с диагональной ковариацией. Но любой многомерный гауссов с диагональной ковариационной матрицей разлагается в произведение одномерных гауссианов, и это определение статистической независимости : $\boldsymbol \Sigma$ $\vec Y \sim \mathcal N(0, \mathbf I/(n-1))$

\begin{aligned} N (0, d i a g (σ_{i}^{2})) & = \frac{1}{(2 π)^{k / 2} det (d i a g (σ_{i}^{2}))^{1 / 2}} \exp [- x^{⊤} d i a g (σ_{i}^{2}) x / 2] \\ = \frac{1}{(2 π)^{k / 2} (\prod_{i = 1}^{k} σ_{i}^{2})^{1 / 2}} \exp [- \sum_{i = 1}^{k} σ_{i}^{2} x_{i}^{2} / 2] \\ = \prod \frac{1}{(2 π)^{1 / 2} σ_{i}} \exp [- σ_{i}^{2} x_{i}^{2} / 2] \\ = \prod N (0, σ_{i}^{2}) . \end{aligned}

$\begin{align} \mathcal N(\mathbf 0,\mathrm{diag}(\sigma^2_i)) &= \frac{1}{(2\pi)^{k/2} \det(\mathrm{diag}(\sigma^2_i))^{1/2}} \exp\left[-\mathbf x^\top \mathrm{diag}(\sigma^2_i) \mathbf x/2\right]\\&=\frac{1}{(2\pi)^{k/2} (\prod_{i=1}^k \sigma_i^2)^{1/2}} \exp\left[-\sum_{i=1}^k \sigma^2_i x_i^2/2\right] \\&=\prod\frac{1}{(2\pi)^{1/2}\sigma_i} \exp\left[-\sigma_i^2 x^2_i/2\right] \\&= \prod \mathcal N(0,\sigma^2_i). \end{align}$

Вывод 4: асимптотически ( ) переменные PC гауссовых данных статистически независимы как случайные величины, и выборочная взаимная информация даст значение совокупности ноль. $n \to \infty$

Я должен отметить, что этот вопрос можно понять по-разному (см. Комментарии @whuber): рассмотреть всю матрицу случайной величиной (полученной из случайной матрицы посредством определенной операции) и спросить, есть ли какие-либо два конкретных элемента и из двух разных столбцов статистически независимы в различных розыгрышах . Мы исследовали этот вопрос в этой более поздней теме . $\mathbf U$ $\mathbf X$ $U_{ij}$ $U_{kl}$ $\mathbf X$

Вот все четыре предварительных вывода сверху:

В координатах PCA любые данные имеют нулевую корреляцию.
В координатах PCA гауссовы данные «в значительной степени независимы», что означает, что стандартные оценки зависимости будут около нуля.
$n$ $n\gg 1$
$n \to \infty$

— амеба говорит восстановить монику
источник

Вы пишете «Однако, если данные являются многомерными гауссовскими, то они действительно независимы». «Они» являются основными компонентами и их коэффициентами? Что вы подразумеваете под PCA, диагонализует ковариационную матрицу? Благодарю за ваш ответ!

— bill_e

«Они» относятся к основным компонентам (которые являются проекциями данных на направления максимальной дисперсии). PCA ищет направления максимальной дисперсии; Оказывается, что эти направления задаются собственными векторами ковариационной матрицы. Если вы измените координаты на «Координаты PCA», то ковариационная матрица будет диагональной, то есть так работает собственная декомпозиция. Эквивалентно матрица

S

$S$ в СВД от вашего вопроса есть диагональная матрица. Также матрица

U

$U$ is orthogonal, meaning that its covariance matrix is diagonal. All of that means that PCs have correlation zero.

— amoeba says Reinstate Monica

Cool, thank you! The combination of your answer and this comment helps clear things up for me a lot. Can I edit your comment into your answer?

— bill_e

I expanded the answer by incorporating the comment; see if you are happy with it now.

— amoeba says Reinstate Monica

Interesting discussion! When I asked the question, my thought of statistical dependence was "if you know PC1, is it possible infer PC2?, etc." I will look more into independence tests based on mutual information now.

— bill_e