Могу ли я использовать CLR (центрированное преобразование логарифмического отношения) для подготовки данных для PCA?

Я использую скрипт. Это для основных записей. У меня есть датафрейм, который показывает различные элементные композиции в столбцах на заданной глубине (в первом столбце). Я хочу провести с ним PCA, и меня не устраивает метод стандартизации, который я должен выбрать.

Кто-нибудь из вас использовал clr()данные для подготовки prcomp()? Или это фальсифицирует мои решения. Я пытался использовать clr()данные, прежде чем использовать prcomp()функцию в дополнение к использованию масштаба атрибута в prcomp().

data_f_clr<- clr(data_f)
data_pca <- prcomp(data_f, center = TRUE, scale. = TRUE)

https://stat.ethz.ch/R-manual/R-devel/library/stats/html/prcomp.html

шкала описывается для масштабирования данных, поэтому они имеют единичную дисперсию. Я считаю, что мои данные имеют совершенно другой масштаб, что я и хотел. Проблема в том, что я получаю другое решение, когда использую приведенный выше код или когда пропускаю clr()(что дает более желаемый результат). Но я хочу знать, почему clr()беспокойство в этом случае?

r pca normalization compositional-data

— T.REX
источник

Для не-пользователей R, как я, было бы полезно уточнить, что clrделает ....

— Дугал

Конечно, CLR меняет решения - зачем еще вы будете использовать эту процедуру? Возможно, вам следует спросить, как определить, какой подход лучше. Есть полезные сообщения, которые можно найти, выполнив поиск на нашем сайте для CLR . В ответе на связанный вопрос я привел несколько иллюстраций, которые могут вам помочь.

— whuber

Быстрый ответ заключается в том, что вы можете делать с данными все, что хотите, до PCA. Нет никаких указов, законов или рецептов, регулирующих это. Некоторые утверждают, что PCA (без ротации) не зависит от масштаба, в то время как другие утверждают, что результаты PCA очень чувствительны к масштабу. Но если вы поворачиваете результаты PCA, то правила большого пальца требуют обязательной предварительной PCA нормализации, такой как CLR или стандартизация, чтобы означать = 0 и SD = 1. Отличное обсуждение CLR содержится в книге Ли Купера « Анализ доли рынка» ( anderson.ucla.edu/faculty/lee.cooper/MCI_Book/BOOKI2010.pdf ), в которой он связан с анализом компонентов.

— Майк Хантер

@DJohnson Я искал в pdf ссылки на различные слова в CLR и центрированное преобразование логарифмического соотношения, но ничего не смог найти. Что я сделал не так? В этой версии нет индекса, но заголовки разделов не выглядят многообещающими, и в ссылки не входит Джон Эйтчисон, который предложил это преобразование для композиционных данных. На странице ссылки на обсуждения под тем или иным названием приветствуются.

— Ник Кокс

Как уже упоминалось, в версии, с которой вы связаны, нет указателя, так что извините за то, что я не обращался к нему. Спасибо за ключевое слово "log-centering", из которого я нахожу дискуссии о другом звере, а не о центрированном преобразовании логарифмического соотношения , о котором идет речь в этой теме. @whuber уже дал ссылку на обсуждение на этом сайте. Ключевым моментом является то, что для композиционных данных с пропорциями, добавляемыми к 1, существует необходимость и возможности для коллективного преобразования в другое пространство. Вы пропустили слово «коэффициент» как указывающее на идею, отличную от той, которую вы знаете.

— Ник Кокс

Ответы:

Да, вы можете, и на самом деле вы должны, когда ваши данные составлены.

Здесь можно найти обзор в области микробиологии, который мотивирует использовать CLR-преобразование с последующим PCA для анализа наборов данных микробиомов (которые по определению являются композиционными): https://www.frontiersin.org/articles/10.3389/fmicb .2017.02224 / полный .

— Арчи
источник

К сожалению, во многих случаях эта статья ужасно ошибочна, что очень жаль, учитывая, что два соавтора являются лидерами анализа композиционных данных.

— Эли Корвиго

@EliKorvigo Этот комментарий может быть обоснованным, но сам по себе он бесполезен. Если бы вы могли указать на опубликованную или хотя бы публичную критику, тогда такая критика изменила бы картину.

— Ник Кокс

@NickCox, конечно, есть статья Филцмозера и Хрона . Это не прямая критика вышеупомянутого документа, но он выступает против использования CLR для корреляционного анализа, в то время как вышеупомянутый документ рекомендует инструменты, основанные на CLR.

— Эли Корвиго

@NickCox Я хотел бы подчеркнуть мое глубокое уважение к доктору Павловски-Глану и доктору Эгозкуе, которые являются двумя последними авторами статьи, упомянутой Арчи. Фактически, они ввели ILR для устранения недостатков CLR (Egozcue и Pawlowsky-Glahn, 2003) . Ссылаясь на CLR, они пишут: «Тем не менее, ортогональные ссылки в этом подпространстве не получаются прямым способом» .

— Эли Корвиго

Pawlowsky-Glahn и Egozcue заявляют в «Составных данных и их анализе: введение» (2006), что коэффициенты clr »имеют определенные преимущества: выражение симметрично по частям, и эти координаты уменьшают вычисление расстояний Aitchison до обычных расстояний. полезно при вычислении би-сюжетов (...) "

— jO.

У вас могут возникнуть проблемы с ванильным PCA по координатам CLR. Есть две основные проблемы с композиционными данными:

они строго неотрицательны
у них есть ограничение по сумме

${\bf x}$ $G({\bf x})$

\hat{x} = {\log (\frac{x_{1}}{G (x)}), \dots, \log (\frac{x_{n}}{G (x)})} = {\log (x_{1}) - \log (G (x)), \dots, \log (x_{n}) - \log (G (x))}

$\hat{\bf{x}} = \left \{ \log \left (\frac{{x}_{1}}{G({\bf x})} \right), \dots, \log \left (\frac{{x}_{n}}{G({\bf x})} \right) \right \} = \left\{ \log ({x}_{1}) - \log( G({\bf x}) ) , \dots ,\log({x}_{n}) - \log( G({\bf x})) \right\}$

Теперь посмотрим, что

\log (G (x)) = \log (\exp [\frac{1}{n} \sum_{i = 1}^{n} \log (x_{i})]) = E [\log (x)]

$\log (G({\bf x} ))=\log \left( \exp \left[ \frac { 1 }{ n } \sum _{ i=1 }^{ n }{ \log ({ x }_{ i }) } \right] \right) = \mathop{\mathbb{E}}\left[ \log({\bf x}) \right]$

\sum \hat{x} = \sum [\log (x) - E [\log (x)]] = 0

$\sum{\hat{{\bf x}}} = \sum{ \left [ \log({\bf x}) - \mathop{\mathbb{E}}\left[ \log({\bf x}) \right] \right ]} = 0$

Другими словами, CLR снимает ограничение диапазона значений (что хорошо для некоторых приложений), но не снимает ограничение суммы, что приводит к сингулярной ковариационной матрице, которая эффективно нарушает (M) ANOVA / линейную регрессию / ... и делает PCA чувствителен к выбросам (потому что для надежной оценки ковариации требуется матрица полного ранга). Насколько я знаю, из всех композиционных преобразований только ILR решает обе проблемы без каких-либо серьезных базовых допущений. Однако ситуация немного сложнее. SVD координат CLR дает вам ортогональный базис в пространстве ILR (координаты ILR охватывают гиперплоскость в CLR), поэтому ваши оценки дисперсии не будут различаться между ILR и CLR (что, конечно, очевидно, поскольку и ILR, и CLR являются изометриями на симплекс). Однако существуют методы для надежной оценки ковариации по координатам ILR [2].

Обновить я

Просто чтобы проиллюстрировать, что CLR не подходит для методов корреляции и определения местоположения. Предположим, мы 100 раз отобрали сообщество из трех линейно независимых нормально распределенных компонентов. Для простоты, пусть все компоненты имеют равные ожидания (100) и отклонения (100):

In [1]: import numpy as np

In [2]: from scipy.stats import linregress

In [3]: from scipy.stats.mstats import gmean

In [4]: def clr(x):
   ...:     return np.log(x) - np.log(gmean(x))
   ...: 

In [5]: nsamples = 100

In [6]: samples = np.random.multivariate_normal(
   ...:     mean=[100]*3, cov=np.eye(3)*100, size=nsamples
   ...: ).T

In [7]: transformed = clr(samples)

In [8]: np.corrcoef(transformed)
Out[8]: 
array([[ 1.        , -0.59365113, -0.49087714],
       [-0.59365113,  1.        , -0.40968767],
       [-0.49087714, -0.40968767,  1.        ]])

In [9]: linregress(transformed[0], transformed[1])
Out[9]: LinregressResult(
   ...:     slope=-0.5670, intercept=-0.0027, rvalue=-0.5936, 
   ...:     pvalue=7.5398e-11, stderr=0.0776
   ...: )

Обновление II

Учитывая полученные ответы, я считаю необходимым указать, что ни в одном из своих ответов я не сказал, что PCA не работает с данными, преобразованными в CLR. Я заявлял, что CLR может тонко разрушать PCA , что, возможно, не важно для уменьшения размерности, но важно для анализа поисковых данных. Статья, цитируемая @Archie, посвящена микробной экологии. В этой области вычислительной биологии PCA или PCoA на различных матрицах расстояний используются для изучения источников изменения данных. Мой ответ следует рассматривать только в этом контексте. Более того, это подчеркивается в самой статье:

... Композиционный биплот [примечание: ссылаясь на PCA] имеет несколько преимуществ по сравнению с графиками основных координат (PCoA) для анализа β-разнесения. Полученные результаты очень стабильны, когда данные являются подмножествами (Bian et al., 2017), что означает, что предварительный анализ не обусловлен просто наличием отсутствующих связей в данных или чрезмерной разреженностью (Wong et al., 2016; Morton et al. al., 2017).

Gloor et al., 2017

Обновление III

Дополнительные ссылки на опубликованные исследования (я благодарю @Nick Cox за рекомендацию добавить больше ссылок):

— Эли Корвиго
источник

Сингулярная ковариационная матрица не является проблемой для pca!

— kjetil b halvorsen

@kjetilbhalvorsen действительно, PCA как таковой не требует, чтобы матрица имела полный ранг. Технически говоря, сингулярная ковариационная матрица будет приводить только к одному или нескольким нулевым собственным значениям. Тем не менее, люди обычно применяют PCA, чтобы исследовать источники дисперсии, в которых проявляется композиционная структура. Вот почему я был довольно осторожен с моей формулировкой: «... эффективно ломает PCA / ... многими тонкими способами»

— Эли Корвиго

Таким образом, вы имеете в виду, что из-за сингулярности нельзя рассчитать величину дисперсии, которая объясняется для каждого компонента? Кроме того, можно выполнить PCA для уменьшения размерности. Как это влияет на ANOVA / линейную регрессию?

— Арчи

+1 потому что ответ очень интересный. Это не обходится без критики, хотя. Вы, казалось бы (для меня глупо) не объяснили точно, почему делать PCA на композиционных или clr-преобразованных данных неуместно «тонкими способами» (что? Как?). Кроме того, вы даете код Python, но не его результаты. Можете ли вы отобразить и прокомментировать его результаты? Наконец, не могли бы вы оставить ссылку на трансляцию ILR, чтобы прочитать о ней?

— ttnphns

@ttnphns 1) как я уже писал в комментариях, CLR не устраняет искажения источников дисперсии, вызванных композиционным замыканием, влияющих на исследовательский анализ данных: для надежной ковариационной оценки требуется матрица полного ранга; 2) Я не уверен, что следую, почему вы говорите, что результатов нет: это интерактивный сеанс Python с входами и выходами (т.е. результатами); 3) Я добавил ссылку на ILR.

— Эли Корвиго