Можно ли применять анализ главных компонентов к наборам данных, содержащим сочетание непрерывных и категориальных переменных?

У меня есть набор данных, который содержит как непрерывные, так и категориальные данные. Я анализирую с помощью PCA и задаюсь вопросом, можно ли включать категориальные переменные в качестве части анализа. Насколько я понимаю, PCA может применяться только к непрерывным переменным. Это правильно? Если его нельзя использовать для категориальных данных, какие существуют альтернативы для их анализа?

Хотя PCA, примененный к двоичным данным, даст результаты, сравнимые с результатами, полученными в результате анализа множественной корреспонденции (факторные оценки и собственные значения линейно связаны), существуют более подходящие методы для работы со смешанными типами данных, а именно многофакторный анализ для смешанных данных, доступных в FactoMineR пакет R ( AFDM()). Если ваши переменные можно рассматривать как структурированные подмножества описательных атрибутов, то также возможен многофакторный анализ ( MFA()).

Задача с категориальными переменными состоит в том, чтобы найти подходящий способ представления расстояний между переменными категориями и индивидами в факториальном пространстве. Чтобы преодолеть эту проблему, вы можете искать нелинейное преобразование каждой переменной - будь то номинальное, порядковое, полиномиальное или числовое - с оптимальным масштабированием. Это хорошо описано в методах Gifi для оптимального масштабирования в R: homals пакета и реализация доступна в соответствующих R пакет homals .

Поиск в Google «pca для дискретных переменных» дает хороший обзор С. Коленикова (@StasK) и Г. Анджелеса. Чтобы добавить к ответу chl, компьютерный анализ - это действительно анализ собственных векторов ковариационной матрицы. Так что проблема в том, как рассчитать «правильную» ковариационную матрицу. Одним из подходов является использование полихорической корреляции .

Я бы посоветовал взглянуть на Linting & Kooij, 2012 " Нелинейный анализ основных компонентов с помощью CATPCA: учебное пособие ", Журнал оценки личности ; 94 (1).

Абстрактные

Эта статья создана в качестве учебного пособия по нелинейному анализу основных компонентов (NLPCA), систематически направляя читателя к процессу анализа фактических данных по оценке личности с помощью теста Роршаха. NLPCA является более гибкой альтернативой линейному PCA, который может обрабатывать анализ, возможно, нелинейно связанных переменных с различными типами уровня измерения. Этот метод особенно подходит для анализа номинальных (качественных) и порядковых (например, типа Лайкерта) данных, возможно, в сочетании с числовыми данными. Программа CATPCA из модуля Категории в SPSS используется в анализах, но описание метода может быть легко обобщено для других пакетов программного обеспечения.

Я еще не получил привилегию комментировать чью-то публикацию, поэтому я добавляю свой комментарий как отдельный ответ, поэтому, пожалуйста, потерпите меня.

Продолжая то, что прокомментировал @Martin F, недавно я наткнулся на нелинейные PCA. Я рассматривал нелинейные PCA как возможную альтернативу, когда непрерывная переменная приближается к распределению порядковой переменной, поскольку данные становятся более разреженными (это происходит в генетике много раз, когда малая частота аллеля переменной становится все ниже и ниже, и вы остаетесь с очень небольшим числом отсчетов, при котором вы не можете реально оправдать распределение непрерывной переменной, и вам необходимо ослабить допущения распределения, сделав ее либо порядковой, либо категориальной переменной.) Нелинейный PCA может справиться с обоими этими условиями, но после обсуждение со статистическими маэстро на генетическом факультете, Консенсусный призыв заключался в том, что Нелинейные СПС используются не очень часто, и поведение этих СПС еще не было тщательно протестировано (возможно, они имели в виду только область генетики, поэтому, пожалуйста, примите это с недоверием). Действительно, это увлекательный вариант. Я надеюсь, что я добавил 2cents (к счастью, уместно) к обсуждению.

Существует недавно разработанный подход к таким проблемам: обобщенные модели низкого ранга .

Одна из работ, в которой используется этот метод, даже называется PCA на фрейме данных .

PCA можно представить так:

Для x матрицым $n$$m$$M$

найти матрицу x и матрицу x (это неявно кодирует ограничение ранга e) так, чтобык Й к м У$n$$k$$\hat{X}$$k$$m$$\hat{Y}$$k$

$\hat{X}, \hat{Y}$ = .$\underset{X, Y}{argmin} \| M - XY \|_F^2$

«Обобщенный» от GLRM означает изменение к чему-то еще и добавление члена регуляризации.$\| \cdot \|_F^2$

PCAmixdataПакет #Rstats :

Реализует анализ основных компонентов, ортогональное вращение и многофакторный анализ для смеси количественных и качественных переменных.

Пример из виньетки показывает результаты как для непрерывного, так и для категориального вывода