Имеет ли смысл когда-либо рассматривать категориальные данные как непрерывные?

Отвечая на этот вопрос о дискретных и непрерывных данных, я уверенно утверждал, что редко имеет смысл рассматривать категориальные данные как непрерывные.

На первый взгляд это кажется само собой разумеющимся, но интуиция часто является плохим руководством для статистики, или, по крайней мере, моим. Так что теперь я задаюсь вопросом: это правда? Или существует установленный анализ, для которого действительно полезно преобразование из категориальных данных в некоторый континуум? Будет ли иметь значение, если данные были порядковыми?

Я предполагаю, что «категориальная» переменная фактически означает порядковую переменную; в противном случае не имеет смысла рассматривать его как непрерывную, если только это не двоичная переменная (с кодом 0/1), как указано @Rob. Затем я бы сказал, что проблема заключается не столько в том, как мы относимся к переменной, хотя до сих пор разработано много моделей для анализа категориальных данных - см., Например, Анализ упорядоченных категориальных данных: обзор и обзор последних разработки от Liu и Agresti--, чем основную шкалу измерения мы предполагаем. Мой ответ будет сосредоточен на этом втором пункте, хотя сначала я кратко расскажу о присвоении числовых баллов различным категориям или уровням.

Используя простую числовую перекодировку порядковой переменной, вы предполагаете, что переменная имеет интервальные свойства (в смысле классификации, данной Стивенсом, 1946). С точки зрения теории измерений (в психологии), это часто может быть слишком сильным предположением, но для базового исследования (то есть, когда один элемент используется для выражения своего мнения о повседневной деятельности с четкой формулировкой), любые монотонные оценки должны давать сопоставимые результаты. , Кокран (1954) уже указывал, что

любой набор баллов дает действительный тест при условии, что они построены без учета результатов эксперимента. Если набор баллов плохой, так как он сильно искажает числовую шкалу, которая действительно лежит в основе упорядоченной классификации, тест не будет чувствительным. Таким образом, баллы должны отражать лучшее понимание того, как была построена и использована классификация. (стр. 436)

(Большое спасибо @whuber за то, что он напомнил мне об этом в одном из своих комментариев, что побудило меня перечитать книгу Агрести, из которой взята эта цитата.)

На самом деле, некоторые тесты неявно обрабатывают такие переменные как интервальные шкалы: например, статистика для тестирования линейного тренда (в качестве альтернативы простой независимости) основана на корреляционном подходе ( , Агрести, 2002, стр. 87).M 2 = ( n - 1 ) r $M^2$$M^2=(n-1)r^2$

Что ж, вы также можете решить перекодировать вашу переменную в нерегулярном диапазоне или объединить некоторые из ее уровней, но в этом случае сильный дисбаланс между перекодированными категориями может исказить статистические тесты, например, вышеупомянутый тест тренда. @Jeromy уже предложила хорошую альтернативу для определения расстояния между категориями, а именно оптимальное масштабирование.

Теперь давайте обсудим второй момент, который я сделал, это базовая модель измерения. Я всегда сомневаюсь в добавлении тега «psychometrics», когда вижу такой вопрос, потому что построение и анализ шкал измерения подпадают под Psychometric Theory (Nunnally and Bernstein, 1994, для аккуратного обзора). Я не буду останавливаться на всех моделях, которые фактически возглавляются в соответствии с теорией отклика на предмет , и я любезно рекомендую заинтересованному читателю учебник И. Партчева « Визуальное руководство по теории отклика на предмет»., для мягкого введения в IRT, и ссылки (5-8), перечисленные в конце для возможных таксономий IRT. Вкратце, идея заключается в том, что вместо того, чтобы назначать произвольные расстояния между переменными категориями, вы принимаете скрытую шкалу и оцениваете их местоположение в этом континууме вместе со способностями или ответственностью отдельных лиц. Простой пример стоит больших математических обозначений, поэтому давайте рассмотрим следующий пункт ( взятый из опросника качества жизни EORTC QLQ-C30 ):

Вы волновались?

который закодирован по четырехбалльной шкале, от «совсем нет» до «очень». Необработанные баллы вычисляются путем присвоения баллов от 1 до 4. Затем баллы по элементам, принадлежащим к одной и той же шкале, можно сложить вместе, чтобы получить так называемый балл по шкале, который обозначает ранг базовой конструкции (здесь - компонент психического здоровья). ). Такие суммарные баллы по шкале очень практичны из-за легкости начисления баллов (для практикующего врача или медсестры), но они представляют собой не что иное, как дискретную (упорядоченную) шкалу.

Мы также можем считать, что вероятность одобрения данной категории ответов подчиняется некоторой логистической модели, как описано в учебнике И. Партчева, упомянутом выше. По сути, идея заключается в том, чтобы создать своего рода пороговую модель (которая приводит к эквивалентной формулировке в терминах моделей пропорциональных или совокупных шансов), и мы моделируем шансы на то, чтобы быть в одной категории ответа, а не на предыдущей, или шансы на оценку выше определенная категория, обусловленная расположением предметов по скрытой черте. Кроме того, мы можем навязать, что категории ответов равномерно распределены по скрытой шкале (это модель шкалы рейтингов) - так мы поступаем, присваивая регулярно расположенные числовые оценки - или нет (это модель частичного кредита) ,

Ясно, что мы не добавляем слишком много к Классической Теории Тестов, где порядковые переменные рассматриваются как числовые. Тем не менее, мы вводим вероятностную модель, в которой мы принимаем непрерывную шкалу (с интервальными свойствами) и где можно учесть конкретные ошибки измерения, и мы можем включить эти факторные оценки в любую регрессионную модель.

Рекомендации

1. С.С. Стивенс. По теории шкал измерения. Science , 103 : 677-680, 1946.
2. WG Cochran. Некоторые методы усиления общих тестов . Biometrics , 10 : 417-451, 1954.$\chi^2$
3. J Nunnally и я Бернштейн. Психометрическая теория . Макгроу-Хилл, 1994
4. Алан Агрести. Категориальный анализ данных . Wiley, 1990.
5. ЧР Рао и С. Синхарай, редакторы. Справочник по статистике, вып. 26: Психометрия . Elsevier Science BV, Нидерланды, 2007.
6. Бумсма, MAJ van Duijn и TAB Snijders. Очерки теории ответа на вопрос . Springer, 2001.
7. D Thissen и L Steinberg. Таксономия моделей ответа на товар. Psychometrika , 51 (4) : 567–577, 1986.
8. П Маир и Р. Хатцингер. Расширенное моделирование Rasch: МВК Пакет для применения IRT моделей в R . Журнал статистического программного обеспечения , 20 (9) , 2007.

Если есть только две категории, то преобразование их в (0,1) имеет смысл. Фактически, это обычно делается, когда результирующая фиктивная переменная используется в регрессионных моделях.

Если существует более двух категорий, то я думаю, что это имеет смысл только в том случае, если данные являются порядковыми, и то только в очень конкретных обстоятельствах. Например, если я делаю регрессию и подгоняю непараметрическую нелинейную функцию к порядковой-числовой переменной, я думаю, что это нормально. Но если я использую линейную регрессию, то я делаю очень сильные предположения об относительной разнице между последовательными значениями порядковой переменной, и я обычно не хочу этого делать.

Обычная практика - рассматривать упорядоченные категориальные переменные со многими категориями как непрерывные. Примеры этого:

• Количество предметов, правильное при тестировании 100 предметов
• Суммарная психологическая шкала (например, это среднее из 10 пунктов по пятибалльной шкале)

И под «обработкой как непрерывной» я подразумеваю включение переменной в модель, которая предполагает непрерывную случайную переменную (например, как зависимую переменную в линейной регрессии). Я полагаю, вопрос в том, сколько точек шкалы требуется, чтобы это было разумным упрощающим допущением.

Несколько других мыслей:

• Полихорические корреляции пытаются моделировать отношения между двумя порядковыми переменными в терминах предполагаемых скрытых непрерывных переменных.
• Оптимальное масштабирование позволяет вам разрабатывать модели, в которых масштабирование категориальной переменной разрабатывается на основе данных, с учетом любых ограничений масштаба, которые вы налагаете (например, ординальность). Хорошее введение см. De Leeuw and Mair (2009).

Рекомендации

• De Leeuw, J. & Mair, P. (2009). Методы Гифи для оптимального масштабирования в R: Пакетные гомалы. Журнал статистического программного обеспечения, готовится к печати, 1-30. PDF

Очень простой пример, который часто упускается из виду и который должен лежать в опыте многих читателей, касается оценок или оценок, присвоенных академической работе. Часто оценки для отдельных заданий по сути являются порядковыми измерениями, основанными на суждениях, даже если в качестве условного обозначения они обозначаются как (скажем) процентные отметки или отметки на шкале с максимум 5 (возможно, также с десятичными точками). То есть учитель может прочитать эссе, диссертацию, тезис или статью и решить, что он заслуживает 42%, или 4, или что-то еще. Даже если оценки основаны на детальной схеме оценки, шкала находится на некотором расстоянии от шкалы измерения интервала или отношения.

Но тогда многие учреждения считают, что если у вас достаточно этих оценок или оценок, то вполне разумно их усреднить (среднее значение за оценку и т. Д.) И даже проанализировать их более подробно. Таким образом, в некоторый момент порядковые измерения превращаются в итоговую шкалу, которая рассматривается как непрерывная.

Ценители иронии заметят, что статистические курсы во многих департаментах или школах часто учат тому, что это в лучшем случае сомнительно, а в худшем - неправильно, хотя все это реализуется как общеуниверситетская процедура.

При анализе ранжирования по частоте, как с диаграммой Парето и соответствующими значениями (например, сколько категорий составляют 80% ошибок продукта)

Я собираюсь привести аргумент, что трактовка действительно категориальной неординарной переменной как непрерывной иногда имеет смысл.

Если вы строите деревья решений на основе больших наборов данных, преобразование категориальных переменных в фиктивные переменные может оказаться дорогостоящим с точки зрения вычислительной мощности и памяти. Кроме того, некоторые модели (например, randomForestв R) не могут обрабатывать категориальные переменные со многими уровнями.

В этих случаях древовидная модель должна быть в состоянии идентифицировать чрезвычайно важные категории, ДАЖЕ ЕСЛИ они закодированы как непрерывная переменная. Придуманный пример:

set.seed(42)
library(caret)
n <- 10000
a <- sample(1:100, n, replace=TRUE)
b <- sample(1:100, n, replace=TRUE)
e <- runif(n)
y <- 2*a + 1000*(b==7) + 500*(b==42) + 1000*e
dat1 <- data.frame(y, a, b)
dat2 <- data.frame(y, a, b=factor(b))

y - непрерывная переменная, a - непрерывная переменная, а b - категориальная переменная. Тем не менее, в dat1б рассматривается как непрерывный.

Подгоняя дерево решений к этим двум наборам данных, мы находим, что dat1это немного хуже, чем dat2:

model1 <- train(y~., dat1, method='rpart')
model2 <- train(y~., dat2, method='rpart')
> min(model1$results$RMSE)
[1] 302.0428
> min(model2$results$RMSE)
[1] 294.1411

Если вы посмотрите на 2 модели, вы обнаружите, что они очень похожи, но model1 упускает важность b == 42:

> model1$finalModel
n= 10000 

node), split, n, deviance, yval
      * denotes terminal node

 1) root 10000 988408000  614.0377  
   2) a< 42.5 4206 407731400  553.5374 *
   3) a>=42.5 5794 554105700  657.9563  
     6) b>=7.5 5376 468539000  649.2613 *
     7) b< 7.5 418  79932820  769.7852  
      14) b< 6.5 365  29980450  644.6897 *
      15) b>=6.5 53   4904253 1631.2920 *
> model2$finalModel
n= 10000 

node), split, n, deviance, yval
      * denotes terminal node

 1) root 10000 988408000  614.0377  
   2) b7< 0.5 9906 889387900  604.7904  
     4) a< 42.5 4165 364209500  543.8927 *
     5) a>=42.5 5741 498526600  648.9707  
      10) b42< 0.5 5679 478456300  643.7210 *
      11) b42>=0.5 62   5578230 1129.8230 *
   3) b7>=0.5 94   8903490 1588.5500 *

Тем не менее, модель 1 работает примерно в 1/10 времени модели 2:

> model1$times$everything
   user  system elapsed 
  4.881   0.169   5.058 
> model2$times$everything
   user  system elapsed 
 45.060   3.016  48.066 

Конечно, вы можете настроить параметры задачи, чтобы найти ситуации, в которых они dat2значительно превосходят dat1или dat1слегка превосходят dat2.

Я не выступаю за то, чтобы вообще относиться к категориальным переменным как к непрерывным, но я обнаружил, что такие ситуации значительно сокращают время, необходимое для подгонки к моим моделям, без снижения их предсказательной точности.

Очень хорошее резюме этой темы можно найти здесь:

mijkerhemtulla.socsci.uva.nl PDF

«Когда можно рассматривать категориальные переменные как непрерывные? Сравнение надежных непрерывных и категориальных методов оценки SEM при неоптимальных условиях».

Мийке Ремтулла, Патриция Э. Броссо-Лиард и Виктория Савалей

Они исследуют методы для этого примерно на 60 страницах и дают представление о том, когда это полезно делать, какой подход использовать и каковы сильные и слабые стороны каждого подхода в соответствии с вашей конкретной ситуацией. Они не охватывают все из них (как я учусь, кажется, что их количество безгранично), но те, которые они охватывают, хорошо покрывают.

Есть другой случай, когда это имеет смысл: когда данные отбираются из непрерывных данных (например, через аналого-цифровой преобразователь). Для более старых приборов АЦП часто бывают 10-разрядными, что дает номинальные порядковые данные категории 1024, но может в большинстве случаев рассматриваться как реальные (хотя будут некоторые артефакты для значений вблизи нижнего предела шкалы). Сегодня АЦП чаще всего 16 или 24-разрядные. К тому времени, когда вы говорите о 65536 или 16777216 «категориях», у вас действительно не возникнет проблем с обработкой данных как непрерывных.