Методы наказания за категориальные данные: объединение уровней в фактор


10

Наказанные модели могут использоваться для оценки моделей, в которых количество параметров равно или даже превышает размер выборки. Такая ситуация может возникнуть в лог-линейных моделях больших разреженных таблиц категориальных данных или данных подсчета. В этих настройках часто также желательно или полезно сворачивать таблицы, комбинируя уровни фактора, где эти уровни не различимы с точки зрения их взаимодействия с другими факторами. Два вопроса:

  1. Есть ли способ использовать оштрафованные модели, такие как LASSO или эластичная сетка, для проверки способности уровней к каждому фактору?
  2. Если ответ на первый вопрос - да, можно и нужно ли это настроить таким образом, чтобы коллапс уровней и оценка коэффициентов модели происходили за один шаг?

1
Этот документ, doi.org/10.1177/1471082X16642560 , дает хороший обзор того, что было сделано в этой области за последнее десятилетие или около того.
Джорн Бикклер

1
Примечание: штраф, который я обсуждаю ниже, это уравнение 3.4 в ссылке @JorneBiccler. (Интересно, что этот вопрос уже рассматривался!)
user795305


Как мы можем назвать это дубликатом вопроса, который предшествовал этому?
Майкл Р. Черник

Ответы:


4

Это возможно. Мы можем использовать вариант слитого лассо, чтобы достигнуть этого.

β^=argminβ1ni=1n(yiβTxieβTxi)+factors gλg(jg|βj|+12j,kg|βjβk|).

Обратите внимание, что является функцией потерь для логарифмической линейной функции моделей.1ni=1n(yiβTxieβTxi)

Это поощряет равные коэффициенты в группе. Это равенство коэффициентов эквивалентно сворачиванию и уровней фактора вместе. В случае, когда , это эквивалентно свертыванию уровня с опорным уровнем. Параметры настройки могут рассматриваться как константы, но если есть только несколько факторов, было бы лучше рассматривать их как отдельные. к т ч β J = 0 J т ч λ гjthkthβ^j=0jthλg

Оценка является минимизатором выпуклой функции, поэтому она может быть эффективно вычислена с помощью произвольных решателей. Вполне возможно, что если фактор имеет много-много уровней, эти попарные различия выйдут из-под контроля - в этом случае потребуется знать больше структуры о возможных закономерностях коллапса.

Обратите внимание, что все это выполняется за один шаг! Это часть того, что делает оценки типа лассо такими крутыми!


Другой интересный подход заключается в использовании оценщика ОСКАР, который аналогичен приведенному выше, за исключением того, что штраф заменяется на .[ β i[11][βiβj]1[βiβj]

Используя наш сайт, вы подтверждаете, что прочитали и поняли нашу Политику в отношении файлов cookie и Политику конфиденциальности.
Licensed under cc by-sa 3.0 with attribution required.