Полиномиальная логистическая регрессия по сравнению с бинарной логистической регрессией, состоящей из одного остатка

Допустим, у нас есть зависимая переменная с несколькими категориями и набором независимых переменных. $Y$

Каковы преимущества полиномиальной логистической регрессии по сравнению с множеством бинарных логистических регрессий (то есть схема «один против отдыха» )? Под набором двоичной логистической регрессии я подразумеваю, что для каждой категории мы строим отдельную модель двоичной логистической регрессии с target = 1, когда и 0 в противном случае. $y_{i} \in Y$ $Y=y_{i}$

logistic categorical-data multinomial

— Томек Тарчинский
источник

Математически, полиномиальная логит-модель представляет собой набор бинарных логит-моделей, все сравниваются с базовой альтернативой. Но поскольку вы можете свернуть общие параметры и, возможно, объединить некоторые другие, MNL всегда будет по крайней мере столь же эффективным (и, вероятно, даже более). Я не вижу смысла когда-либо использовать серию биномиальных моделей.

— gregmacfarlane

@gmacfarlane: я пытался смоделировать данные, где MNL был бы лучше, чем ряд бинарных логистических регрессий, но каждый раз в среднем качество было одинаковым. Я сравнивал графики подъема, и после усреднения результатов нескольких симуляций они выглядели почти одинаково. Может быть, у вас есть идея, как генерировать данные, чтобы MNL превосходил бинарные логистические регрессии? Хотя у MNL было большое преимущество, его оценки можно интерпретировать как вероятность.

— Томек Тарчински,

Полиномиальная логистическая регрессия является продолжением бинарной логит-регрессии. Он используется, когда зависимых переменных исследования три и выше, тогда как двоичный логит используется, когда зависимых переменных исследования два.

Читателю: я рекомендую начать с ответа @ julieth, а затем читать ttnphns '. Я думаю, что первый более прямо отвечает на первоначальный вопрос, но последний добавляет некоторый интересный контекст. ttnphns также показывает различные функции, доступные для обеих программ в популярной программной подпрограмме, что само по себе может послужить причиной для использования одной над другой (см. утверждение gregmacfarlane).

— Бен Огорек

Ответы:

Если имеет более двух категорий, ваш вопрос о «преимуществе» одной регрессии над другой, вероятно, не имеет смысла, если вы хотите сравнить параметры моделей , потому что модели будут принципиально другими: $Y$

для каждогобинарной логистическойрегрессии, и $\bf log \frac{P(i)}{P(not~i)}=logit_i=linear~combination$ $i$

для каждойкатегориивмножественной логистическойрегрессии,является выбранной эталонной категорией (). $\bf log \frac{P(i)}{P(r)}=logit_i=linear~combination$ $i$ $r$ $i \ne r$

Однако, если ваша цель состоит в том только , чтобы предсказать вероятность каждой категории либо подход оправдан, хотя они могут давать разные оценки вероятности. Формула для оценки вероятности является общей: $i$

, где- все категории и еслибыл выбран в качестве эталонного, его $\bf P'(i)= \frac{exp(logit_i)}{exp(logit_i)+exp(logit_j)+\dots+exp(logit_r)}$ $i,j,\dots,r$ $r$ . Таким образом, для бинарной логистики эта же формула становится $\bf exp(logit)=1$ . Многочленная логистика опирается на (не всегда реалистичное) предположение онезависимости нерелевантных альтернатив, вто время как ряд бинарных логистических предсказаний этого не делает. $\bf P'(i)= \frac{exp(logit_i)}{exp(logit_i)+1}$

Отдельная тема является то , что технические различия между мультиномиальной и бинарной логистической регрессией в случае , когда является дихотомическим . Будет ли разница в результатах? В большинстве случаев при отсутствии ковариат результаты будут одинаковыми, но все же существуют различия в алгоритмах и параметрах вывода. Позвольте мне процитировать справку SPSS об этой проблеме в SPSS: $Y$

Модели бинарной логистической регрессии могут быть адаптированы с использованием процедуры логистической регрессии или процедуры многочленной логистической регрессии. У каждой процедуры есть параметры, недоступные в другой. Важным теоретическим отличием является то, что процедура логистической регрессии производит все прогнозы, остатки, статистику влияния и тесты соответствия, используя данные на уровне отдельных случаев, независимо от того, как вводятся данные, и от того, является ли количество ковариатных шаблонов или нет. меньше, чем общее число случаев, в то время как процедура многочленной логистической регрессии внутренне объединяет случаи, чтобы сформировать подгруппы с идентичными ковариатными шаблонами для предикторов, создавая прогнозы, остатки и тесты на соответствие на основе этих подгрупп.

Логистическая регрессия предоставляет следующие уникальные функции:

• Хосмер-Лемешоу тест на пригодность модели

• пошаговый анализ

• Контрасты для определения параметризации модели

• Альтернативные точки разреза для классификации

• классификационные участки

• Модель, установленная на один набор корпусов, на протяженный набор корпусов.

• Сохраняет прогнозы, остатки и статистику влияния

Многочленная логистическая регрессия предоставляет следующие уникальные функции:

• Пирсона и девиантного критерия хи-квадрат на предмет подгонки модели

• Спецификация подгрупп населения для группировки данных для тестов на соответствие

• Перечень подсчетов, прогнозируемых подсчетов и остатков по группам населения

• Исправление дисперсионных оценок для чрезмерной дисперсии

• Ковариационная матрица оценок параметров

• Тесты линейных комбинаций параметров

• Явная спецификация вложенных моделей

• Подходят 1-1 подходящие модели условной логистической регрессии с использованием разностных переменных

— ttnphns
источник

Я знаю, что эти модели будут разными, но я не знаю, какая из них лучше в какой ситуации. Я задам вопрос по-другому. Если Вам было дано задание: для каждого человека предсказать вероятность того, что какая-либо компания мобильной связи является любимой (предположим, у каждого есть любимая компания мобильной связи). Какой из этих методов вы бы использовали и каковы преимущества перед вторым?

— Томек Тарчински

@Tomek Я немного расширил свой ответ

— ttnphns

Хотя я думаю, что @ julieth's - лучший ответ на первоначальный вопрос OP, я должен вам ознакомиться с предположением о независимости не относящихся к делу альтернатив. У меня остается один вопрос: действительно ли отдельная логистика справится с этим; статья в Википедии, на которую вы ссылались на упомянутый пробит и «вложенный логит» как допущенные к нарушениям МИС

— Бен Огорек

i

$i$

r

$r$

i

$i$

i \neq r

$i \neq r$

Из-за названия я предполагаю, что «преимущества множественной логистической регрессии» означают «полиномиальную регрессию». Часто есть преимущества, когда модель подходит одновременно. Эта конкретная ситуация описана в Agresti (Категориальный анализ данных, 2002), стр. 273. В целом (перефразируя Agresti), вы ожидаете, что оценки из совместной модели будут отличаться от стратифицированной модели. Отдельные логистические модели, как правило, имеют более крупные стандартные ошибки, хотя это может быть не так плохо, когда наиболее частый уровень результата установлен в качестве контрольного уровня.

— julieth
источник

Благодарность! Я постараюсь найти эту книгу, к сожалению, google.books предоставляет контент только до страницы 268.

— Томек Тарчинский,

@TomekTarczynski Я суммировал соответствующую информацию из этого абзаца, поэтому вы не сможете получить больше информации, связанной с этим вопросом, глядя на книгу (хотя книга отличная, поэтому вы получите другую полезную информацию).

— Джульет

Цитата из книги Agresti: «Оценки раздельной подгонки отличаются от оценок ML для одновременной подгонки логитов J-1. Они менее эффективны, имеют тенденцию иметь большие стандартные ошибки. Однако Бегг и Грей 1984 показали, что потеря эффективности является второстепенным, если исходной категорией ответа является самая высокая распространенность ».

— Франк Дернонкур