Диагностика логистической регрессии

Для линейной регрессии мы можем проверить диагностические графики (графики остатков, графики нормального QQ и т. Д.), Чтобы проверить, не нарушены ли предположения о линейной регрессии.

Что касается логистической регрессии, у меня возникают проблемы с поиском ресурсов, которые объясняют, как диагностировать подходящую модель логистической регрессии. Подытоживая некоторые заметки о курсе для GLM, в нем просто говорится, что проверка остатков не помогает в постановке диагноза для логистической регрессии.

Просматривая Интернет, кажется, существуют также различные «диагностические» процедуры, такие как проверка отклонения модели и выполнение тестов хи-квадрат, но другие источники утверждают, что это неуместно, и что вам следует выполнить доброту посадки Hosmer-Lemeshow. контрольная работа. Затем я нахожу другие источники, которые утверждают, что этот тест может сильно зависеть от фактических группировок и предельных значений (может быть ненадежным).

Так как же следует диагностировать логистическую регрессию?

Несколько новых методов, с которыми я сталкивался для оценки соответствия моделей логистической регрессии, взяты из политологических журналов:

• Гринхилл, Брайан, Майкл Д. Уорд и Одри Сакс. 2011. Разделительный график: новый визуальный метод оценки соответствия бинарных моделей. Американский журнал политических наук 55 (4): 991-1002 .
• Эсарей, Джастин и Эндрю Пирс. 2012. Оценка качества посадки и тестирование на отсутствие спецификации в бинарно-зависимых переменных моделях. Политический анализ 20 (4): 480-500 . Препринт PDF Здесь

Обе эти методики призваны заменить тесты Goodness-of-Fit (например, Hosmer & Lemeshow) и выявить потенциальную ошибочную спецификацию (в частности, нелинейность во включенных переменных в уравнение). Они особенно полезны, поскольку типичные меры подгонки R-квадрата часто подвергаются критике .

Обе из вышеприведенных работ используют прогнозируемые вероятности в сравнении с наблюдаемыми результатами на графиках, что несколько исключает неясный вопрос о том, что является остатком в таких моделях. Примерами остатков могут быть вклад в логарифмическое правдоподобие или остатки Пирсона (хотя я считаю, что их гораздо больше). Еще одна мера, которая часто представляет интерес (хотя и не является остаточным), это DFBeta (величина, по которой оценка коэффициента изменяется, когда наблюдение исключается из модели). См. Примеры в Stata для этой страницы UCLA по диагностике логистической регрессии вместе с другими возможными диагностическими процедурами.

Мне это не пригодится, но я полагаю, что регрессионные модели Дж. Скотта Лонга для категориальных и ограниченно-зависимых переменных достаточно подробно описывают все эти различные диагностические измерения.

Вопрос был недостаточно мотивирован. Должна быть причина для запуска диагностики модели, например:

• Потенциал изменить модель, чтобы сделать ее лучше
• Не зная, какие направленные тесты использовать (т. Е. Тесты на нелинейность или взаимодействие)
• Неспособность понять, что изменение модели может легко исказить статистический вывод (стандартные ошибки, доверительные интервалы, )$P$

За исключением проверки вещей, которые ортогональны спецификации алгебраической регрессии (например, проверка распределения остатков в обычных линейных моделях), диагностика моделей может создать столько проблем, сколько они решают, на мой взгляд. Это особенно верно для бинарной логистической модели, поскольку она не имеет предположения о распределении.

Поэтому, как правило, лучше тратить время на определение модели, особенно чтобы не предполагать линейность для переменных, которые считаются сильными, для которых никакие предварительные данные не предполагают линейность. В некоторых случаях вы можете предварительно указать модель, которая должна соответствовать, например, если число предикторов невелико или вы разрешаете всем предикторам быть нелинейными и (правильно) не предполагать взаимодействия.

Любой, кто чувствует, что диагностика модели может использоваться для изменения модели, должен запускать этот процесс в цикле начальной загрузки, чтобы правильно оценить индуцированные неопределенности модели.

Этот поток довольно старый, но я подумал, что было бы полезно добавить, что с недавнего времени вы можете использовать пакет DHARMa R для преобразования остатков любого GL (M) M в стандартизированное пространство. После этого вы можете визуально оценить / проверить остаточные проблемы, такие как отклонения от распределения, остаточная зависимость от предиктора, гетероскедастичность или автокорреляция обычным способом. Смотрите виньетка пакета для проработанных примеров, а также другие вопросы по резюме здесь и здесь .