Оценка модели логистической регрессии

Я работаю над логистической моделью, и у меня возникают трудности с оценкой результатов. Моя модель - биномиальный логит. Мои объяснительные переменные: категориальная переменная с 15 уровнями, дихотомическая переменная и 2 непрерывные переменные. Мой N большой> 8000.

Я пытаюсь смоделировать решение фирм инвестировать. Зависимая переменная - это инвестиции (да / нет), 15 переменных уровня - это различные препятствия для инвестиций, о которых сообщают менеджеры. Остальные переменные - это контроль продаж, кредитов и использованной мощности.

Ниже приведены мои результаты, используя rmsпакет в R.

  Model Likelihood     Discrimination    Rank Discrim.    
                         Ratio Test            Indexes          Indexes       
Obs          8035    LR chi2     399.83    R2       0.067    C       0.632    
 1           5306    d.f.            17    g        0.544    Dxy     0.264    
 2           2729    Pr(> chi2) <0.0001    gr       1.723    gamma   0.266    
max |deriv| 6e-09                          gp       0.119    tau-a   0.118    
                                           Brier    0.213                     

          Coef    S.E.   Wald Z Pr(>|Z|)
Intercept -0.9501 0.1141 -8.33  <0.0001 
x1=10     -0.4929 0.1000 -4.93  <0.0001 
x1=11     -0.5735 0.1057 -5.43  <0.0001 
x1=12     -0.0748 0.0806 -0.93  0.3536  
x1=13     -0.3894 0.1318 -2.96  0.0031  
x1=14     -0.2788 0.0953 -2.92  0.0035  
x1=15     -0.7672 0.2302 -3.33  0.0009  
x1=2      -0.5360 0.2668 -2.01  0.0446  
x1=3      -0.3258 0.1548 -2.10  0.0353  
x1=4      -0.4092 0.1319 -3.10  0.0019  
x1=5      -0.5152 0.2304 -2.24  0.0254  
x1=6      -0.2897 0.1538 -1.88  0.0596  
x1=7      -0.6216 0.1768 -3.52  0.0004  
x1=8      -0.5861 0.1202 -4.88  <0.0001 
x1=9      -0.5522 0.1078 -5.13  <0.0001 
d2         0.0000 0.0000 -0.64  0.5206  
f1        -0.0088 0.0011 -8.19  <0.0001 
k8         0.7348 0.0499 14.74  <0.0001 

По сути, я хочу оценить регрессию двумя способами: а) насколько хорошо модель соответствует данным и б) насколько хорошо модель прогнозирует результат. Чтобы оценить степень соответствия (а), я думаю, что тесты отклонения, основанные на хи-квадрат, в этом случае не подходят, потому что число уникальных ковариат приближается к N, поэтому мы не можем предполагать распределение X2. Правильно ли это толкование?

Я могу видеть ковариаты, используя epiRпакет.

require(epiR)
logit.cp <- epi.cp(logit.df[-1]))

    id n x1   d2 f1 k8
     1 1 13 2030 56  1
     2 1 14  445 51  0
     3 1 12 1359 51  1
     4 1  1 1163 39  0
     5 1  7  547 62  0
     6 1  5 3721 62  1
    ...
    7446

Я также читал, что GoF-тест Hosmer-Lemeshow устарел, так как он делит данные на 10 для выполнения теста, что довольно произвольно.

Вместо этого я использую тест Ле Сесси-ван Хоуилингена-Копаса-Хосмера, реализованный в rmsпакете. Я не совсем уверен, как именно проводится этот тест, я еще не читал статьи об этом. В любом случае, результаты таковы:

Sum of squared errors    Expected value|H0           SD             Z            P
         1711.6449914         1712.2031888    0.5670868    -0.9843245    0.3249560

P большое, поэтому нет достаточных доказательств того, что моя модель не подходит. Большой! Тем не мение....

При проверке прогностической способности модели (b) я рисую ROC-кривую и нахожу, что AUC есть 0.6320586. Это выглядит не очень хорошо.

Итак, подведем итог моим вопросам:

1. Тесты, которые я запускаю, подходят для проверки моей модели? Какой еще тест я могу рассмотреть?

2. Считаете ли вы модель полезной вообще или отклоните ее, основываясь на относительно плохих результатах анализа ROC?

Существует много тысяч тестов, которые можно применить для проверки модели логистической регрессии, и многое из этого зависит от того, является ли цель целью - прогнозирование, классификация, выбор переменных, вывод, причинное моделирование и т. Д. Например, тест Хосмера-Лемешоу оценивает калибровка модели и соответствие прогнозируемых значений прогнозируемой частоте при делении на децили риска. Хотя выбор 10 является произвольным, тест имеет асимптотические результаты и может быть легко изменен. HL-тест, как и AUC, дают (на мой взгляд) очень неинтересные результаты при расчете по тем же данным, которые использовались для оценки модели логистической регрессии. Это удивительно, что такие программы, как SAS и SPSS, часто сообщают статистику для совершенно разных анализов. де-фактоспособ представления результатов логистической регрессии. Тесты точности прогнозирования (например, HL и AUC) лучше использовать с независимыми наборами данных или (даже лучше) данными, собранными за разные периоды времени, для оценки прогнозирующей способности модели.

Другой момент, который нужно сделать, - это то, что предсказание и умозаключение - это очень разные вещи Не существует объективного способа оценки прогноза, AUC 0,65 очень хорош для прогнозирования очень редких и сложных событий, таких как риск рака молочной железы в течение 1 года. Точно так же умозаключения могут быть обвинены в том, что они были произвольными, потому что традиционная ложная положительная ставка 0,05 просто распространена.

Если бы я был вами, описание вашей проблемы, казалось бы, интересовало моделирование эффектов, о которых менеджер сообщал о «препятствиях» в инвестировании, поэтому сфокусируйтесь на представлении ассоциативно скорректированных моделей. Представьте точечные оценки и 95% доверительные интервалы для модельных отношений шансов и будьте готовы обсудить их значение, интерпретацию и обоснованность с другими. Лесной участок - эффективный графический инструмент. Вы также должны показать частоту этих препятствий в данных и представить их опосредование другими корректирующими переменными, чтобы продемонстрировать, была ли возможность смешивания малой или большой в нескорректированных результатах. Я хотел бы пойти еще дальше и исследовать такие факторы, как альфа Кронбаха, для согласованности между сообщениями менеджера о препятствиях, чтобы определить, склонны ли менеджеры сообщать о подобных проблемах, или,

Я думаю, что вы слишком сосредоточены на цифрах, а не на вопрос под рукой. 90% хорошей статистической презентации происходит до того, как будут представлены результаты модели.