Лучшая классификация дефолта в логистической регрессии

Полное раскрытие: это домашнее задание. Я включил ссылку на набор данных ( http://www.bertelsen.ca/R/logistic-regression.sav )

Моя цель - максимально повысить прогноз неплательщиков кредитов в этом наборе данных.

Каждая модель, которую я придумала до сих пор, предсказывает> 90% неплательщиков, но <40% неплательщиков, в целом эффективность классификации составляет ~ 80%. Итак, мне интересно, есть ли эффекты взаимодействия между переменными? В рамках логистической регрессии, кроме тестирования каждой возможной комбинации, есть ли способ определить потенциальные эффекты взаимодействия? Или, альтернативно, способ повысить эффективность классификации неплательщиков.

Я застрял, любые рекомендации будут полезны при выборе слов, R-кода или синтаксиса SPSS.

Мои основные переменные описаны на следующей гистограмме и диаграмме рассеяния (за исключением дихотомической переменной)

Описание основных переменных:

age: Age in years
employ: Years with current employer
address: Years at current address
income: Household income in thousands
debtinc: Debt to income ratio (x100)
creddebt: Credit card debt in thousands
othdebt: Other debt in thousands
default: Previously defaulted (dichotomous, yes/no, 0/1)
ed: Level of education (No HS, HS, Some College, College, Post-grad)

Дополнительные переменные являются просто преобразованиями вышеупомянутого. Я также попытался преобразовать несколько непрерывных переменных в категориальные переменные и внедрить их в модель, но не повезло.

Если вы хотите быстро вставить его в R, вот оно:

## R Code
df <- read.spss(file="http://www.bertelsen.ca/R/logistic-regression.sav", use.value.labels=T, to.data.frame=T)

В несбалансированных наборах данных, таких как этот, вы обычно можете улучшить производительность классификации, отказавшись от использования установленной вероятности .5 в качестве вашей точки отсечения для классификации случаев по умолчанию и по умолчанию. Например, я получаю правильные показатели классификации 0,88 и 0,58 с точкой отсечения 0,4 для глм со всеми взаимодействиями 2-го порядка. (Что, вероятно, приводит к переоснащению и, похоже, имеет некоторые проблемы с рангами, но это другая история.)

Код:

m <- glm(default ~ (age + employ + address + income + debtinc + 
                    creddebt + othdebt + ed)^2,
   family=binomial(), data=df)
p <- predict(m, newdata=df, type="response")

getMisclass <- function(cutoff, p, labels){
   pred <- factor(1*(p > cutoff), labels=c("No Default", "Default")) 
   t <- table(pred, labels)
   cat("cutoff ", cutoff, ":\n")
   print(t)
   cat("correct    :", round(sum(t[c(1,4)])/sum(t), 2),"\n")
   cat("correct No :", round(t[1]/sum(t[,1]), 2),"\n")
   cat("correct Yes:", round(t[4]/sum(t[,2]), 2),"\n\n")
   invisible(t)
}
cutoffs <- seq(.1,.9,by=.1)
sapply(cutoffs, getMisclass, p=p, labels=df$default)

частичный вывод:

cutoff  0.3 :
            labels
pred           No  Yes
  No Default 3004  352
  Default     740  903
correct    : 0.78 
correct No : 0.8 
correct Yes: 0.72 

cutoff  0.4 :
            labels
pred           No  Yes
  No Default 3278  532
  Default     466  723
correct    : 0.8 
correct No : 0.88 
correct Yes: 0.58 

cutoff  0.5 :
        labels
pred           No  Yes
  No Default 3493  685
  Default     251  570
correct    : 0.81 
correct No : 0.93 
correct Yes: 0.45 

cutoff  0.6 :
            labels
pred           No  Yes
  No Default 3606  824
  Default     138  431
correct    : 0.81 
correct No : 0.96 
correct Yes: 0.34 

Я не эксперт по логистической регрессии, но разве это не проблема несбалансированных данных? Вероятно, у вас гораздо больше неплательщиков, чем неплательщиков, что может изменить прогноз, чтобы лучше справляться с большим классом. Попробуйте выкинуть несколько неплательщиков и посмотреть, что получится.

В логистической регрессии, сильно искаженных распределениях исходных переменных (где гораздо больше не событий к событиям или наоборот), необходимо скорректировать точку отсечения или триггер вероятности, но это не окажет большого влияния на общую классификацию efficieny. Это всегда будет оставаться примерно одинаковым, но вы в настоящее время недооцениваете события, так как «случайная» вероятность в таком наборе данных всегда повышает вероятность того, что вы классифицируетесь как не-события. Это должно быть скорректировано для. На самом деле, в такой ситуации нередко наблюдается снижение общей эффективности классификации, поскольку ранее она была раздута вследствие просчета из-за случайности.

Подумайте об этом так: если у вас есть событие, когда 90% этого не делают, а 10% делают это, то, если вы поместите всех в группу «не делайте этого», вы автоматически получите 90% прав, и это был даже не пытаясь, просто чистый шанс, раздутый от асимметрии его распределения.

Проблема взаимодействий не связана с этим перекосом и должна основываться на теории. Скорее всего, вы всегда будете улучшать классификацию, добавляя дополнительные термины, в том числе просто добавляя взаимодействия, но вы делаете это, часто перегружая модель. Затем вы должны вернуться и быть в состоянии интерпретировать это.

Аналитик Matt P Data, Университет Иллинойса, Урбана Шампейн

Вы можете просто попытаться включить все эффекты взаимодействия. Затем вы можете использовать L1 / L2-регуляризованную логистическую регрессию, чтобы минимизировать перенастройку и воспользоваться любыми полезными функциями. Мне очень нравится пакет glmnet Хасти / Тибширани (http://cran.r-project.org/web/packages/glmnet/index.html).

Я знаю, что ваш вопрос касается логистической регрессии и поскольку это домашнее задание, поэтому ваш подход может быть ограничен. Однако, если вы заинтересованы во взаимодействиях и точности классификации, может быть интересно использовать что-то вроде CART для моделирования этого.

Вот некоторый код R для создания основного дерева. Я установил rpart на фрейме данных enire здесь. Возможно, не самый лучший подход без предварительных знаний и метода перекрестной проверки:

library(foreign)
df <- read.spss(file="http://www.bertelsen.ca/R/logistic-regression.sav", use.value.labels=T, to.data.frame=T) 
library(rpart) 
fit<-rpart(default~.,method="anova",data=df)
 pfit<- prune(fit, cp=   fit$cptable[which.min(fit$cptable[,"xerror"]),"CP"])

# plot the pruned tree 
 plot(pfit, uniform=TRUE, 
   main="Pruned Classification Tree for Loan Default")
text(pfit, use.n=TRUE, all=TRUE, cex=.8)

Я не уверен сразу, как составить классификационную таблицу. Это не должно быть слишком сложно исходя из прогнозируемых значений объекта модели и исходных значений. У кого-нибудь есть какие-нибудь советы здесь?