Зачем использовать нормализованный счет Джини вместо AUC в качестве оценки?

Конкурс Kaggle в прогнозировании безопасного водителя Порто Сегуро использует нормализованную оценку Джини в качестве метрики оценки, и мне стало любопытно узнать причины такого выбора. Каковы преимущества использования нормализованной оценки Джини вместо наиболее обычных показателей, таких как AUC, для оценки?

— Xboard
источник

Раньше на сайте Kaggle был такой ответ: «Для« идеальной »модели есть максимально достижимая область, поскольку не все положительные примеры возникают сразу. Мы используем нормализованный коэффициент Джини, деля коэффициент Джини вашей модели на коэффициент Джини. идеальной модели. " но это больше не доступно. webcache.googleusercontent.com/...

— Секст Эмпирик

Таким образом, Джини просто auc в другом масштабе. Или auc и gini применяются к разным кривым? Это не ясно для меня, как неопытного в машинном обучении. Вопрос не очень ясен по этому поводу.

— Секст Эмпирик

g i n i = 2 \times A U C - 1

$gini = 2 \times AUC -1$

— Miguel
источник

Помимо того, что при использовании коэффициента Джини производительность случайного классификатора устанавливается равной 0 ... нормализация "улучшает" другой конец шкалы и делает показатель идеального классификатора равным 1, а не максимально достижимым ППК <1. Улучшение может быть только относительным, в зависимости от того, считаете ли вы, что интуитивно понятная шкала хороша или нет. Хотя помимо этой более простой интерпретации вы можете утверждать, что она (нормализация) также улучшает обобщение и сравнение различных наборов данных.

— Секст Эмпирик

Почему максимальный достижимый AUC должен быть меньше 1, и я не вижу, как у gini его значение равно 1?

— rep_ho

Это зависит от того, по какой кривой они рассчитывают коэффициент Джини. Может быть, они используют что-то отличное от кривой ROC (чей максимальный AUC действительно будет 1). Учитывая слова на веб-сайте kaggle, представляется правдоподобным, что максимальный AUC не равен 1:> «Затем мы перемещаемся слева направо, спрашивая:« В крайнем левом x% данных, какую часть совокупного ответа вы накопили? »

— Секст Эмпирик

пример: bayesserver.com/docs/charts/lift-chart

— Секст Эмпирик