Логистическая регрессия: максимизация истинных положительных результатов - ложных положительных результатов

У меня есть модель логистической регрессии (подходит через glmnet в R с упорядоченной упругой сетью), и я хотел бы максимизировать разницу между истинными положительными и ложными положительными сторонами. Для этого на ум пришла следующая процедура:

Подходит стандартная модель логистической регрессии
Используя порог прогноза как 0,5, определите все положительные прогнозы
Назначьте вес 1 для положительно предсказанных наблюдений, 0 для всех остальных
Подходящая модель взвешенной логистической регрессии

Каковы были бы недостатки этого подхода? Каков будет правильный путь для решения этой проблемы?

Причина желания увеличить разницу между количеством истинных положительных и ложных отрицательных результатов связана с дизайном моего приложения. Как часть классного проекта, я создаю автономного участника на онлайн-рынке - если моя модель предсказывает, что она может что-то купить и продать позже по более высокой цене, она делает ставку. Я хотел бы придерживаться логистической регрессии и выводить двоичные результаты (выигрывать, проигрывать) на основе фиксированных затрат и приращений цены за единицу (я получаю или теряю одинаковую сумму при каждой транзакции). Ложный позитив вредит мне, потому что это означает, что я что-то покупаю и не могу продать за более высокую цену. Тем не менее, ложный минус не повредит мне (только с точки зрения альтернативных издержек), потому что это просто означает, что если я не куплю, но если бы я сделал, я бы заработал деньги. По аналогии,

Я согласен с тем, что порог 0,5 абсолютно произвольный, и когда я оптимизировал модель, начиная с шага 1, на пороге прогнозирования, который дает наибольшую разницу между истинным / ложным положительным результатом, он оказывается ближе к 0,4. Я думаю, что это связано с искаженным характером моих данных - соотношение между негативами и позитивами составляет около 1: 3.

Прямо сейчас я выполняю следующие шаги:

Разделение данных на обучение / тестирование
Подберите модель на тренировках, сделайте прогнозы в тестовом наборе и вычислите разницу между истинными / ложными срабатываниями
Подгоните модель к полному, сделайте прогнозы в тестовом наборе и вычислите разницу между истинными / ложными срабатываниями

Разница между истинными / ложными срабатываниями на шаге 3 меньше, чем на шаге 2, несмотря на то, что обучающий набор является подмножеством полного набора. Поскольку меня не волнует, имеет ли модель в # 3 больше истинных негативов и меньше ложных негативов, могу ли я что-либо сделать без изменения самой функции правдоподобия?

— tmakino
источник

Прежде чем спросить, какие недостатки у этого подхода, возможно, вам следует написать, почему, по вашему мнению, этот подход должен работать. Почему вы думаете, что шаги 2-4 улучшают результат?

— user31264

Кроме того, я прав, что в конце вы отбрасываете модель с шага 1 и используете только модель с шага 4?

— user31264

Да, я планировал использовать модель, оснащенную всем набором данных, но это не имеет смысла, потому что она недостаточно эффективна для модели, снабженной тренировочным набором.

— tmakino

У меня нет источника по этому вопросу прямо сейчас ... но знаете ли вы, что вы можете оптимизировать модель логистической регрессии, чтобы максимизировать площадь под кривой (рабочая характеристика приемника) (или AUC)? Не нужно изобретать велосипед.

— AdamO

Здесь я не совсем понимаю, почему вы ничего не включили в прогнозируемую будущую цену в своей модели и не включили величину прибыли / убытка в оптимизацию. Конечно, решение «купить», которое приводит к потере 99%, намного хуже, чем решение «купить», которое приводит к потере 1%, даже если оба являются ложными срабатываниями.

— вероятностная

Ответы:

Вы, кажется, не хотите логистической регрессии вообще. Вы говорите: «Я бы хотел максимально увеличить разницу между истинными положительными и ложными положительными сторонами». Это хорошая целевая функция, но это не логистическая регрессия. Посмотрим что это.

Сначала немного обозначений. Зависимая переменная будет : $Y_i$

\begin{aligned} Y_{я} & знак равно {\begin{cases} 1 покупка я было выгодно \\ 0 покупка я было невыгодно \end{cases} \end{aligned}

$\begin{align} Y_i &= \left\{ \begin{array}{l} 1 \qquad \textrm{Purchase $i$ was profitable}\\ 0 \qquad \textrm{Purchase $i$ was un-profitable} \end{array} \right. \end{align}$

Независимые переменные (вещи, которые вы используете, чтобы попытаться предсказать, стоит ли вам покупать) будут (вектор). Параметр, который вы пытаетесь оценить, будет (вектор). Вы прогнозируете покупку, когда . Для наблюдения вы прогнозируете покупку, когда или когда функция индикатора . $X_i$ $\beta$ $X_i\beta>0$ $i$ $X_i\beta>0$ $\mathbf{1}_{X_i\beta>0}=1$

Истинный положительный результат наблюдается при наблюдении когда оба и . Ложноположительный результат наблюдения возникает, когда и . Вы хотите найти который максимизирует истинные позитивы минус ложные позитивы, или: $i$ $Y_i=1$ $\mathbf{1}_{X_i\beta>0}=1$ $i$ $Y_i=0$ $\mathbf{1}_{X_i\beta>0}=1$ $\beta$

м a {Икс}_{β} Σ_{я знак равно 1}^{N} Y_{я} \cdot 1_{{Икс}_{я} β > 0} - Σ_{я знак равно 1}^{N} (1 - Y_{я}) \cdot 1_{{Икс}_{я} β > 0}

$\begin{equation} max_\beta \; \sum_{i=1}^N Y_i\cdot\mathbf{1}_{X_i\beta>0} - \sum_{i=1}^N (1-Y_i)\cdot\mathbf{1}_{X_i\beta>0} \end{equation}$

Это не особенно знакомая целевая функция для оценки модели дискретного отклика, но потерпите меня, пока я занимаюсь небольшой алгеброй целевой функции:

\begin{aligned} Σ_{я знак равно 1}^{N} Y_{я} \cdot 1_{{Икс}_{я} β > 0} - Σ_{я знак равно 1}^{N} (1 - Y_{я}) \cdot 1_{{Икс}_{я} β > 0} \\ знак равно & Σ_{я знак равно 1}^{N} Y_{я} \cdot 1_{{Икс}_{я} β > 0} - Σ_{я знак равно 1}^{N} 1_{{Икс}_{я} β > 0} + Σ_{я знак равно 1}^{N} Y_{я} \cdot 1_{{Икс}_{я} β > 0} \\ знак равно & Σ_{я знак равно 1}^{N} Y_{я} \cdot 1_{{Икс}_{я} β > 0} - Σ_{я знак равно 1}^{N} 1_{{Икс}_{я} β > 0} + Σ_{я знак равно 1}^{N} Y_{я} \cdot 1_{{Икс}_{я} β > 0} \\ + Σ_{я знак равно 1}^{N} 1 - Σ_{я знак равно 1}^{N} 1 + Σ_{я знак равно 1}^{N} Y_{я} - Σ_{я знак равно 1}^{N} Y_{я} \\ знак равно & Σ_{я знак равно 1}^{N} Y_{я} \cdot 1_{{Икс}_{я} β > 0} + Σ_{я знак равно 1}^{N} (1 - Y_{я}) (1 - 1_{{Икс}_{я} β > 0}) - Σ_{я знак равно 1}^{N} 1 + Σ_{я знак равно 1}^{N} Y_{я} \end{aligned}

$\begin{align} &\sum_{i=1}^N Y_i\cdot\mathbf{1}_{X_i\beta>0} - \sum_{i=1}^N (1-Y_i)\cdot\mathbf{1}_{X_i\beta>0}\\ = &\sum_{i=1}^N Y_i\cdot\mathbf{1}_{X_i\beta>0} - \sum_{i=1}^N \mathbf{1}_{X_i\beta>0} + \sum_{i=1}^N Y_i\cdot\mathbf{1}_{X_i\beta>0}\\ = &\sum_{i=1}^N Y_i\cdot\mathbf{1}_{X_i\beta>0} - \sum_{i=1}^N \mathbf{1}_{X_i\beta>0} + \sum_{i=1}^N Y_i\cdot\mathbf{1}_{X_i\beta>0} \\ & \qquad + \sum_{i=1}^N 1 - \sum_{i=1}^N 1 + \sum_{i=1}^N Y_i - \sum_{i=1}^N Y_i\\ = &\sum_{i=1}^N Y_i\cdot\mathbf{1}_{X_i\beta>0} + \sum_{i=1}^N (1-Y_i)(1-\mathbf{1}_{X_i\beta>0}) - \sum_{i=1}^N 1 + \sum_{i=1}^N Y_i \\ \end{align}$

$\beta$

м a {Икс}_{β} Σ_{я знак равно 1}^{N} Y_{я} \cdot 1_{{Икс}_{я} β > 0} + Σ_{я знак равно 1}^{N} (1 - Y_{я}) (1 - 1_{{Икс}_{я} β > 0})

$\begin{equation} max_\beta \; \sum_{i=1}^N Y_i\cdot\mathbf{1}_{X_i\beta>0} + \sum_{i=1}^N (1-Y_i)(1-\mathbf{1}_{X_i\beta>0}) \end{equation}$

Теперь у этого оценщика есть имя! Он называется оценщиком максимальной оценки. Это очень интуитивно понятный способ оценки параметра модели дискретного отклика. Параметр выбирается таким образом, чтобы максимально увеличить количество правильных прогнозов. Первый член - это число истинных позитивов, а второй - количество истинных негативов.

$\beta$ $\beta$ $\beta$ $N$ $N$ конвергенция. (Kim and Pollard, 1990, Ann of Stat) Наконец, вы не можете использовать начальную загрузку, чтобы сделать на ней вывод. (Abrevaya & Huang, 2005, Econometrica) Тем не менее, есть некоторые статьи, использующие эту оценку - есть забавная статья о прогнозировании результатов в баскетбольном турнире NCAA от Caudill, Международный журнал прогнозирования, апрель 2003 г., т. 19, вып. 2, с. 313-17.

$N$

— Билл
источник

β^{T} x > 0

$\beta^Tx > 0$

p > 0.5

$p>0.5$

p <= 0.5

$p<=0.5$

β^{T} x

$\beta^T x$

— tmakino

(продолжение), определив его в функции стоимости (и установив порог прогнозирования на уровне 0,5), пропустив промежуточный шаг, который я предпринял. Однако, AUC уже существует в пакете регрессии, который я использую (glmnet), в то время как оценщик максимального балла не делает. Как вы думаете, мой подход разумен, учитывая мою цель?

— tmakino

p

$p$

X_{i} β > 0

$X_i\beta>0$

β

$\beta$

Есть несколько вещей, которые не так с этим подходом, в том числе:

В поисках отсечки для постоянной вероятности
Используя произвольное ограничение 0,5
Предполагая, что стоимость «ложного срабатывания» и «ложного отрицания» одинакова для всех субъектов
Использование весов, которые не являются дробными
Используя веса, которые оценены
Переопределение оценки максимального правдоподобия
Не использовать оптимальную байесовскую теорию принятия решений, которая требует, чтобы оптимальные решения основывались на полной информации (а не на том, превышает ли что-то что-то еще) и функциях полезности / потерь / затрат

— Фрэнк Харрелл
источник

Спасибо, есть ли способ достичь этого, придерживаясь логистической регрессии (т.е. не касаясь функции правдоподобия)?

— tmakino

Это зависит от того, что это. Какова конечная цель и как будет использоваться модель?

— Фрэнк Харрелл

Я отредактировал свой вопрос, чтобы подробно описать, чего я пытаюсь достичь.

— tmakino

Если я что-то не упустил, то, что вы добавили, не подразумевало бы использование точки среза. Обратите внимание, что прогнозируемая вероятность обеспечивает собственную частоту ошибок.

— Фрэнк Харрелл

Лучший подход к достижению того, что вы пытаетесь описать, - это, вероятно, прямая оптимизация параметров логистической регрессии с помощью функции потерь AUC. Учебник "Статистические методы в диагностической медицине" Чжоу описывает этот метод.

AUC (область под кривой рабочих характеристик приемника - или ROC) грубо интерпретируется как вероятность того, что случайный "случай" имеет более высокое значение маркера, чем "контроль". Это мера дискриминации модели или ее способность правильно классифицировать результат. ROC - это кривая в единичной плоскости, которая показывает чувствительность в сравнении с 1 - специфичность для всех возможных значений маркеров (подходящих результатов) в регрессионной модели.

Используя традиционную формулировку модели логистической регрессии,

Логит Пр (Y знак равно 1 | Икс) знак равно α + β Икс

$\mbox{logit Pr}(Y = 1 | X) = \alpha + \beta X$

с помощью логарифмических коэффициентов для параметров модели вы можете приблизительно определить функцию потерь на основе AUC для получения оптимальных параметров. В отличие от логистической регрессии, основанной на вероятности, регрессия AUC не является регулярной и может сходиться к локальным максимумам в пространстве параметров.

— Adamo
источник

Я бы подумал, что AUC здесь не самый лучший, потому что есть небольшие потери для ложного отрицания, но большие потери для ложного срабатывания.

— вероятностная

Что ж, реальная проблема заключается в том, что ОП имеет непрерывный результат (ROI) и дихотомизирует его как убыток / прибыль. Но расщепление волос в сторону, с регрессией ROC в общих «дурацких» областях отсечки маркеров, действительно имеет значение для AUC. Вы можете использовать частичный AUC, если вы заранее указали, что считается значимым, а не глупыми значениями маркера, и частичная регрессия AUC имеет все те же возможности производительности (и проблемы).

— AdamO