Применение логистической регрессии с низкой частотой событий

У меня есть набор данных , в котором частота событий очень низка (40000 отказа от ). Я применяю логистическую регрессию по этому вопросу. У меня была дискуссия с кем-то, где выяснилось, что логистическая регрессия не даст хорошей матрицы путаницы для данных с такой низкой частотой событий. Но из-за бизнес-проблемы и способа ее определения я не могу увеличить число событий с 40 000 до большего числа, хотя я согласен с тем, что могу удалить какое-то незапланированное население.$12\cdot10^5$

Пожалуйста, скажите мне свое мнение по этому вопросу, а именно:

1. Зависит ли точность логистической регрессии от частоты событий или есть минимальная частота событий, которая рекомендуется?
2. Есть ли какая-то специальная техника для данных с низкой частотой событий?
3. Будет ли удаление моей популяции, которая не принадлежит никому, хорошо для точности моей модели?

Я новичок в статистическом моделировании, поэтому простите мое невежество и, пожалуйста, решайте любые связанные с этим вопросы, о которых я мог подумать.

Благодарность,

Я собираюсь ответить на ваши вопросы не по порядку:

3 Было бы хорошо, если бы удаление моего незападного населения было бы хорошим для точности моей модели?

Каждое наблюдение предоставит некоторую дополнительную информацию о параметре (через функцию правдоподобия). Поэтому нет смысла удалять данные, так как вы просто потеряете информацию.

1 Зависит ли точность логистической регрессии от частоты событий или есть минимальная частота событий, которая рекомендуется?

Технически, да: редкое наблюдение гораздо более информативно (то есть функция правдоподобия будет круче). Если бы ваше соотношение событий составляло 50:50, вы бы получили гораздо более узкие доверительные интервалы (или достоверные интервалы, если вы являетесь байесовским) для того же объема данных . Однако вы не можете выбирать частоту событий (если не проводите исследование «случай-контроль»), поэтому вам придется обходиться тем, что у вас есть.

2 Есть ли какая-либо специальная техника для данных с низкой частотой событий?

Самая большая проблема, которая может возникнуть, это идеальное разделение : это происходит, когда некоторая комбинация переменных дает все не-события (или все события): в этом случае оценки параметров максимального правдоподобия (и их стандартные ошибки) будут приближаться к бесконечности (хотя обычно алгоритм остановится заранее). Есть два возможных решения:

а) удаление предикторов из модели: хотя это сделает ваш алгоритм сходящимся, вы удалите переменную с наибольшей объяснительной силой, так что это имеет смысл только в том случае, если ваша модель была переобучена для начала (например, подгонка слишком большого количества сложных взаимодействий) ,

б) использовать какой-либо вид наказания, такой как предварительное распределение, которое сократит оценки до более разумных значений.

Существует лучшая альтернатива удалению событий для временных или пространственных данных: вы можете агрегировать данные по времени / пространству и моделировать их как Пуассона. Например, если ваше событие «извержение вулкана происходит в день X», то не много дней будет извержение вулкана. Однако, если вы сгруппируете дни в недели или месяцы, например, «количество извержений вулкана в месяце X», то вы уменьшите количество событий, и у большего количества событий будут ненулевые значения.