Как мы предсказываем редкие события?

Я работаю над разработкой модели прогнозирования страхового риска. Эти модели относятся к «редким событиям», таким как прогнозирование неявки авиакомпаний, обнаружение неисправностей оборудования и т. Д. Когда я готовил свой набор данных, я пытался применить классификацию, но не смог получить полезные классификаторы из-за высокой доли отрицательных случаев. ,

У меня нет большого опыта в статистике и моделировании данных, кроме курса по статистике в старшей школе, поэтому я немного растерялся.

Сначала я думал об использовании неоднородной модели пуассоновского процесса. Я классифицировал его на основе данных о событиях (дата, широта, долгота), чтобы получить хорошую оценку вероятности риска в определенное время в определенный день в конкретном месте.

Я хотел бы знать, каковы методологии / алгоритмы для прогнозирования редких событий?
Что вы рекомендуете в качестве подхода к решению этой проблемы?

Стандартным подходом является « теория экстремальной ценности », есть прекрасная книга Стюарта Коулса по этому вопросу (хотя текущая цена кажется, скорее, ошибочной ... экстремальной).

Причина, по которой вы вряд ли получите хорошие результаты, используя методы классификации или регрессии, заключается в том, что эти методы обычно зависят от прогнозирования среднего значения данных, а экстремальные события обычно вызываются сочетанием «случайных» факторов, которые все выстраиваются в одном направлении, таким образом, они находятся в хвостах распределения вероятных результатов, которые обычно далеки от условного среднего. Что вы можете сделать, это предсказать все условное распределение, а не только его среднее значение, и получить некоторую информацию о вероятности экстремального события, интегрируя хвост распределения выше некоторого порога. Я обнаружил, что это хорошо работает в приложении по статистическому уменьшению количества осадков .