Пуассоновская регрессия с большими данными: неправильно ли менять единицу измерения?

Из-за факториала в распределении Пуассона становится непрактичным оценивать модели Пуассона (например, с использованием максимальной вероятности), когда наблюдения велики. Так, например, если я пытаюсь оценить модель для объяснения количества самоубийств в конкретном году (доступны только годовые данные) и скажу, что каждый год совершаются тысячи самоубийств, неправильно ли выражать самоубийства сотнями , так что 2998 будет 29,98 ~ = 30? Другими словами, неправильно ли менять единицу измерения, чтобы сделать данные управляемыми?

Когда вы имеете дело с распределением Пуассона с большими значениями \ lambda (его параметр), обычно используется нормальное приближение к распределению Пуассона.

Как упоминает этот сайт , вполне нормально использовать нормальное приближение, когда \ lambda превышает 20, и приближение улучшается, когда \ lambda становится еще выше.

Распределение Пуассона определяется только в пространстве состояний, состоящем из неотрицательных целых чисел, поэтому изменение масштаба и округление привнесут в ваши данные странные вещи.

Используя нормальный ок. для больших пуассоновских статистик это ОЧЕНЬ распространено.

В случае с Пуассоном это плохо, так как отсчеты являются отсчетами - их единица равна единице. С другой стороны, если вы используете какое-то продвинутое программное обеспечение, такое как R, его функции обработки Пуассона будут знать о таких больших числах и будут использовать некоторые числовые приемы для их обработки.

Очевидно, я согласен, что нормальное приближение - еще один хороший подход.

Большинство статистических пакетов имеют функцию для непосредственного вычисления натурального логарифма факториала (например, функция lfactorial () в R, функция lnfactorial () в Stata). Это позволяет вам включать постоянный термин в логарифмическую вероятность, если хотите.

Боюсь, ты не сможешь этого сделать. Как утверждает @Baltimark, при большой лямбде распределение будет иметь более нормальную форму (симметричную), а при уменьшении его больше не будет расслоения Пуассона. Попробуйте следующий код в R:

poi1 = rpois(100000, lambda = 5)  # poisson
poi2 = rpois(100000, lambda = 100)/20 # scaled-down poisson
poi2_dens = density(poi2)

hist(poi1, breaks = 0:30, freq = F, ylim = range(poi2_dens$y))
lines(poi2_dens, col = "red")

Результат ниже:

Вы можете видеть, что уменьшенный масштаб пуассона (красная линия) полностью отличается от распределения Пуассона.

Вы можете просто игнорировать «факториал» при использовании максимальной вероятности. Вот обоснование вашего примера самоубийства. Позволять:

λ: ожидаемое количество самоубийств в год

к _я : количество самоубийств в году i.

Тогда вы максимизируете логарифмическую вероятность как:

LL = ∑ (k _i log (λ) - λ - k _i !)

Максимизация вышеупомянутого эквивалентна максимизации следующего как k _i ! константа:

LL ^' = ∑ (k _i log (λ) - λ)

Могли бы объяснить, почему факториал является проблемой? Я что-то пропустил?