Мне любопытно, почему мы относимся к подгонке GLMS, как к какой-то особой проблеме оптимизации. Они? Мне кажется, что это просто максимальная вероятность, и мы записываем вероятность, а затем ... мы максимизируем ее! Так почему же мы используем оценку Фишера вместо множества схем оптимизации, разработанных в прикладной математической литературе?
Ответы:
Подсчет очков Фишера - это всего лишь версия метода Ньютона, который отождествляется с GLM, в этом нет ничего особенного, кроме того факта, что информационную матрицу Фишера оказывается довольно легко найти для случайных величин в экспоненциальном семействе. Он также связан со многими другими материалами по математике, которые появляются примерно в одно и то же время, и дает хорошую геометрическую интуицию о том, что именно означает информация Фишера.
Нет абсолютно никакой причины, по которой я могу подумать о том, чтобы не использовать какой-либо другой оптимизатор, если вы предпочитаете, за исключением того, что вам, возможно, придется кодировать его вручную, а не использовать уже существующий пакет. Я подозреваю, что любой сильный акцент на выигрыш Фишера представляет собой комбинацию (в порядке уменьшения веса) педагогики, простоты вывода, исторического уклона и синдрома «не изобретено здесь».
Это исторический и прагматичный; Обратные инженерные GLM Nelder и Wedderburn, как набор моделей, в которых вы можете найти MLE, используя оценку Фишера (т.е. итеративно переоцененные наименьшие квадраты). Алгоритм предшествовал моделям, по крайней мере, в общем случае.
Также стоит помнить, что IWLS был тем, что они имели в наличии в начале 70-х годов, поэтому GLM были важным классом моделей, о которых нужно знать. Тот факт, что вы можете максимально увеличить вероятность GLM, используя алгоритмы типа Ньютона (они обычно имеют уникальные MLE), также означал, что такие программы, как GLIM, могли бы использовать те, у кого нет навыков численной оптимизации.