Могу ли я использовать алгоритмы glm для полиномиальной логистической регрессии?

Я использую Spotfire (S ++) для статистического анализа в моем проекте, и мне приходится выполнять многочленную логистическую регрессию для большого набора данных. Я знаю, что лучшим алгоритмом был бы mlogit, но, к сожалению, он не доступен в s ++. Тем не менее, у меня есть возможность использовать алгоритм GLM для этой регрессии. Я хочу уточнить две вещи здесь:

1. Правильно ли я понимаю, что glm также может быть использован для запуска полиномиальной логистической регрессии?

1. Если ответ на предыдущий вопрос положительный, то какие параметры следует использовать в glm algo?

Благодарность,

Да, с Poisson GLM (логарифмическая линейная модель) вы можете использовать многочленные модели. Следовательно, полиномиальные логистические или логарифмические модели Пуассона эквивалентны.

Вы должны увидеть случайные числа как пуассоновские случайные величины со средним значением µ_ {ij} и указать следующую логарифмическую модельμ i $y_{ij}$$μ_{ij}$

$\log(μ_{ij}) = o + p_i + c_j + x_iβ_j$

Чтобы получить полиномиальную модель логита, параметры:

Параметр для каждого полиномиального наблюдения, например, для отдельных лиц или групп. Это обеспечивает точное воспроизведение многочленных знаменателей и фактически устанавливает эквивалентность пуассоновской и многочленной модели. Они фиксированы в полиномиальной вероятности, но случайны в пуассоновской вероятности.$p_i$

Параметр для каждой категории ответов. Таким образом, счетчики могут быть разными для каждой категории ответов, а поля могут быть неоднородными.$c_j$

Что вас действительно интересует, так это условия взаимодействия которые представляют влияние на лог-шансы ответа .x i$x_iβ_j$$x_i$$j$

Лог-шансы могут быть просто вычислены как . Вероятность того, что наблюдение i попадет в категорию ответов j относительно категории ответов является логической вероятностью .$\log(μ_{ij}/μ_{ik}) = (c_j-c_k) +x_i(β_j-β_k)$$k$

Затем параметры в модели полиномиального логита (обозначенные латинскими буквами) могут быть получены как различия между параметрами в соответствующей логарифмической модели, то есть и .b j = β j - β$a_j = α_j-α_k$$b_j = β_j-β_k$

Да, вы можете, и на самом деле это именно то, что делает пакет R GLMNET для полиномиальной логистической регрессии. Запись функции правдоподобия в виде:

$$LogL=\sum_i\sum_cn_{ic}\log(p_{ic})$$

Где обозначает наблюдения, а обозначает полиномиальные категории, - это наблюдаемый счет для наблюдения в категории . Наблюдения определяются их уникальными ковариатными комбинациями - или, в качестве альтернативы, мы можем разрешить дубликаты и установить каждое чтобы у нас были категориальные «двоичные» данные (.... не знаю, что такое множественное число двоичных файлов). ...). Для логистической регрессии вероятности определяются как:c n i c i c n i c = $i$$c$$n_{ic}$$i$$c$$n_{ic}=1$

$$p_{ic}=\frac{\exp\left(x_{i}^T\beta_{c}\right)}{\sum_{c'}\exp\left(x_{i}^T\beta_{c'}\right)}$$

Это менее чем полная ранговая параметризация и может быть полезна, если вы используете наказуемое правдоподобие (например, GLMNET). В принципе, мы можем использовать IRLS / Newton Rhapson в полной бета-матрице , однако в итоге вы получите недиагональные весовые матрицы. В качестве альтернативы мы можем оптимизировать «стиль Гиббса», исправляя все категории бета-версий, кроме одной, а затем оптимизируя только эту категорию. Затем перейдите к следующей категории и так далее. Вы можете видеть это, потому что вероятности имеют вид$(\beta_1,\dots,\beta_{C})$

pic′=

$$p_{ic}=\frac{\exp\left(x_{i}^T\beta_{c}\right)}{\exp\left(x_{i}^T\beta_{c}\right)+A}\text{ where }\frac{\partial A}{\partial \beta_c}=0$$ $$p_{ic'}=\frac{B}{\exp\left(x_{i}^T\beta_{c}\right)+A}\text{ where }\frac{\partial B}{\partial \beta_c}=0$$

Что квадратичное расширение для будет иметь ту же форму, что и для логистической регрессии, но с весами IRLS, рассчитанными по-другому - хотя у нас все еще есть в обычном обновлении беты.$\beta_c$$W_{ii,c}=n_{ic}p_{ic}(1-p_{ic})$$(X^TWX)^{-1}X^TWY$