Когда логистическая регрессия решается в закрытом виде?

Возьмем и и предположим, что мы смоделировали задачу прогнозирования y для данного x с использованием логистической регрессии. Когда коэффициенты логистической регрессии могут быть записаны в закрытом виде? y ∈ { 0 , 1 $x \in \{0,1\}^d$$y \in \{0,1\}$

Один пример - когда мы используем насыщенную модель.

То есть определите , где индексы устанавливаются в наборе , а возвращает 1, если все переменные в -м наборе равны 1 и 0 в противном случае. Затем вы можете выразить каждое в этой модели логистической регрессии как логарифм рациональной функции статистики данных.i { x 1 , … , x d } f i i w $P(y|x) \propto \exp(\sum_i w_i f_i(x_i))$$i$$\{x_1,\ldots,x_d\}$$f_i$$i$$w_i$

Есть ли другие интересные примеры, когда существует закрытая форма?

Как указывал kjetil b halvorsen, по-своему чудом является то, что линейная регрессия допускает аналитическое решение. И это только в силу линейности задачи (по параметрам). В OLS у вас есть который имеет условия первого порядка Для проблемы с переменные (в том числе постоянные, если необходимо - есть и регрессия через проблемы происхождения), это система с уравнениями и неизвестными. Самое главное, что это линейная система, поэтому вы можете найти решение, используя стандартную теорию и практику линейной алгебры.-2 ∑ i (yi-x ′ i β)xi=0pp

$$\sum_i (y_i - x_i' \beta)^2 \to \min_\beta,$$ $$-2 \sum_i (y_i - x_i'\beta) x_i = 0$$ $p$$p$$p$, Эта система будет иметь решение с вероятностью 1, если у вас нет идеально коллинеарных переменных.

Теперь, с логистической регрессией, все уже не так просто. Записать логарифмическую функцию правдоподобия: и, взяв его производную для нахождения MLE, получим Параметры вводят это очень нелинейным образом: для каждого есть нелинейная функция, и они складываются вместе. Аналитического решения не существует (кроме, вероятно, в тривиальной ситуации с двумя наблюдениями или чем-то в этом роде), и вы должны использовать∂

$$l(y;x,\beta) = \sum_i y_i \ln p_i + (1-y_i) \ln(1-p_i), \quad p_i = (1+\exp(-\theta_i))^{-1}, \quad \theta_i = x_i' \beta,$$ $$\frac{\partial l}{\partial \beta'} = \sum_i \frac{{\rm d}p_i}{{\rm d}\theta}\Bigl( \frac{y_i}{p_i} - \frac{1-y_i}{1-p_i} \Bigr)x_i = \sum_i \Bigl[y_i-\frac1{1+\exp(x_i'\beta)}\Bigr]x_i$$ $\beta$$i$методы нелинейной оптимизации для нахождения оценок .$\hat\beta$

Несколько более глубокий взгляд на проблему (с учетом второй производной) показывает, что это является выпуклой оптимизационной задачей поиска максимума вогнутой функции (прославленной многомерной параболы), поэтому любая из них существует, и любой разумный алгоритм должен находить ее достаточно быстро, или вещи уносятся в бесконечность. Последнее действительно случается с логистической регрессией, когда для некоторого , т. вас есть идеальный прогноз. Это довольно неприятный артефакт: вы можете подумать, что когда у вас есть идеальный прогноз, модель работает отлично, но, как ни странно, все наоборот.${\rm Prob}[Y_i=1|x_i'\beta > c] = 1$$c$

Этот пост изначально задумывался как длинный комментарий, а не полный ответ на поставленный вопрос.

Из этого вопроса немного неясно, заключается ли интерес только в двоичном случае или, возможно, в более общих случаях, когда они могут быть непрерывными или принимать другие дискретные значения.

Один пример, который не совсем отвечает на вопрос, но имеет отношение и который мне нравится, касается ранжирования предпочтений предметов, полученного посредством парных сравнений. Модель Брэдли – Терри может быть выражена как логистическая регрессия, где а - это «сходство», «популярность», или параметр «сила» элемента с указывающим, что элемент предпочтительнее элемента в парном сравнении.α i i Y i j = 1 i

$$\mathrm{logit}( \Pr(Y_{ij} = 1) ) = \alpha_i - \alpha_j ,$$ $\alpha_i$$i$$Y_{ij} = 1$$i$$j$

Если выполняется полный цикл сравнений (т. Е. Для каждой неупорядоченной пары записано попарное предпочтение ), то оказывается, что порядок ранга MLEs соответствует ранжирование , общее количество раз, когда один объект был предпочтительнее другого.α я S я = Σ J ≠ я Y я $(i,j)$$\hat{\alpha}_i$$S_i = \sum_{j \neq i} Y_{ij}$

Чтобы интерпретировать это, представьте полный турнир по круговому турниру в вашем любимом соревновательном виде спорта. Затем этот результат говорит о том, что модель Брэдли – Терри ранжирует игроков / команды в соответствии с их процентом побед. Полагаю, будет ли это обнадеживающим или неутешительным результатом, зависит от вашей точки зрения.

NB. Этот результат упорядочения рангов не имеет места, в общем случае, когда полный циклический перебор не разыгрывается.