Различия между логистической регрессией и персептронами

Как я понимаю, перцептрон / однослойная искусственная нейронная сеть с функцией активации логистической сигмоиды - это та же модель, что и логистическая регрессия. Обе модели задаются уравнением:

$F(x) = \frac{1}{1-e^{-\beta X}}$

Алгоритм обучения персептрона работает в режиме онлайн и определяется ошибками, в то время как параметры для логистической регрессии могут быть изучены с использованием различных пакетных алгоритмов, включая градиентный спуск и BFGS с ограниченной памятью, или онлайн-алгоритм, такой как стохастический градиентный спуск. Есть ли другие различия между логистической регрессией и сигмоидным персептроном? Следует ли ожидать, что результаты логистического регрессора, обученного со стохастическим градиентным спуском, будут аналогичны персептрону?

Вы упомянули уже важные различия. Так что результаты не должны сильно отличаться.

Я считаю, что одно из различий, которое вам не хватает, заключается в том, что логистическая регрессия возвращает принципиальную вероятность классификации, тогда как персептроны классифицируются с жесткой границей.

Это упоминается в вики-статье о полиномиальной логистической регрессии .

На самом деле есть большая существенная разница, которая связана с техническими различиями, которые вы упомянули. Логистическая регрессия моделирует функцию среднего распределения Бернулли как линейное уравнение (среднее значение равно вероятности p события Бернулли). Используя ссылку logit как функцию от среднего значения ( p ), логарифм шансов (log-odds) можно получить аналитически и использовать в качестве ответа так называемой обобщенной линейной модели. Оценка параметров в этом GLM является статистическим процессом, который дает p-значения и доверительные интервалы для параметров модели. Вдобавок к предсказанию, это позволяет интерпретировать модель в причинно-следственной связи. Это то, чего вы не можете достичь с помощью линейного персептрона.

Перцептрон - это процесс обратного инжиниринга логистической регрессии: вместо логита y он принимает обратную логит (логистическую) функцию wx и не использует вероятностные допущения ни для модели, ни для оценки ее параметров. Онлайновое обучение даст вам точно такие же оценки для весов / параметров модели, но вы не сможете интерпретировать их в причинно-следственной связи из-за отсутствия p-значений, доверительных интервалов и, следовательно, базовой вероятностной модели.

Короче говоря, логистическая регрессия - это GLM, который может выполнять прогнозирование и вывод, тогда как линейный Перцептрон может только достигать прогнозирования (в этом случае он будет выполнять то же самое, что логистическая регрессия). Разница между ними также является фундаментальной разницей между статистическим моделированием и машинным обучением.