Является ли GLM статистической или машины модели обучения?

Я думал, что обобщенная линейная модель (GLM) будет рассматриваться как статистическая модель, но один из моих друзей сказал мне, что некоторые статьи классифицируют ее как технику машинного обучения. Какой из них является истинным (или точнее)? Любое объяснение будет оценено.

GLM - абсолютно статистическая модель, но статистические модели и методы машинного обучения не являются взаимоисключающими. В целом, статистика больше касается выводимых параметров, тогда как в машинном обучении прогнозирование является конечной целью.

Что касается прогнозирования, статистика и машинное обучение начали решать в основном одну и ту же проблему с разных точек зрения.

В основном статистика предполагает, что данные были получены по данной стохастической модели. Таким образом, со статистической точки зрения, модель предполагается и с учетом различных допущений, ошибки обрабатываются и выводятся параметры модели и другие вопросы.

Машинное обучение происходит с точки зрения компьютерных наук. Модели являются алгоритмическими, и, как правило, очень мало предположений относительно данных. Мы работаем с гипотезой пространства и смещения обучения. Лучшая экспозиция машинного обучения, которую я нашел, содержится в книге Тома Митчелла « Машинное обучение» .

Для более исчерпывающего и полного представления о двух культурах вы можете прочитать статью Лео Бреймана под названием « Статистическое моделирование: две культуры».

Однако то , что нужно добавить, что даже если эти две наук начали с разными точками зрения, оба из них в настоящее время в настоящее время доли суммы справедливой общих знаний и методов. Почему, потому что проблемы были те же, но инструменты были разные. Так что теперь обучение машины в основном рассматривается с точки зрения статистики (проверьте Гесте, Tibshirani, Фридман книги Элементы статистического обучения от машинного обучения точки зрения со статистической пропиткой, и , возможно , книгой Кевин П. Мерфи Machine Learning: A вероятностной точки зрения , чтобы назвать только некоторые из лучших книг , доступных на сегодняшний день).

Даже история развития этой области показывает преимущества этого слияния перспектив. Я опишу два события.

Во-первых, это создание деревьев CART, которые были созданы Брейманом с солидным статистическим фоном. Примерно в то же время Quinlan разработал ID3, C45, See5 и т. Д. Пакет дерева решений с большим опытом работы в области информатики. Теперь и эти семейства деревьев, и методы ансамбля, такие как укладка в мешки и леса, становятся довольно похожими.

Вторая история о повышении. Первоначально они были разработаны Фрейндом и Шапиром, когда они обнаружили AdaBoost. Выбор для проектирования AdaBoost был сделан в основном с вычислительной точки зрения. Даже авторы не очень хорошо поняли, почему это работает. Только через 5 лет Брейман (снова!) Описал модель adaboost со статистической точки зрения и объяснил, почему это работает. С тех пор различные видные ученые с обоими типами опыта развивали эти идеи, приводя к Плеядам алгоритмов повышения, таких как повышение логистики, повышение градиента, мягкое повышение и так далее. Сейчас трудно думать о повышении без твердого статистического фона.

Обобщенные линейные модели - это статистическая разработка. Однако новые байесовские процедуры помещают этот алгоритм также в игровую площадку для машинного обучения. Поэтому я считаю, что оба утверждения могут быть правильными, поскольку интерпретация и трактовка того, как это работает, могут быть разными.

В дополнение к ответу Бена тонкое различие между статистическими моделями и моделями машинного обучения заключается в том, что в статистических моделях вы явно определяете структуру выходного уравнения до построения модели. Модель построена для расчета параметров / коэффициентов.

Возьмите линейную модель или GLM, например,

y = a1x1 + a2x2 + a3x3

Ваши независимые переменные - x1, x2, x3, а определяемые коэффициенты - a1, a2, a3. Вы определяете свою структуру уравнений таким образом до построения модели и вычисляете a1, a2, a3. Если вы считаете, что y каким-то образом коррелирует с x2 нелинейным образом, вы можете попробовать что-то вроде этого.

y = a1x1 + a2(x2)^2 + a3x3.

Таким образом, вы накладываете ограничение на структуру вывода. Статистические модели по своей сути являются линейными моделями, если вы явно не применяете преобразования, такие как сигмоид или ядро, чтобы сделать их нелинейными (GLM и SVM).

В случае моделей машинного обучения вы редко указываете структуру вывода, а алгоритмы, такие как деревья решений, по своей природе нелинейны и работают эффективно.

Вопреки тому, на что указал Бен, модели машинного обучения - это не просто прогнозирование, а классификация, регрессия и т. Д., Которые можно использовать для прогнозирования, что также делается различными статистическими моделями.

GLM является абсолютно статистической моделью, в то время как все больше и больше статистических методов применяются в промышленном производстве как приемы машинного обучения . Мета-анализ, который я читаю больше всего в эти дни, является хорошим примером в области статистики.

Идеальное промышленное применение с GLM может объяснить, почему ваш друг сказал вам, что GLM считается техникой машинного обучения . Вы можете сослаться на эту статью http://www.kdd.org/kdd2016/papers/files/adf0562-zhangA.pdf .

Я реализовал упрощенный, который рассматривался как основная структура моей системы рекомендаций в сценарии производства несколько недель назад. Очень признателен, если вы дадите мне несколько советов, и вы можете проверить исходный код: https://github.com/PayneJoe/algo-sensetime/blob/master/src/main/scala/GLMM.scala

Надеемся, что это поможет вам, добрый день!