ИМХО нет формальных различий, которые отличают машинное обучение и статистику на фундаментальном уровне подгонки моделей к данным. Могут быть культурные различия в выборе моделей, целях подгонки моделей к данным и, в некоторой степени, расширении интерпретаций.
В типичных примерах, которые я могу себе представить, мы всегда имеем
- коллекция моделей для для некоторого индекса ,Mii∈II
- и для каждого неизвестный компонент (параметры, может быть бесконечномерным) модели .iθiMi
Монтаж к данным почти всегда математическая задача оптимизации , состоящая в нахождении оптимального выбора неизвестного компонента , чтобы соответствовать данным, измеренным с помощью какой - то любимой функции.MiθiMi
Выбор среди моделей менее стандартен, и существует целый ряд доступных методик. Если цель подбора модели является чисто прогнозирующей, то выбор модели осуществляется с попыткой получить хорошие прогностические характеристики, тогда как если основной целью является интерпретация полученных моделей, более легко интерпретируемые модели могут быть выбраны среди других моделей, даже если их предсказательная сила, как ожидается, будет хуже.Mi
То, что можно назвать выбором статистической модели старой школы, основано на статистических тестах, возможно, в сочетании со пошаговыми стратегиями выбора, тогда как выбор модели машинного обучения обычно фокусируется на ожидаемой ошибке обобщения, которая часто оценивается с помощью перекрестной проверки. Текущие разработки и понимание выбора моделей, однако, похоже, сходятся к более общей точке зрения, см., Например, Выбор модели и Усреднение модели .
Вывод причинности из моделей
Суть в том, как мы можем интерпретировать модель? Если полученные данные получены из тщательно спланированного эксперимента и модель адекватна, вполне вероятно, что мы можем интерпретировать эффект изменения переменной в модели как причинный эффект, и если мы повторим эксперимент и вмешаемся в эту конкретную переменную мы можем ожидать наблюдения предполагаемого эффекта. Однако, если данные являются наблюдательными, мы не можем ожидать, что предполагаемые эффекты в модели соответствуют наблюдаемым эффектам вмешательства. Это потребует дополнительных предположений независимо от того, является ли модель «моделью машинного обучения» или «классической статистической моделью».
Может случиться так, что у людей, обученных использованию классических статистических моделей с акцентом на одномерные оценки параметров и интерпретации величины эффекта, складывается впечатление, что причинно-следственная интерпретация в этой структуре более обоснована, чем в системе машинного обучения. Я бы сказал, что это не так.
Область причинного вывода в статистике на самом деле не устраняет проблему, но она делает предположения, на которых основываются причинные выводы, явными. Они упоминаются как непроверенные предположения . Статья Каузальный вывод в статистике: обзор Иудеи Перл - хорошая статья для чтения. Основным вкладом в причинно-следственную связь является сбор методов оценки причинно-следственных связей при допущениях, когда фактически существуют ненаблюдаемые факторы, которые в противном случае вызывают серьезную озабоченность. Смотрите Раздел 3.3 в Жемчужной статье выше. Более сложный пример можно найти в статье « Предельные структурные модели и причинно-следственная связь в эпидемиологии» .
Вопрос в том, верны ли непроверяемые предположения. Они абсолютно непроверяемы, потому что мы не можем проверить их, используя данные. Для обоснования предположений требуются другие аргументы.
В качестве примера того, где машинное обучение и причинно-следственная связь встречаются, идеи целенаправленной оценки максимального правдоподобия, представленные Марком ван дер Лааном и Даниелем Рубином в Targeted Learning Максимальное правдоподобие, обычно используют методы машинного обучения для непараметрической оценки с последующим «таргетированием». «к параметру интереса. Последнее вполне может быть параметром с причинной интерпретацией. Идея в Супер Ученикэто в значительной степени полагаться на методы машинного обучения для оценки параметров, представляющих интерес. Марк ван дер Лаан (личное общение) отмечает, что классические, простые и «интерпретируемые» статистические модели часто ошибочны, что приводит к необъективным оценкам и слишком оптимистичной оценке неопределенности оценок.