В чем разница между обучением и умозаключением?

В научных работах по машинному обучению часто рассматриваются обучение и умозаключение как две отдельные задачи, но мне не совсем понятно, в чем заключается различие. В этой книге , например , они используют байесовской статистики для обоих видов задач, но не обеспечивают мотивацию для этого различия. У меня есть несколько расплывчатых идей, о чем это может быть, но я хотел бы увидеть четкое определение и, возможно, также опровержение или расширение моих идей:

• Разница между выводом значений скрытых переменных для определенной точки данных и изучением подходящей модели для данных.
• Разница между извлечением отклонений (логическим выводом) и изучением инвариантов, чтобы иметь возможность извлекать отклонения (путем изучения динамики входного пространства / процесса / мира).
• Нейронаучной аналогией может быть кратковременная потенциация / депрессия (следы памяти) против долгосрочной потенциации / депрессии.

Я согласен с ответом Нила Дж, но, возможно, эта альтернативная формулировка также помогает:

Рассмотрим настройку простой модели гауссовой смеси. Здесь мы можем думать о параметрах модели как о множестве гауссовых компонентов модели смеси (каждое из их средних значений и дисперсий, а также веса каждого в смеси).

Учитывая набор параметров модели, логический вывод - это проблема определения того, какой компонент, скорее всего, сгенерировал один данный пример, обычно в форме «ответственности» за каждый компонент. Здесь скрытые переменные - это всего лишь один идентификатор, для которого компонент сгенерировал данный вектор, и мы определяем, какой компонент, вероятно, был. (В этом случае логический вывод прост, хотя в более сложных моделях он становится довольно сложным.)

Обучение - это процесс, с учетом набора выборок из модели, определения параметров модели (или распределения по параметрам модели), которые наилучшим образом соответствуют приведенным данным: выбор средних, дисперсий и весов гауссианов.

Алгоритм обучения Expectation-Maximization можно рассматривать как выполнение вывода для обучающего набора, затем изучение наилучших параметров с учетом этого вывода, а затем повторение. Вывод часто используется в процессе обучения таким образом, но он также представляет самостоятельный интерес, например, чтобы выбрать, какой компонент сгенерировал данную точку данных в модели гауссовой смеси, чтобы выбрать наиболее вероятное скрытое состояние в скрытой марковской модели, вменять пропущенные значения в более общую графическую модель, ....

Логический вывод - это выбор конфигурации на основе одного входа. Обучение - это выбор параметров на основе некоторых примеров обучения.

В структуре основанной на энергии модели (способ рассмотрения почти всех архитектур машинного обучения) логический вывод выбирает конфигурацию, чтобы минимизировать энергетическую функцию при сохранении фиксированных параметров ; Обучение выбирает параметры, чтобы минимизировать функцию потерь .

Как указывает сопряженный, другие люди используют разные термины для одного и того же. Например, епископ использует «умозаключение» и «решение» для обозначения обучения и умозаключения соответственно. Причинный вывод означает обучение. Но какие бы термины вы ни выбрали, эти два понятия различны.

Неврологическая аналогия паттерна стрельбы, нейроны - конфигурация; набор сильных сторон связи - параметры.

Это похоже на классическую междисциплинарную путаницу в жаргоне. ОП, кажется, использует нейронаучную терминологию, где два рассматриваемых термина могут иметь разную коннотацию. Но поскольку Cross Validated, как правило, имеет дело со статистикой и машинным обучением, я постараюсь ответить на вопрос, основываясь на распространенном использовании этих терминов в этих областях.

В классической статистике умозаключение - это просто акт взятия того, что вы знаете о выборке, и математическое утверждение о населении, из которого она (надеюсь) является репрезентативной. Из канонического учебника Casella & Berger (2002): «Предмет теории вероятностей - это основа, на которой строится вся статистика ... С помощью этих моделей статистики могут сделать выводы о населении, выводы, основанные на изучении только часть целого ". Таким образом, в статистике логический вывод конкретно связан с p-значениями, статистикой тестирования, распределением выборки и т. Д.

Что касается обучения, я думаю, что эта таблица из Ватсермана Вся статистика (2003) может быть полезна:

Странно, что никто не упомянул об этом, но вы можете сделать вывод только в тех случаях, когда у вас есть распределение вероятностей. Вот, чтобы процитировать Wiki, который цитирует Оксфордский словарь:

Статистический вывод - это процесс использования анализа данных для определения свойств лежащего в основе распределения вероятностей (Оксфордский словарь статистики)

https://en.wikipedia.org/wiki/Statistical_inference

В случае традиционных нейронных сетей, k-NN или ванильных SVM у вас нет ни плотности вероятности для оценки, ни предположений о какой-либо плотности, таким образом, нет статистического вывода. Только обучение / обучение. Однако для большинства (всех?) Статистических процедур вы можете использовать как логический вывод, так и обучение, поскольку эти процедуры содержат некоторые предположения о распределении рассматриваемой группы населения.