Откуда появился термин «выучить модель»

Часто я слышал, что майнеры данных используют этот термин. Как статистик, который работал над проблемами классификации, я знаком с термином «обучить классификатора», и я предполагаю, что «выучить модель» означает то же самое. Я не против термина «обучить классификатора». Кажется, это изображает идею подгонки модели, поскольку данные обучения используются для получения хороших или «улучшенных» оценок параметров модели. Но научиться значит получить знания. На простом английском языке «выучить модель» означало бы знать, что это такое. Но на самом деле мы никогда не «знаем» модель. Модели приближают реальность, но ни одна модель не является правильной. Это как Box сказал: «Ни одна модель не является правильной, но некоторые из них полезны».

Мне было бы интересно услышать ответ майнеров данных. Как возник этот термин? Если вы используете его, почему вам это нравится?

Я подозреваю, что ее истоки находятся в сообществе исследователей искусственных нейронных сетей, где нейронную сеть можно рассматривать как обучение модели данных путем модификации синаптических весов аналогично тому, что происходит в человеческом мозге, как мы сами учимся из опыт. Моя исследовательская карьера началась в искусственных нейронных сетях, поэтому я иногда использую эту фразу.

Возможно, имеет больше смысла, если вы думаете о модели как о кодируемой в параметрах модели, а не в уравнении, так же, как ментальная модель является не идентифицируемой физической составляющей мозга, а набором параметров. настройки для некоторых из наших нейронов.

Обратите внимание, что нет никакого смысла в том, что ментальная модель также обязательно верна!

Термин довольно старый в искусственном интеллекте. Тьюринг посвятил длинный раздел «Обучающие машины» в своей статье « Вычислительная техника и интеллект в 1950 году в Mind» и качественно набросал очерки обучения под наблюдением. В оригинальной статье Розенблатта « Перцептрон: вероятностная модель хранения и организации информации» в статье « Мозг» 1958 года подробно говорится о «математической модели обучения». Здесь персептрон был «моделью обучения»; модели не были "изучены".

Статья Питса и Маккалоу 1943 года - оригинальная статья «Нейронные сети» - на самом деле не имела отношения к обучению, а больше к тому, как можно построить логическое исчисление (например, систему Гильберта или Генцена, но я думаю, что они ссылаются на Рассела / Уайтхеда), мог бы сделать вывод. Я думаю, что это был документ «Перцептроны», который ввел числовое значение, в отличие от символического понятия обучения в этой традиции.

Может ли машина научиться играть в шахматы только на примерах? Да. Есть ли модель для игры в шахматы? Да. Это оптимальная модель (если она есть)? Почти наверняка нет. На простом английском я «выучил шахматы», если я могу хорошо играть в шахматы - или, может быть, довольно хорошо. Это не значит, что я лучший шахматист. Именно в этом смысле Тьюринг описывал «обучение», когда он обсуждал изучение шахмат в своей статье.

Я очень не согласен с тем, какой термин я использую. Так (например) для обучения в пределе я бы сказал «определить», для обучения SVM я бы сказал «тренироваться», а для MCMC - «обучение» я бы сказал «оптимизировать». И, например, я просто называю регрессию «регрессия».

Как исследователь в области биоплавкого машинного обучения, я полностью согласен с тем, что «ни одна модель не является правильной, но некоторые являются полезными», и на самом деле модели и формализмы имеют серьезные недостатки, которые используются авторами, которые говорят об оптимизации проблемы, когда они делают оптимизирует модель, то есть исследует пространство ее параметров и находит локальный или, мы надеемся, глобальный оптимум. Это не в общем оптимума для реальной проблемы. Хотя создатель модели обычно использует правильную терминологию и раскрывает все допущения, большинство пользователей скрывают допущения, которые, как известно, чаще всего не содержат, а также используют менее точные формулировки об «обучении» и «оптимизации» и « параметризация».

Я думаю, что эта оптимальная параметризация модели - это то, что люди имели бы в виду в машинном обучении, особенно в контролируемом машинном обучении, хотя я не могу сказать, что много слышал об «изучении модели» - но это происходит, и в то время как человек обучает модель, компьютер изучает параметры модели. Даже при неконтролируемом обучении «обучение» чаще всего является просто параметризацией модели, и, надеюсь, «изучение модели», таким образом, является оптимальной параметризацией модели (хотя часто разные способы поиска в пространстве параметров находят разные решения, даже если они могут быть доказаны оптимизировать то же самое). Я действительно предпочел бы использовать «обучение модели»

На самом деле, большая часть моих исследований посвящена изучению модели с точки зрения обнаружения лучшей модели или более вероятной в вычислительном и когнитивном / биологическом / экологическом отношении модели.