Какова связь между корреляцией и причинностью в машинном обучении?

Общеизвестно, что «корреляция не равна причинности», но машинное обучение, кажется, почти полностью основано на корреляции. Я работаю над системой оценки успеваемости учащихся по вопросам, основанным на их прошлых выступлениях. В отличие от других задач, таких как поиск в Google, это не похоже на систему, в которую легко играть, поэтому причинно-следственная связь не имеет к этому никакого отношения.

Ясно, что если мы хотим провести эксперименты по оптимизации системы, нам придется заботиться о различии корреляции / причинности. Но с точки зрения простого построения системы для выбора вопросов, которые могут иметь соответствующий уровень сложности, имеет ли это различие какое-либо значение?

Не все ИИ работают на корреляцию, байесовские сети убеждений построены вокруг вероятности того, что А вызывает B.

Я работаю над системой оценки успеваемости учащихся по вопросам, основанным на их прошлых выступлениях.

Я не думаю, что вам нужна причина для этого. Прошлые показатели не влияют на текущие показатели. Ответ на ранний вопрос не вызывает ответа на более поздний вопрос.

Но с точки зрения простого построения системы для выбора вопросов, которые могут иметь соответствующий уровень сложности - имеет ли это различие какое-либо значение?

Нет, не для вашего примера. Я думаю, что корреляция (или даже простая экстраполяция) решит вашу проблему очень хорошо. Присвойте оценку сложности каждому из вопросов, а затем задайте вопросы учащимся на все более сложных уровнях (именно так работает большинство экзаменов), а затем, когда ученик начинает понимать их неправильно, вы можете свернуть трудности. Это алгоритм обратной связи, который похож на минимизацию ошибок, выполняемых на нейроне в многослойном персептроне. Нетривиальная часть входных пространств, подобная этой, решает, какой сложный вопрос!

Лучший пример причинно-следственной связи в ИИ:

Моя машина тормозит. Мой ускоритель на полу. Там не так много шума. На приборной панели есть огни. Какова вероятность того, что у меня кончилось топливо?

В этом случае из-за нехватки топлива автомобиль замедлился. Это именно та проблема, которую решают Bayesian Belief Networks.

машинное обучение, кажется, почти полностью основано на корреляции

Я так не думаю, по крайней мере, вообще. Например, основное предположение для алгоритмов ML с точки зрения анализа PAC и анализа измерений VC является то , что обучение / тестирование данные из того же распределения , что данные будущем.

Таким образом, в вашей системе вы должны предполагать, что каждый студент навязывает какое-то условное распределение вероятностей, которое генерирует ответы на конкретные типы вопросов по конкретным темам. Другое и более проблемное предположение, которое вы должны сделать, заключается в том, что это распределение не меняется (или не меняется быстро).

Я согласен с предыдущими ответами.

Однако, если вы заинтересованы в рассмотрении корреляции / причинности в целом, вы можете рассмотреть два вопроса:

• Жемчужина (да, та Жемчужина ) выпустила одну из очень немногих приличных книг о ней.
• Обучение усилению и проблема многорукого бандита основаны на актере, пытающемся определить оптимальные направления действий в неизвестной среде - то есть они должны узнать, какие «действия» дадут им наилучшую «награду», и таким образом косвенно выявить причинно-следственную связь. отношения.

В дополнение к другим ответам, есть интересная тема - если вы выбираете функции вручную, вы можете подумать о «случайной корреляции», чтобы уменьшить переоснащение, то есть избегать функций, которые каким-то образом оказываются коррелированными в ваших тренировочных данных, но не Не следует коррелировать в общем случае - что нет причинно-следственной связи вообще.

В качестве грубого примера, давайте предположим, что вы берете таблицу данных исторических результатов экзамена и пытаетесь предсказать критерии отказа / прохождения; Вы просто включаете все доступные поля данных в качестве функций, и что в таблице также есть день рождения студентов. Теперь, возможно, существует достоверная корреляция в данных обучения, которые почти всегда пропускают ученики, родившиеся 12 февраля, и ученики, родившиеся 13 февраля, почти всегда терпят неудачу ... но, поскольку нет причинно-следственной связи, это следует исключить.

В реальной жизни это немного более тонко, но помогает различать корреляции, которые соответствуют вашим данным действительным сигналам, которые должны быть изучены; и корреляции, которые являются просто моделями, вызванными случайным шумом в вашем тренировочном наборе.