Вредны ли эксперты?

Я читаю «Роль шахмат в исследованиях искусственного интеллекта» ( pdf ) и, что интересно, там написано:

Опыт [...] свидетельствует о том, что вклады шахматных экспертов, хотя и в целом полезные, нельзя полностью доверять.

Хорошим примером этого является функция оценки Deep Thought. Некоторые изменения, сделанные опытными специалистами по шахматам, не принесли существенных улучшений и иногда даже отрицательно сказывались на производительности машины.

Здесь специалисты-люди вместе со своими знаниями внесли в программу свои предубеждения. Одним из способов решения этой проблемы является ограничение типа и количества экспертных входов, разрешенных в программе; в другом, имеющем почти "без знаний" машину.

• Насколько это верно в современных исследованиях и на практике?
• Это большая проблема или просто что-то особенное для игры в шахматы?

Я думаю, что это больше о решении технических проблем. Большинство успешных инженерных проектов не дублируют мнение эксперта или его специфику. Они решили проблему по-другому.

Например, стиральные машины используют другую технику, чем люди, самолеты используют другую динамику, чем птицы.

Если вы дублируете «Рассуждение эксперта», их вклад - это все . Но если вы решаете одну и ту же проблему, используя разные методы (быстрый поиск, огромный объем памяти ...), их ввод только полезен .

Такие проблемы распространены в различных областях, требующих суждения.

В главе « Прогнозирование и корректировка на основе суждений» в «Makridakis», «Wheelwright» и «Hyndman Forecasting: методы и приложения» есть похожие истории экспертного суждения, которые не всегда работают даже в очень простых системах.

Есть статья (Dawes et al. (1989) "Clinical vs Actuarial Judgment" Science , Vol. 243, № 4899, p1668-74) о неудачах экспертного суждения в медицинской сфере против того, что он называет "актуарными" методами - в основном довольно просто статистические модели.

С другой стороны, в актуарной литературе есть статья о «шумности» и непоследовательности экспертного суждения в конкретной проблеме в той области, где экспертное суждение часто рассматривается его практиками как первостепенное значение.

Макридакис и др. Обсуждают неудачи экспертного суждения во многих областях, так как они связаны с прогнозированием и содержат немало ценных советов.

И так далее. Когнитивные искажения имеются в большом количестве, и человеческие эксперты страдают от них наряду со всеми остальными.

Вопрос о том, вредны ли эксперты, не является проблемой, ограниченной игрой в шахматы.

В литературе интересный вопрос, касающийся оптимальной структуры комитетов по денежно-кредитной политике (MPC), заключается в том, должны ли комитеты включать внешних экспертов, которые не являются штатными сотрудниками центрального банка.

Чтобы представить это в перспективе, сначала рассмотрим MPC Банка Англии. Он состоит из пяти внутренних исполнительных членов банка и четырех внешних экспертов. С другой стороны, в Федеральном резервном банке работает комитет, состоящий исключительно из сотрудников банка.

Внешние эксперты включены в MPC Банка Англии, поскольку они, как полагают, привносят опыт и дополнительную информацию в информацию, полученную в Банке Англии.

Итак, какой дизайн MPC лучше? Эксперты или эксперты?

Что ж, эта область исследований все еще активна и недавно была исследована Hansen & McMahon (2010) . Я предлагаю ознакомиться со ссылками, упомянутыми в этой статье, для дальнейшего чтения по этому вопросу "комитетов экспертов".

Это большая (важная) проблема? Учитывая влияние, которое решение MPC может оказать на экономику, я бы сказал, что это довольно важная проблема!

Наконец, я должен упомянуть, что решения по денежно-кредитной политике теоретически могут быть делегированы компьютеру. Например, компьютер может быть запрограммирован для реализации, скажем, простого правила денежно-кредитной политики ; например, один из обязательств. Это удалит экспертные данные после того, как правило денежной политики будет запрограммировано в компьютер. Использование компьютера в денежно-кредитной политике упоминается в Svensson (1999) .

Ссылка : Стивен Элиот Хансен и Майкл МакМэхон, 2010. «Что внешние эксперты приносят в комитет? Данные Банка Англии», «Working Working Papers 1238», Департамент экономики и бизнеса, Университет Помпеу Фабра.

Ларс Э.О. Свенссон, 1999. «Как проводить денежно-кредитную политику в эпоху стабильности цен?», Слушания, Федеральный резервный банк Канзас-Сити, стр. 195-259.

Я думаю, что ключ в последовательности. Эксперт обладает не только определенными знаниями, но и системой, в которой действуют эти знания. У них есть личность, общая стратегия, в рамках которой их тактика находится и развивается.

В некотором смысле компьютерная программа, играющая в шахматы, - это монстр Франкенштейна, созданный из коллажей из разных тел (программистов, экспертов и т. Д.). Поэтому неудивительно, что какой-либо совет эксперта не вписывается в существующую систему.

Я согласен с другими комментариями, что эксперты могут не знать, как они делают то, что они делают. В этом случае, будучи человеком, их сознательный разум составляет правдоподобную историю о том, почему они приняли конкретное решение. Но я все еще думаю, что советы экспертов для команды программистов всегда вне контекста (то есть несовместимы с контекстом дизайна и истории программы).

РЕДАКТИРОВАТЬ: Здесь также может быть уклон подкрепления. Я не могу найти хороших ссылок для объяснения смещения подкрепления, но, насколько я понимаю, термин - это эффект, который вы получаете, когда обновляете (перестраиваете) контролируемую модель, используя предыдущие результаты модели - обычно косвенно - в качестве целей. Это похоже на предвзятость подтверждения, но включает в себя уровень косвенности. У человеческих экспертов будут свои Усиления Усиления, которые могут повлиять на вещи.