Кажется довольно спорным сказать, что подходы, основанные на NN, становятся довольно мощными инструментами во многих областях ИИ - будь то распознавание и разложение изображений (лица на границе, уличные сцены в автомобилях, принятие решений в неопределенных / сложных ситуациях или с частичными данными). Почти неизбежно, некоторые из этих применений перерастут в ситуации, когда ИИ на основе NN берет на себя часть или все человеческое бремя и, как правило, делает это лучше, чем люди обычно делают.
Примерами могут быть NN, гипотетически используемый в качестве ступеней в автомобилях с самостоятельным вождением, медицинская диагностика, проверка личности / личности, проверка схемы / конструкции, оповещение о сомнительных транзакциях. Вероятно, много полей в следующем десятилетии или около того.
Предположим, что это происходит, и, как правило, считается успешным (например, он диагностирует правильные 80% до 65% или около того от врачей-людей, или автомобили с ИИ, которые включают NN-компонент, дают сбой на 8% меньше, чем машины или альтернативы, управляемые человеком, или что угодно).
Теперь - предположим, что один из них ненормально и серьезно делает что-то очень неправильное в одном случае. Как можно подойти к этому? С помощью формальных логических шагов можно проследить формальный процесс принятия решения, но с NN может не быть формальной логики, особенно если он становится достаточно сложным (скажем, через пару десятилетий), есть только 20 миллиардов нейронных процессоров и их весовые коэффициенты ввода / вывода и связи, может быть невозможно определить, что вызвало какой-то инцидент, даже если были потеряны жизни. Также может оказаться невозможным сказать больше, чем постоянно изучают системы, и такие случаи редки.
Я также не слышал о каком-либо значимом способе сделать «черный ящик» или бортовой регистратор, эквивалентный для NN (даже если он не использовался в случае, критически важном для жизни), который позволил бы нам понять неправильное решение и избежать его. В отличие от других ответов на дефекты продукта, если после события можно было обучить NN, чтобы исправить один такой случай, это явно не дает уверенности в том, что мы хотели бы, чтобы новая установка NN устранила проблему или не уменьшила риск и баланс других проблем при этом. Это просто очень непрозрачно. И все же, очевидно, что это в основном очень ценно в качестве подхода ИИ.
Через 20 лет, если NN является (признанным безопасным и успешным) компонентом в полете самолета или конструкции самолета, или встроенным в систему больниц для наблюдения за чрезвычайными ситуациями или для выявления мошенничества в банке, и, как обычно, прошел все нормативные и рыночные требования могут существовать и исполняться годами с хорошей репутацией на общем рынке, а затем в одном случае такая система через какое-то время явно неправильно действует в одном случае - она опасно неправильно понимает дорогу, рекомендует опасные для жизни лекарства или явно ошибочные диагнозы, или совершает откровенную мошенническую транзакцию на сумму 200 млн. фунтов стерлингов в клиринговом банке, которая случайно отправляется только до отправки денег.
Что может сделать производитель для решения проблем общественности или рынка или для объяснения инцидента? Что делает техническая команда, когда Правление говорит «как это произошло и, черт побери, это исправлено»? Какого рода значимые журналы можно хранить и т. Д.? Придется ли обществу просто признать, что неопределенность и случайное дурацкое поведение могут быть присущи (удачи в этом убедительном обществе!)? Или есть какой-то лучший способ приблизиться к журналированию / отладке / принятию решений, более подходящий для NN?