Хотя я согласен с ответом ncasas в большинстве пунктов (+1), я позволю себе не согласиться с некоторыми из них:
- Деревья решений также могут использоваться в качестве моделей черного ящика. На самом деле, я бы сказал, что в большинстве случаев они используются в качестве моделей черного ящика. Если у вас есть 10 000 объектов и дерево глубиной 50, вы не можете ожидать, что человек это поймет.
- Нейронные сети могут быть поняты. Существует много методов анализа (см. Главу 2.5 моей магистерской работы, в которой описана цель, направленная на улучшение модели). Особенно анализ окклюзии (рисунок 2.10), Визуализация фильтра (рисунок 2.11). Кроме того, почему я должен доверять вам? бумага ( мои заметки ).
Объяснение предсказания модели черного ящика с помощью причудливого анализа окклюзии (из «Почему я должен вам доверять?»):
Я хотел бы отметить Мифы интерпретируемости модели . Он формулирует некоторые идеи о интерпретируемости в сжатой форме.
Ваш вопрос
Почему модели машинного обучения называют черными ящиками?
Как люди используют это : потому что они не моделируют проблему таким образом, который позволяет людям прямо говорить, что происходит для любого данного входа.
Личные мысли
Я не думаю, что это понятие «модель черного ящика» имеет большой смысл. Например, подумайте о прогнозировании погоды. Вы не можете ожидать, что какой-либо человек скажет, какая погода будет предсказана, если ему будут предоставлены только данные. Тем не менее, большинство людей не сказали бы, что физические модели погоды - это модели черного ящика. Так в чем же разница? Является ли это только тем фактом, что одна модель была сгенерирована с использованием данных, а другая - с точки зрения физики?
Когда люди говорят о моделях черного ящика, они обычно говорят, что это плохо. Но люди тоже модели черного ящика. Критическое различие, которое я вижу здесь, состоит в том, что класс ошибок, которые делают люди, легче предсказать для людей. Следовательно, это проблема обучения (неблагоприятные примеры со стороны NN) и проблема образования (обучение людей тому, как работают NN).
Как следует использовать термин «модель черного ящика» : подход, который имеет для меня больше смысла, - это назвать проблему «проблемой черного ящика», аналогично тому, что пишет user144410 (+1). Следовательно, любая модель, которая рассматривает проблему только как черный ящик, то есть что-то, что вы можете поместить и получить, - это модель черного ящика. Модели, которые имеют представление (не только предполагают!) О проблеме, не являются моделями черного ящика. Часть понимания сложна. Каждая модель налагает ограничения на возможную функцию, которую она может моделировать (да, я знаю о проблеме универсального приближения. Пока вы используете NN фиксированного размера, это не применяется). Я бы сказал, что что-то представляет собой понимание проблемы, если вы знаете что-то об отношениях ввода и вывода, не сталкиваясь с проблемой (не глядя на данные).
Что следует из этого:
- Нейронные сети могут быть не blackbox (whitebox?)
- Логистическая регрессия может быть моделью черного ящика.
- Это больше о проблеме и вашем понимании, а не о модели.