Нейронная сеть - это черный ящик в том смысле, что, хотя она может аппроксимировать любую функцию, изучение ее структуры не даст вам понимания структуры аппроксимируемой функции.
Например, одним из распространенных применений нейронных сетей в банковском бизнесе является классификация заемщиков по категориям «хорошие плательщики» и «плохие плательщики». У вас есть матрица входных характеристик (пол, возраст, доход и т. Д.) И вектор результатов («по умолчанию», «не по умолчанию» и т. Д.). Когда вы моделируете это с помощью нейронной сети, вы предполагаете, что существует функция в собственном смысле математической функции. Эта функция f может быть произвольно сложной и может меняться в зависимости от развития бизнеса, поэтому вы не можете получить ее вручную.Сре( C) = R
Затем вы используете нейронную сеть для построения приближения с частотой ошибок, приемлемой для вашего приложения. Это работает, и точность может быть сколь угодно малой - вы можете расширить сеть, настроить параметры обучения и получать больше данных, пока точность не достигнет ваших целей.е
Проблема черного ящика: приближение, данное нейронной сетью, не даст вам никакого представления о форме f. Не существует простой связи между весами и аппроксимируемой функцией. Даже анализ того, какая входная характеристика не имеет значения, является открытой проблемой (см. Эту ссылку ).
Кроме того, с традиционной точки зрения статистики нейронная сеть является неидентифицируемой моделью: учитывая набор данных и топологию сети, могут быть две нейронные сети с разными весами и одинаковым результатом. Это делает анализ очень сложным.
В качестве примера «моделей не черного ящика» или «интерпретируемых моделей» у вас есть уравнения регрессии и деревья решений. Первый дает вам приближенную форму f для замкнутой формы, где важность каждого элемента является явной, второй представляет собой графическое описание некоторых относительных соотношений рисков и шансов.