Я предлагаю вам пойти на Shap . Он использует значения Шепли (концепцию, заимствованную из теории игр) для описания поведения модели, и этим он может объяснить единственное предсказание.
Его графический интерфейс использует Force Plots, как тот, который вы видите ниже.
Красная полоса построена из функций, которые приводят прогноз к положительным значениям, а синяя - из других.
В вашем случае (классификатор) число, выделенное полужирным шрифтом, будет тем, которое находится непосредственно перед сигмоидальной функцией, которая будет ограничивать выходное значение от нуля до единицы (один класс или другой). Так что не пугайтесь, если в некоторых случаях оно будет больше единицы или будет отрицательным.
Размер сегментов показывает, насколько этот элемент влияет на прогноз, а под сегментами вы видите название объекта (например, LSTAT) и его фактическое значение (например, 4.98). Таким образом, в этом случае LSTAT является средней характеристикой, которая приводит прогноз для этого элемента набора данных к значению 24,41 (число, выделенное жирным шрифтом).
Наслаждайтесь!