Почему наивный байесовский классификатор оптимален для проигрыша 0-1?

Наивный байесовский классификатор - это классификатор, который назначает элементы $x$ классу $C$ на основе максимизации апостериорного $P(C|x)$ для членства в классе и предполагает, что характеристики элементов независимы.

Потеря 0-1 - это потеря, которая присваивает любой ошибочной классификации потерю «1», а потерю «0» - любой правильной классификации.

Я часто читаю (1), что «Наивный байесовский классификатор» является оптимальным для потери 0-1. Почему это правда?

(1) Один примерный источник: байесовский классификатор и байесовская ошибка

На самом деле это довольно просто: байесовский классификатор выбирает класс, который имеет наибольшую апостериорную вероятность появления (так называемая максимальная апостериорная оценка ). Функция потерь 0-1 наказывает ошибочную классификацию, то есть назначает наименьшую потерю решению, имеющему наибольшее количество правильных классификаций. Так что в обоих случаях речь идет об оценочном режиме . Напомним, что режим является наиболее распространенным значением в наборе данных или наиболее вероятным значением , поэтому как максимизация апостериорной вероятности, так и минимизация потерь 0-1 приводит к оценке режима.

Если вам нужно формальное доказательство, оно приведено в статье « Введение в байесовскую теорию решений » Анджелы Дж. Ю:

Функция двоичных потерь 0-1 имеет следующий вид:

$$l_\boldsymbol{x}(\hat s, s^*) = 1 - \delta_{\hat ss^*} = \begin{cases} 1 & \text{if} \quad \hat s \ne s^* \\ 0 & \text{otherwise} \end{cases}$$

где - дельта-функция Кронекера. (...) ожидаемая потеря:$\delta$

$$\begin{align} \mathcal{L}_\boldsymbol{x}(\hat s) &= \sum_{s^*} l_\boldsymbol{x}(\hat s, s^*) \; P(s = s^* \mid \boldsymbol{x}) \\ &= \sum_{s^*} (1 - \delta_{\hat ss^*}) \; P(s = s^* \mid \boldsymbol{x}) \\ &= \sum_{s^*} P(s = s^* \mid \boldsymbol{x}) ds^* - \sum_{s^*} \delta_{\hat ss^*} P(s = s^* \mid \boldsymbol{x}) \\ &= 1 - P(s = s^* \mid \boldsymbol{x}) \end{align}$$

Это верно для максимальной апостериорной оценки в целом. Таким образом, если вы знаете апостериорное распределение, то при условии потери 0-1 наиболее оптимальным правилом классификации является выбор режима апостериорного распределения, мы называем это оптимальным байесовским классификатором . В реальной жизни мы обычно не знаем апостериорное распределение, а скорее оцениваем его. Наивный байесовский классификатор приближает оптимальный классификатор, рассматривая эмпирическое распределение и допуская независимость предикторов. Так что наивный байесовский классификатор сам по себе не является оптимальным, но он приближается к оптимальному решению. В вашем вопросе вы, кажется, путаете эти две вещи.