Что такое ошибка Байеса в машинном обучении?

http://www.deeplearningbook.org/contents/ml.html Page 116 объясняет ошибку Байеса, как показано ниже

Идеальная модель - это оракул, который просто знает истинное распределение вероятностей, которое генерирует данные. Даже такая модель по-прежнему будет вызывать некоторые ошибки во многих проблемах, потому что в распределении все еще может быть шум. В случае контролируемого обучения отображение от x к y может быть стохастическим по своей природе, или y может быть детерминированной функцией, которая включает другие переменные, помимо включенных в x. Ошибка, вызванная предсказаниями оракула из истинного распределения p (x, y), называется байесовской ошибкой.

Вопросов

1. Пожалуйста, объясните ошибку Байеса интуитивно?
2. Чем он отличается от неснижаемой ошибки?
3. Могу ли я сказать, общая ошибка = смещение + дисперсия + ошибка Байеса?
4. Что означает «у может быть стохастическим по своей сути»?

Байесовская ошибка - это минимально возможная ошибка прогнозирования, которая может быть достигнута, и такая же, как и неустранимая ошибка. Если кто-то точно знает, какой процесс генерирует данные, тогда ошибки все равно будут допущены, если процесс будет случайным. Это также то , что подразумевается под « неотъемлемо стохастический».$y$

Например, при подбрасывании честной монеты мы точно знаем, какой процесс генерирует результат (биномиальное распределение). Однако, если бы мы могли предсказать исход серии бросков монет, мы все равно допустили бы ошибки, потому что процесс по своей природе случайный (то есть стохастический).

Чтобы ответить на ваш другой вопрос, вы правы, заявив, что общая ошибка - это сумма (квадратов) смещения, дисперсии и неснижаемой ошибки. Смотрите также эту статью для легкого понимания объяснения этих трех понятий.

С https://www.cs.helsinki.fi/u/jkivinen/opetus/iml/2013/Bayes.pdf . Для задачи классификации байесовская ошибка определяется как:

$min_f=Cost(f)$

Байесовский классификатор определяется как: $argmin_f=Cost(f)$

Таким образом, общая ошибка = ошибка Байеса + насколько ваша модель хуже, чем ошибка Байеса Смещение + дисперсия + ошибка Байеса, которая может зависеть от вашей модели и природы "шума распределения"$\not\equiv$

Что означает «у может быть стохастическим по своей сути»? Например, . Но то, что вы собираете как y, всегда загрязняется как , где Таким образом, у вас нет возможности узнать реальный y, и оценка стоимости у вас есть по своей сути загрязнен. Даже Oracle дает вам правильный ответ, вы думаете, что они не правы.$y=f(x)=sin(x)$$\tilde{y}=y+t$$t\sim N(0, \sigma^2)$