Смещение дисперсии

В разделе 3.2 Бишопа «Распознавание образов и машинное обучение» он обсуждает разложение смещения дисперсии, утверждая, что для квадрата функции потерь ожидаемая потеря может быть разложена на квадрат смещения (который описывает, насколько средние прогнозы далеки от истинных модель), дисперсионный термин (который описывает разброс прогнозов вокруг среднего) и шумовой термин (который дает собственный шум данных).

Можно ли выполнить декомпозицию смещения дисперсии с помощью функций потерь, отличных от квадрата потерь?
Для заданного набора данных модели существует ли более одной модели, ожидаемая потеря которой является минимальной по всем моделям, и если да, то означает ли это, что могут быть различные комбинации смещения и дисперсии, которые дают одинаковую минимальную ожидаемую потерю?
Если модель предполагает регуляризацию, существует ли математическая связь между смещением, дисперсией и коэффициентом регуляризации $\lambda$ ?
Как вы можете рассчитать смещение, если вы не знаете истинную модель?
Существуют ли ситуации, в которых имеет больше смысла минимизировать отклонения или отклонения, а не ожидаемые потери (сумма квадратов отклонений и отклонений)?

— Вивек Субраманян
источник

... ожидаемая потеря [квадратичная ошибка] может быть разложена на квадрат смещения (который описывает, как далеко средние прогнозы от истинной модели), дисперсионный термин (который описывает разброс прогнозов вокруг среднего), и коэффициент шума (который дает собственный шум данных).

При взгляде на квадрат разложения потери разности Я вижу только два термина: один для смещения и другой для дисперсии оценки или предиктора, . В ожидаемой потере нет дополнительного шумового термина. Как и должно быть, так как переменность - это переменность , а не самого образца.

E_{θ} [(θ - δ (X_{1 : n}))^{2}] = (θ - E_{θ} [δ (X_{1 : n})])^{2} + E_{θ} [(E_{θ} [δ (X_{1 : n})] - δ (X_{1 : n}))^{2}]

$\mathbb{E}_\theta[(\theta-\delta(X_{1:n}))^2]=(\theta-\mathbb{E}_\theta[\delta(X_{1:n})])^2+\mathbb{E}_\theta[(\mathbb{E}_\theta[\delta(X_{1:n})]-\delta(X_{1:n}))^2]$

δ (X_{1 : n})

$\delta(X_{1:n})$

δ (X_{1 : n})

$\delta(X_{1:n})$

Можно ли выполнить декомпозицию смещения дисперсии с помощью функций потерь, отличных от квадрата потерь?

Моя интерпретация квадрата смещения + дисперсии дисперсии [и того, как я ее преподаю] состоит в том, что это статистический эквивалент теоремы Пифагора, а именно, что квадрат расстояния между оценкой и точкой в некотором наборе является суммой квадрата расстояния между оценщиком и множеством плюс квадратное расстояние между ортогональной проекцией на множестве и точкой в наборе. Любая потеря, основанная на расстоянии с n для данного набора данных модели, состоит в том, что существует более одной модели, ожидаемая потеря которой является минимальной для всех моделей, и если это так, означает ли это, что могут быть различные комбинации смещения и дисперсии, которые дают та же минимальная ожидаемая потеря потерь ортогональной проекции, т. е. внутреннего произведения, т. е. по существу гильбертовых пространств, удовлетворяет этому разложению.

Для заданного набора данных модели существует ли более одной модели, ожидаемая потеря которой является минимальной по всем моделям, и если да, то означает ли это, что могут быть различные комбинации смещения и дисперсии, которые дают одинаковую минимальную ожидаемую потерю?

Вопрос неясен: если под минимумом по моделям вы подразумеваете то существует множество примеров статистических моделей и связанных с ними решений с постоянной ожидаемой потерей (или риском). ). Возьмите, например, MLE нормального среднего.

min_{θ} E_{θ} [(θ - δ (X_{1 : n}))^{2}]

$\min_\theta \mathbb{E}_\theta[(\theta-\delta(X_{1:n}))^2]$

Как вы можете рассчитать смещение, если вы не знаете истинную модель?

В общем смысле, смещение - это расстояние между истинной моделью и ближайшей моделью в предполагаемом семействе распределений. Если истинная модель неизвестна, смещение может быть установлено с помощью начальной загрузки.

Существуют ли ситуации, в которых имеет больше смысла минимизировать отклонения или отклонения, а не ожидаемые потери (сумма квадратов отклонений и отклонений)?

При рассмотрении другой функции потерь типа

(θ - E_{θ} [δ (X_{1 : n})])^{2} + α [(E_{θ} [δ (X_{1 : n})] - δ (X_{1 : n}))^{2}] 0 < α

$(\theta-\mathbb{E}_\theta[\delta(X_{1:n})])^2+\alpha[(\mathbb{E}_\theta[\delta(X_{1:n})]-\delta(X_{1:n}))^2]\qquad 0<\alpha$

α

$\alpha$

α

$\alpha$

— Сиань
источник

f

$f$

Y = f (X) + ϵ

$Y = f(X) + \epsilon$

ϵ

$\epsilon$

σ_{ϵ}

$\sigma_\epsilon$

f (X)

$f(X)$

E [\hat{f} (X)]

$E[\hat{f}(X)]$

E [(Y - f (X))^{2} | X = x]

$E[(Y-f(X))^2 | X=x]$

σ_{ϵ}^{2} + {Bias}^{2} \hat{f} (x) + Var \hat{f} (x)

$\sigma^2_\epsilon + \operatorname{Bias}^2 \hat{f}(x) + \operatorname{Var} \hat{f}(x)$

\hat{f}

$\hat f$

ϵ

$\epsilon$

Хм, вы конечно правы. Но я думаю, что проблема - артефакт моего небрежного происхождения. Проверьте с.223 ESLII Хасти и Тибширани

— Мигель

ϵ

$\epsilon$

\hat{f}

$\hat{f}$