Смещение оптимизма - оценки ошибки прогноза

9

В книге «Элементы статистического обучения» (доступно в формате PDF онлайн) обсуждается предвзятость (7.21, стр. 229). В нем говорится, что смещение оптимизма - это разница между ошибкой обучения и ошибкой в выборке (ошибка наблюдается, если мы выбираем новые значения результатов в каждой из исходных точек обучения) (см. Ниже).

введите описание изображения здесь

Далее он заявляет, что это смещение оптимизма ( ) равно ковариации наших оценочных значений y и фактических значений y (формула ниже). Мне трудно понять, почему эта формула указывает на предвзятость оптимизма; наивно я думал бы, что сильная ковариация между фактическим и предсказанным просто описывает точность - не оптимизм. Дайте мне знать, если кто-то может помочь с выводом формулы или поделиться интуицией. $\omega$ $y$ $y$

введите описание изображения здесь

error bias validation

— user1885116
источник

Очень полезно, спасибо! Я думаю, что одно из уравнений имеет незначительную опечатку и должно быть:

= \frac{1}{N} \sum_{i = 1}^{N} (E_{y} [y_{i}^{2}] + E_{y} [{\hat{y}}_{i}^{2}] - 2 E_{y} [y_{i}] E_{y} [{\hat{y}}_{i}] - E_{y} [y_{i}^{2}] - E_{y} [{\hat{y}}_{i}^{2}] + 2 E [y_{i} {\hat{y}}_{i}])

$= {1 \over N}\sum_{i=1}^N \left( E_y[y_i^2] + E_y[\hat{y}_i^2] -2 E_y [y_i] E_y[ \hat{y}_i] - E_y[y_i^2] - E_y[\hat{y}_i^2] + 2E[y_i \hat{y}_i] \right)$

— Спящий

8

Начнем с интуиции.

Там ничего плохого в использовании предсказать . Фактически, если мы не используем его, это означает, что мы выбрасываем ценную информацию. Однако чем больше мы в зависимости от информации , содержащейся в прийти с нашим прогнозом, тем более чрезмерно оптимистичными наша оценка будет. $y_i$ $\hat{y}_i$ $y_i$

С одной стороны, если просто , вы будете иметь совершенное в образце предсказания ( ), но мы довольно уверены , что вне образца предсказания собирается быть плохим. В этом случае (это легко проверить самостоятельно), степени свободы будут . $\hat{y}_i$ $y_i$ $R^2 = 1$ $df(\hat{y}) = n$

С другой стороны, если вы используете выборочное среднее : для всех , то ваши степени свободы будут равны 1. $y$ $y_i = \hat{y_i} = \bar{y}$ $i$

Проверьте этот хороший раздаточный материал Райана Тибширани для более подробной информации об этой интуиции

Теперь аналогичное доказательство другого ответа, но с чуть более подробным объяснением.

Помните, что по определению средний оптимизм таков:

ω знак равно Е_{Y} (Е р р_{я N} - \bar{е р р})

$\omega = E_y (Err_{in} - \overline{err})$

знак равно Е_{Y} (\frac{1}{N} Σ_{я знак равно 1}^{N} Е_{Y^{0}} [L (Y_{я}^{0}, \hat{е} ({Икс}_{я}) | T)] - \frac{1}{N} Σ_{я знак равно 1}^{N} L (Y_{я}, \hat{е} ({Икс}_{я})))

$= E_y \left( {1 \over N} \sum_{i=1}^N E_{Y^0} \left[ L(Y_i^0, \hat{f} (x_i) \; |\; T) \right] - {1 \over N} \sum_{i=1}^N L(y_i, \hat{f} (x_i) ) \right)$

Теперь используйте функцию квадратичных потерь и расширите квадратные слагаемые:

знак равно Е_{Y} (\frac{1}{N} Σ_{я знак равно 1}^{N} Е_{Y^{0}} [(Y_{я}^{0} - {\hat{Y}}_{я})^{2}] - \frac{1}{N} Σ_{я знак равно 1}^{N} (Y_{я} - {\hat{Y}}_{я})^{2}))

$= E_y \left( {1 \over N} \sum_{i=1}^N E_{Y^0} \left[ (Y_i^0 - \hat{y}_i)^2 \right] - {1 \over N} \sum_{i=1}^N (y_i - \hat{y}_i)^2 ) \right)$

знак равно \frac{1}{N} Σ_{я знак равно 1}^{N} (Е_{Y} Е_{Y^{0}} [(Y_{я}^{0})^{2}] + Е_{Y} Е_{Y^{0}} [{\hat{Y}}_{я}^{2}] - 2 Е_{Y} Е_{Y^{0}} [Y_{я}^{0} {\hat{Y}}_{я}] - Е_{Y} [Y_{я}^{2}] - Е_{Y} [{\hat{Y}}_{я}^{2}] + 2 Е [Y_{я} {\hat{Y}}_{я}])

$= {1 \over N} \sum_{i=1}^N\left( E_y E_{Y^0}[(Y_i^0)^2] + E_y E_{Y^0} [\hat{y}_i^2] -2 E_y E_{Y^0} [Y_i^0 \hat{y}_i] - E_y[y_i^2] - E_y[\hat{y}_i^2] + 2E[y_i \hat{y}_i] \right)$

используйте для замены: $E_y E_{Y^0}[(Y_i^0)^2] = E_y[y_i^2]$

= \frac{1}{N} \sum_{i = 1}^{N} (E_{y} [y_{i}^{2}] + E_{y} [{\hat{y_{i}}}^{2}] - 2 E_{y} [y_{i}] E_{y} [{\hat{y}}_{i}] - E_{y} [y_{i}^{2}] - E_{y} [{\hat{y}}_{i}^{2}] + 2 E [y_{i} {\hat{y}}_{i}])

$= {1 \over N}\sum_{i=1}^N \left( E_y[y_i^2] + E_y[\hat{y_i}^2] -2 E_y [y_i] E_y[ \hat{y}_i] - E_y[y_i^2] - E_y[\hat{y}_i^2] + 2E[y_i \hat{y}_i] \right)$

= \frac{2}{N} \sum_{i = 1}^{N} (E [y_{i} {\hat{y}}_{i}] - E_{y} [y_{i}] E_{y} [{\hat{y}}_{i}])

$= {2 \over N} \sum_{i=1}^N \left( E[y_i \hat{y}_i] - E_y [y_i] E_y[ \hat{y}_i] \right)$

Чтобы закончить, обратите внимание, что , что дает: $Cov(x, w) = E[xw] - E[x]E[w]$

= \frac{2}{N} \sum_{i = 1}^{N} C o v (y_{i}, {\hat{y}}_{i})

$= {2 \over N} \sum_{i=1}^N Cov(y_i, \hat{y}_i)$

— CD98
источник

5

Я должен указать, что его имя пишется «Райан Тибширани» Роб Тибширани

— Роберт Тибширани

2

Добро пожаловать на наш сайт, Роб - это большая честь, что ты здесь, хотя бы для исправления ошибки! Если вы видите что-то еще, пожалуйста, дайте нам знать: и, конечно, мы будем рады любым ответам, которые вы (или ваши студенты) могли бы опубликовать. Ваша работа широко упоминается на этом сайте, особенно ESL и Введение в Bootstrap.

— whuber

E_{y} E_{Y^{0}} [(Y_{i}^{0})^{2}] = E_{y} [y_{i}^{2}]

$E_y E_{Y^0}[(Y_i^0)^2] = E_y[y_i^2]$

2 E_{y} E_{Y^{0}} [Y_{i}^{0} {\hat{y}}_{i}] = 2 E_{y} [E_{Y^{0}} [Y_{i}^{0}] E_{Y^{0}} [{\hat{y}}_{i}]] = 2 E_{y} [y_{i}] E_{y} [{\hat{y}}_{i}]

$2 E_y E_{Y^0} [Y_i^0 \hat{y}_i]=2 E_y [E_{Y^0} [Y_i^0]E_{Y^0}[\hat{y}_i]]=2 E_y [y_i] E_y[ \hat{y}_i]$

7

$\hat{f}(x_i)=\hat{y}_i$

\begin{aligned} ω & знак равно Е_{Y} [о п] \\ знак равно Е_{Y} [Е р р_{я N} - \bar{е р р}] \\ знак равно Е_{Y} [Е р р_{я N}] - Е_{Y} [\bar{е р р}] \\ знак равно Е_{Y} [\frac{1}{N} Σ_{я знак равно 1}^{N} Е_{Y^{0}} [L (Y_{я}^{0}, \hat{е} ({Икс}_{я}))] - Е_{Y} [\frac{1}{N} Σ_{я знак равно 1}^{N} L (Y_{я}, \hat{е} ({Икс}_{я}))] \\ знак равно \frac{1}{N} Σ_{я знак равно 1}^{N} Е_{Y} Е_{Y^{0}} [(Y_{я}^{0} - {\hat{Y}}_{я})^{2}] - Е_{Y} [(Y_{я} - {\hat{Y}}_{я})^{2}] \\ знак равно \frac{1}{N} Σ_{я знак равно 1}^{N} Е_{Y} Е_{Y^{0}} [(Y_{я}^{0})^{2}] + Е_{Y} Е_{Y^{0}} [{\hat{Y}}_{я}^{2}] - 2 Е_{Y} Е_{Y^{0}} [Y_{я}^{0} {\hat{Y}}_{я}] - Е_{Y} [Y_{я}^{2}] - Е_{Y} [{\hat{Y}}_{я}^{2}] + 2 Е_{Y} [Y_{я} {\hat{Y}}_{я}] \\ знак равно \frac{1}{N} Σ_{я знак равно 1}^{N} Е_{Y} [Y_{я}^{2}] + Е_{Y} [{\hat{Y}}_{я}^{2}] - 2 Е_{Y} [Y_{я}] Е_{Y} [{\hat{Y}}_{я}] - Е_{Y} [Y_{я}^{2}] - Е_{Y} [{\hat{Y}}_{я}^{2}] + 2 Е_{Y} [Y_{я} {\hat{Y}}_{я}] \\ знак равно \frac{2}{N} Σ_{я знак равно 1}^{N} Е_{Y} [Y_{я} {\hat{Y}}_{я}] - Е_{Y} [Y_{я}] Е_{Y} [{\hat{Y}}_{я}] \\ знак равно \frac{2}{N} Σ_{я знак равно 1}^{N} Е_{Y} [Y_{я} {\hat{Y}}_{я} - Y_{я} Е_{Y} [{\hat{Y}}_{я}] - Е_{Y} [Y_{я}] {\hat{Y}}_{я} + Е_{Y} [Y_{я}] Е_{Y} [{\hat{Y}}_{я}]] \\ знак равно \frac{2}{N} Σ_{я знак равно 1}^{N} Е_{Y} [({\hat{Y}}_{я} - Е_{Y} [{\hat{Y}}_{я}]) ([Y_{я} - Е_{Y} [Y_{я}])] \\ знак равно \frac{2}{N} Σ_{я знак равно 1}^{N} с о v ({\hat{Y}}_{я}, Y_{я}) \end{aligned}

$\begin{aligned} \omega &= E_\boldsymbol{y}[op]\\ &=E_\boldsymbol{y}[Err_{in}-\overline{err}]\\ &=E_\boldsymbol{y}[Err_{in}]-E_\boldsymbol{y}[\overline{err}]\\ &=E_\boldsymbol{y}[\frac{1}{N}\sum_{i=1}^{N}E_{Y^0}[L(Y_i^0,\hat{f}(x_i))]-E_\boldsymbol{y}[\frac{1}{N}\sum_{i=1}^{N}L(y_i,\hat{f}(x_i))]\\ &=\frac{1}{N}\sum_{i=1}^{N}E_\boldsymbol{y}E_{Y^0}[(Y_i^0-\hat{y}_i)^2]-E_\boldsymbol{y}[(y_i-\hat{y}_i)^2]\\ &=\frac{1}{N}\sum_{i=1}^{N}E_\boldsymbol{y}E_{Y^0}[({Y_i^0})^2]+E_\boldsymbol{y}E_{Y^0}[{\hat{y}_i}^2]-2E_\boldsymbol{y}E_{Y^0}[Y_i^0\hat{y}_i]-E_\boldsymbol{y}[y_i^2]-E_\boldsymbol{y}[\hat{y}_i^2]+2E_\boldsymbol{y}[y_i\hat{y}_i]\\ &=\frac{1}{N}\sum_{i=1}^{N}E_\boldsymbol{y}[y_i^2]+E_\boldsymbol{y}[\hat{y}_i^2]-2E_\boldsymbol{y}[y_i]E_\boldsymbol{y}[\hat{y}_i]-E_\boldsymbol{y}[y_i^2]-E_\boldsymbol{y}[\hat{y}_i^2]+2E_\boldsymbol{y}[y_i\hat{y}_i]\\ &=\frac{2}{N}\sum_{i=1}^{N}E_\boldsymbol{y}[y_i\hat{y}_i]-E_\boldsymbol{y}[y_i]E_\boldsymbol{y}[\hat{y}_i]\\ &=\frac{2}{N}\sum_{i=1}^{N}E_\boldsymbol{y}[y_i\hat{y}_i-y_iE_\boldsymbol{y}[\hat{y}_i]-E_\boldsymbol{y}[y_i]\hat{y}_i+E_\boldsymbol{y}[y_i]E_\boldsymbol{y}[\hat{y}_i]]\\ &=\frac{2}{N}\sum_{i=1}^{N}E_\boldsymbol{y}[(\hat{y}_i-E_\boldsymbol{y}[\hat{y}_i])([y_i-E_\boldsymbol{y}[y_i])]\\ &=\frac{2}{N}\sum_{i=1}^{N}cov(\hat{y}_i,y_i) \end{aligned}$ QED

— Мацей Лазаревич
источник

1

Последние четыре шага могут быть упрощены этим свойством ковариации:

E [x w] - E [x] E [w] = C o v (x, w)

$E[x w ] - E[x] E[w] = Cov(x, w)$

— CD98