Разброс отклонения: термин для ожидаемой квадратической ошибки прогноза за вычетом неснижаемой ошибки

Hastie et al. «Элементы статистического обучения» (2009) рассматривают процесс генерирования данных с и .

Y = f (X) + ε

$Y = f(X) + \varepsilon$

E (ε) = 0

$\mathbb{E}(\varepsilon)=0$

Var (ε) = σ_{ε}^{2}

$\text{Var}(\varepsilon)=\sigma^2_{\varepsilon}$

Они представляют следующее разностное разложение ожидаемой квадратной ошибки прогноза в точке (стр. 223, формула 7.9): $x_0$ В своей работе я не указываюно взять произвольный прогноз вместо (если это необходимо). Вопрос:Ищу термин для или, точнее,

\begin{aligned} Err (x_{0}) & = E ([y - \hat{f} (x_{0})]^{2} | X = x_{0}) \\ = \dots \\ = σ_{ε}^{2} + {Bias}^{2} (\hat{f} (x_{0})) + Var (\hat{f} (x_{0})) \\ = Irreducible error + {Bias}^{2} + Variance . \end{aligned}

$\begin{aligned} \text{Err}(x_0) &= \mathbb{E}\left( [ y - \hat f(x_0) ]^2 | X = x_0 \right) \\ &= \dots \\ &= \sigma^2_{\varepsilon} + \text{Bias}^2(\hat f(x_0)) + \text{Var}(\hat f(x_0)) \\ &= \text{Irreducible error} + \text{Bias}^2 + \text{Variance} .\\ \end{aligned}$

\hat{f} (\cdot)

$\hat f(\cdot)$

\hat{y}

$\hat y$

{Bias}^{2} + Variance

$\text{Bias}^2 + \text{Variance}$

Err (x_{0}) - Irreducible error .

$\text{Err}(x_0) - \text{Irreducible error}.$

— Ричард Харди
источник

Какой вопрос здесь?

— Майкл Р. Черник

@sntx, спасибо за идею. Но это как-то не правильно звучит. Может быть, ошибка моделирования (т.е. ошибка из-за неправильной спецификации модели и неточной оценки модели), но тогда это не имеет смысла, если не существует модели, генерирующей прогнозы (например, экспертные прогнозы).

— Ричард Харди

@ DeltaIV, это довольно хорошо. Тем не менее, я думаю, что термин взимается; кажется, что прогноз плохой, и мы могли бы сделать лучше. Но предположим, что мы сделали все возможное для данных. Таким образом, мы выбрали правильную модель (без «смещения модели»), но выборка слишком мала, чтобы точно оценить коэффициенты. Таким образом, оценочная дисперсия («модельная дисперсия») действительно неприводима для данного размера выборки - хотя термин «приводимая ошибка» предполагает, что это не так. Не то чтобы я уверен, что мы можем придумать лучший термин, я все же хотел бы стремиться к этому.

— Ричард Харди

@ DeltaIV, хорошо, теперь я получил интуицию, в каком смысле это сводится. Тем не менее, этот термин может вводить в заблуждение, если используется без дальнейшего объяснения (так же, как вы должны были объяснить мне). Ваше последнее предложение является точным, что действительно приятно, но, как вы сказали, оно довольно запутанное.

— Ричард Харди

@ DeltaIV, я не собирался так звучать. В этом нет ничего личного; мои (надеюсь, убедительные) аргументы приведены выше в комментариях. Но спасибо за обсуждение со мной, это помогает.

— Ричард Харди

Ответы:

Я предлагаю приводимую ошибку . Это также терминология, принятая в параграфе 2.1.1 Gareth, Witten, Hastie & Tibshirani, Введение в статистическое обучение , книга, которая в основном является упрощением ESL + некоторые очень классные лаборатории кода R (за исключением того факта, что они используют attachно, эй, никто не идеален). Ниже я приведу причины плюсов и минусов этой терминологии.

$\epsilon$ $X$ $\epsilon$ $X$ $\mathcal{H}$ $\sigma^2_{\epsilon}$

$\text{Err}(x_0)-\sigma^2_{\epsilon}$

f (x) = E [Y | X = x]

$f(x)=\mathbb{E}[Y\vert X=x]$

$\mathbb{E}[Y\vert X=x]\in \mathcal{H}$ $\mathbb{E}[Y\vert X=x]\notin \mathcal{H}$ $\hat{f}(x)$ в нашей семье моделей.

$\mathcal{H}$ $\mathbb{E}[Y\vert X=x]$ $\sigma^2_{\epsilon}$ $\mathcal{H}$ $\epsilon\perp X$

— DeltaIV
источник

Если шум является неснижаемой ошибкой, он не является неснижаемым. Вам нужно как-то это мотивировать, я не могу сделать это для себя.

— Карл

В 2.1.1 приведен пример «анализа какого-либо лекарства в крови». Первый пример, который я привожу ниже, является именно этим. В этом анализе так называемая неустранимая ошибка измерения не имеет ничего общего. Он состоит из подсчета шума, который обычно уменьшается путем подсчета 10000 или более событий, ошибки пипетирования, которая почти экспоненциально распределена, и других технических ошибок. Чтобы еще больше уменьшить эти «неснижаемые» ошибки, я рекомендую использовать медиану трех счетных проб для каждой временной выборки. Термин неприводимый - это плохой жаргон, попробуйте еще раз.

— Карл

@ Delta, спасибо за ответ. Одну строчку «сводимая ошибка», возможно, не было бы очень убедительным, но с учетом контекста и обсуждения это выглядит довольно хорошо!

— Ричард Харди

n

$n$

n

$n$

@ DeltaV Я считаю, что сводимость - сомнительное предположение, см. Ниже.

— Карл

$1-R^2$ $y$ $n$ $n$

Почему мне не нравится термин «сводимость»? Это попахивает самореферентной тавтологией как в Аксиоме приводимости . Я согласен с Расселом 1919 года в том, что «я не вижу никаких оснований полагать, что аксиома сводимости логически необходима, а это означает то, что следует сказать, что она верна во всех возможных мирах. Принятие этой аксиомы в систему логика, следовательно, дефект ... сомнительное предположение ".

$n=36$

Примечательно, что при падении первого образца через пять минут физика улучшается, так же как и последовательно, поскольку каждый продолжает отбрасывать ранние образцы до 60 минут. Это показывает, что, хотя GV в конечном итоге формирует хорошую модель концентрации лекарственного средства в плазме, что-то еще происходит в ранние времена.

$1\%$

$y$

— деревенщина
источник

Действительно, это то, о чем идет речь выше. Но ваш ответ лучше использовать в качестве комментария, так как он не касается реального вопроса. Или это?

— Ричард Харди

{Bias}^{2} + Variance

$\text{Bias}^2+\text{Variance}$

Еще раз, вы отвечаете на другой вопрос. Правильный ответ на неправильный вопрос - это, к сожалению, неправильный ответ (примечание для себя: по совпадению, я вчера объяснял это моим студентам). Я не спрашиваю, насколько значимо это выражение (оно имеет смысл для кого-то, кто читал учебник ESL и / или работал в области прикладного машинного обучения), я прошу дать ему соответствующий термин. Вопрос положительный, а не нормативный. И это довольно просто и очень конкретно.

— Ричард Харди

@RichardHardy Без физики мне было трудно понять вопрос. Изменил мой ответ, см. Рассылка выше.

— Карл

Вы можете сделать это для оценки процесса, да, и это является частью ошибки, которую можно устранить. Но когда вы прогнозируете конкретное событие, которое включает бросок монеты, вы не сможете уменьшить ошибку, связанную с неправильным прогнозированием результата броска монеты. В этом и заключается неснижаемая ошибка. Интересно: в чисто детерминированном мире не было бы никаких неустранимых ошибок по определению, поэтому, если ваш взгляд на мир является полностью детерминированным, я мог бы понять, что вы имеете в виду. Однако мир стохастичен в «Элементах статистического обучения» и в статистике в целом.

— Ричард Харди