Интервал прогнозирования линейной регрессии

Если наилучшим линейным приближением (с использованием наименьших квадратов) моих точек данных является линия $y=mx+b$ , как я могу рассчитать ошибку аппроксимации? Если я вычислю стандартное отклонение различий между наблюдениями и предсказаниями , могу ли я потом сказать, что действительное (но не наблюдаемое) значение принадлежит интервалу ( ) с вероятностью ~ 68%, предполагая нормальное распределение? $e_i=real(x_i)-(mx_i+b)$ $y_r=real(x_0)$ $[y_p-\sigma, y_p+\sigma]$ $y_p=mx_0+b$

Чтобы уточнить:

Я сделал замечания относительно функции , оценив ее по некоторым точкам . Я подгоняю эти наблюдения к линии . Для который я не наблюдал, я хотел бы знать, насколько большим может быть . Используя метод выше, правильно ли сказать, что с prob. ~ 68%? $f(x)$ $x_i$ $l(x)=mx+b$ $x_0$ $f(x_0)-l(x_0)$ $f(x_0) \in [l(x_0)-\sigma, l(x_0)+\sigma]$

— ВМХ
источник

Я думаю, что вы спрашиваете об интервалах прогнозирования. Однако обратите внимание, что вы используете « » вместо « ». Это опечатка? Мы не предсказываем с.

x_{i}

$x_i$

y_{i}

$y_i$

x

$x$

— gung - Восстановить Монику

@gung: я использую чтобы обозначить, например, время, а значение некоторой переменной в то время, поэтому означает, что я сделал наблюдение в момент

x

$x$

y

$y$

y = f (x)

$y=f(x)$

y

$y$

x

$x$ . Я хочу знать, насколько далеко могут быть предсказания подходящей функции от реальных значений y. Имеет ли это смысл? Функция

r e a l (x_{i})

$real(x_i)$ возвращает «правильное» значение

y

$y$ в

x_{i}

$x_i$ , а мои точки данных состоят из

(x_{i}, r e a l (x_{i}))

${(x_i, real(x_i))}$ ,

— BMX

Это кажется вполне разумным. Части, на которых я сосредотачиваюсь, например, «

», обычно мы думаем об ошибках / остатках в модели reg как «

". SD из остатков делает играть определенную роль в вычислении интервалов прогнозирования. Это что "

e_{i} = r e a l (x_{i}) - (m x_{i} + b)

$e_i=real(x_i)-(mx_i+b)$

e_{i} = y_{i} - (m x_{i} + b)

$e_i=y_i-(mx_i+b)$

x_{i}

$x_i$ "Это странно для меня; мне интересно, если это опечатка, или вы спрашиваете о чем-то, что я не узнаю.

— gung - Восстановить Монику

Я думаю, что я вижу; Я пропустил ваше редактирование. Это говорит о том, что система полностью детерминированная и если вы имели доступ к реальной базовой функции, вы всегда можете предсказать ,

совершенно без ошибок. Мы обычно не думаем о моделях reg.

y_{i}

$y_i$

— gung - Восстановить Монику

BMX, мне кажется, у вас есть четкое представление о вашем вопросе и хорошее понимание некоторых проблем. Возможно, вам будет интересно ознакомиться с тремя тесно связанными темами. stats.stackexchange.com/questions/17773 описывает интервалы прогнозирования в нетехнических терминах; stats.stackexchange.com/questions/26702 дает более математическое описание; и в stats.stackexchange.com/questions/9131 Роб Хиндман предлагает формулу, которую вы ищете. Если они не полностью отвечают на ваш вопрос, по крайней мере, они могут дать вам стандартную запись и словарь для его уточнения.

— whuber

@whuber указал вам на три хороших ответа, но, возможно, я все еще могу написать что-то ценное. Ваш явный вопрос, насколько я понимаю, таков:

Учитывая мою подогнанную модель, $\hat y_i=\hat mx_i + \hat b$ (уведомление я добавил «шляпы»),и предполагаячто мои остатки нормально распределен,, можно предсказатьчто еще незаметный ответ,, с известным значением предсказателя,, будет падатьпределах интервала $\mathcal N(0, \hat\sigma^2_e)$ $y_{new}$ $x_{new}$ с вероятностью 68%? $(\hat y -\sigma_e, \hat y +\sigma_e)$

Интуитивно понятно, что ответ должен быть «да», но верный ответ может быть . Это будет случай, когда параметры (т.е. & ) известны и без ошибок. Поскольку вы оценили эти параметры, мы должны принять во внимание их неопределенность. $m, b,$ $\sigma$

Давайте сначала подумаем о стандартном отклонении ваших остатков. Поскольку это оценивается по вашим данным, в оценке может быть некоторая ошибка. В результате распределение, которое вы должны использовать, чтобы сформировать интервал прогнозирования, должно быть , а не нормальным. Однако, поскольку быстро сходится к норме, на практике это менее вероятно. $t_\text{df error}$ $t$

Таким образом, мы можем использовать только , вместо , и идти о нашем веселом пути? К сожалению нет. Большая проблема в том , что существует неопределенность в отношении вашей оценки условного среднего отклика в этом месте из - за неопределенности в ваши оценки и . Таким образом, $\hat y_\text{new}\pm t_{(1-\alpha/2,\ \text{df error})}s$ $\hat y_\text{new}\pm z_{(1-\alpha/2)}s$ $\hat m$ $\hat b$ стандартное отклонение ваших прогнозов должно включать в себя больше , чем просто $s_\text{error}$ . Из - за отклонения добавить , оцененная дисперсия предсказаний будет: Обратите внимание , что « » является индексируются для представления значения , специфичного для нового наблюдение, и что " " соответственно подписан. То есть ваш интервал прогнозирования зависит от местоположения нового наблюдения вдоль

s_{predictions(new)}^{2} = s_{error}^{2} + Var (\hat{m} x_{new} + \hat{b})

$s^2_\text{predictions(new)}=s^2_\text{error}+\text{Var}(\hat mx_\text{new}+\hat b)$

x

$x$

s^{2}

$s^2$

x

$x$ ось. Стандартное отклонение ваших прогнозов может быть более удобно оценено по следующей формуле:

В качестве интересного примечания можно сделать несколько фактов об интервалах прогнозирования из этого уравнения. Во- первых, интервалы предсказания будутузкими, чем больше данныхмы имеликогда мы построили модель прогнозирования (это потомучто там меньше неопределенность в

). Во-вторых, прогнозы будут наиболее точными, если они будут сделаны на основе среднихзначений

вы использовали для разработки своей модели, поскольку числитель для третьего члена будет равен

. Причина в том, что при нормальных обстоятельствах нет никакой неопределенности в отношении предполагаемого наклона при среднем значении

s_{predictions(new)} = \sqrt{s_{error}^{2} (1 + \frac{1}{N} + \frac{(x_{new} - \bar{x})^{2}}{\sum (x_{i} - \bar{x})^{2}})}

$s_\text{predictions(new)}=\sqrt{s^2_\text{error}\left(1+\frac{1}{N}+\frac{(x_\text{new}-\bar x)^2}{\sum(x_i-\bar x)^2}\right)}$

\hat{m}

$\hat m$

\hat{b}

$\hat b$

x

$x$

0

$0$

x

$x$ , только некоторая неопределенность относительно истинного вертикального положения линии регрессии. Таким образом, некоторые уроки, которые необходимо извлечь для построения моделей прогнозирования, заключаются в том, что больше данных полезно не для определения «значимости», а для повышения точности будущих прогнозов; и что вы должны сосредоточить свои усилия по сбору данных на интервале, в котором вам нужно будет делать прогнозы в будущем (чтобы минимизировать этот числитель), но распределять наблюдения настолько широко, насколько это возможно (чтобы максимизировать этот знаменатель).

Вычислив правильное значение таким образом, мы можем затем использовать его с соответствующим распределением как отмечено выше. $t$

— Gung - Восстановить Монику
источник