Понимание формы доверительного интервала для полиномиальной регрессии (MLR)

11

Мне трудно понять форму доверительного интервала полиномиальной регрессии.

Ниже приведен пример $\hat{Y}=a+b\cdot X+c\cdot X^2$ . На левом рисунке показана UPV (немасштабированная дисперсия прогноза), а на правом графике показан доверительный интервал и (искусственные) измеренные точки при X = 1,5, X = 2 и X = 3.

Детали основных данных:

набор данных состоит из трех точек данных (1,5; 1), (2; 2,5) и (3; 2,5).
каждая точка была «измерена» 10 раз, и каждое измеренное значение принадлежит $y \pm 0.5$ . MLR с полиномиальной моделью было выполнено по 30 полученным точкам.
доверительный интервал был вычислен с формулами и
$U п В знак равно \frac{В a р [\hat{Y} ({Икс}_{0})]}{{\hat{σ}}^{2}} знак равно {Икс}_{0}^{'} ({Икс}^{'} Икс)^{- 1} {Икс}_{0}$ $UPV=\frac{Var[\hat{y}(x_0)]}{\hat{\sigma}^2}=x_0'(X'X)^{-1}x_0$ $\hat{Y} ({Икс}_{0}) - T_{α / 2, d е (е р р о р)} \sqrt{{\hat{σ}}^{2} \cdot {Икс}_{0}^{'} ({Икс}^{'} Икс)^{- 1} {Икс}_{0}}$ $\hat{y}(x_0) - t_{\alpha /2, df(error)}\sqrt{\hat{\sigma}^2\cdot x_0'(X'X)^{-1}x_0}$ (обе формулы взяты из Майерса, Монтгомери, Андерсона-Кука, «Методология поверхности отклика», четвертое издание, стр. 407 и 34) $\leq μ_{Y | {Икс}_{0}} \leq \hat{Y} ({Икс}_{0}) + T_{α / 2, d е (е р р о р)} \sqrt{{\hat{σ}}^{2} \cdot {Икс}_{0}^{'} ({Икс}^{'} Икс)^{- 1} {Икс}_{0}},$ $\leq \mu_{y|x_0} \leq \hat{y}(x_0) + t_{\alpha /2, df(error)}\sqrt{\hat{\sigma}^2\cdot x_0'(X'X)^{-1}x_0} .$

и . $t_{\alpha /2, df(error)}=2$ $\hat{\sigma}^2=MSE=SSE/(n-p)\sim0.075$

Меня не особо интересуют абсолютные значения доверительного интервала, а скорее форма UPV, которая зависит только от . $x_0'(X'X)^{-1}x_0$

Рисунок 1:

очень высокая прогнозируемая дисперсия вне расчетного пространства - это нормально, потому что мы экстраполируем
но почему разница между X = 1,5 и X = 2 меньше, чем в измеренных точках?
и почему дисперсия становится шире для значений выше X = 2, но затем уменьшается после X = 2.3 и снова становится меньше, чем в измеренной точке при X = 3?

Разве не было бы логично, чтобы дисперсия была маленькой в измеренных точках и большой между ними?

Изменить: та же процедура, но с точками данных [(1,5; 1), (2,25; 2,5), (3; 2,5)] и [(1,5; 1), (2; 2,5), (2,5; 2,2), (3; 2.5)].

Фигура 2:

Рисунок 3:

Интересно отметить, что на фиг.1 и 2, У по точкам точно равны 1. Это означает , что доверительный интервал будет точно равняться . С увеличением количества точек (рисунок 3) мы можем получить значения UPV для измеренных точек, которые меньше 1. $\hat{y} \pm t_{\alpha /2, df(error)}\cdot \sqrt{MSE}$

regression confidence-interval

— Джон Токка Такос
источник

2

Можете ли вы отредактировать свой пост, включив в него данные, с которыми вы работаете?

— Стефан Коласса

@StephanKolassa Я пытался объяснить, какие данные я использовал. Тем не менее вопрос более общий и не привязан к конкретному примеру.

— Джон Токка Такос

Если вы предоставите данные, вам будет легче проиллюстрировать ответ.

— Стефан Коласса

6

$(x,y)$ $(x,x^2,y)$

Мы платим за то, что нужно смотреть на трехмерные объекты, что трудно сделать на статическом экране. (Я считаю, что бесконечно вращающиеся изображения раздражают и поэтому не причинят вам вреда, даже если они могут быть полезны.) Таким образом, этот ответ может не понравиться всем. Но те, кто хочет добавить третье измерение своим воображением, будут вознаграждены. Я предлагаю вам помочь в этом начинании с помощью тщательно подобранной графики.

Давайте начнем с визуализации независимых переменных. В модели квадратичной регрессии

\begin{matrix} (1) & Y_{я} знак равно β_{0} + β_{1} ({Икс}_{я}) + β_{2} ({Икс}_{я}^{2}) + ошибка, \end{matrix}

$y_i = \beta_0 + \beta_1 (x_i) + \beta_2 (x_i^2) + \text{error},\tag{1}$

$(x_i)$ $(x_i^2)$ $(x_i,x_i^2)$ $x$ $x^2.$ $(t,t^2):$

$(x,x^2)$

Квадратичная регрессия соответствует плоскости этих точек.

$(\beta_0,\beta_1,\beta_2),$ $(x,x^2,y)$ $(1)$ $-\beta_1(x)-\beta_2(x^2)+(1)y-\beta_0,$ $(-\beta_1,-\beta_2,1).$ $\beta_1=-55/8$ $\beta_2=15/2,$ $1,$ $(x,x^2)$ самолет.)

Вот плоскость наименьших квадратов, приспособленная к этим точкам:

$y=f(x,x^2),$ $(t,t^2)$

T \to (T, T^{2}, е (T, T^{2}))

$t\to (t, t^2, f(t,t^2))$

$x$ $y$ $x^2$

$(x,\hat y)$ $\hat y$ $x.$

Полоса доверия для этой подгоночной кривой показывает, что может случиться с подгонкой, когда точки данных изменяются случайным образом. Не меняя точку зрения, я нанес на график пять подогнанных плоскостей (и их поднятые кривые) на пять независимых новых наборов данных (из которых показана только одна):

$x \approx 1.75$ $x \approx 3.$

Давайте посмотрим на то же самое, завис над трехмерным графиком и немного посмотрев вниз и вдоль диагональной оси плоскости. Чтобы помочь вам увидеть, как меняются плоскости, я также сжал вертикальное измерение.

$(t,t^2)$ $(x,x^2).$

$(x_i,x_i^2)$ $\mathcal L$ $(x,x^2)$ $(x,x^2)$ $(x,x^2)$ $\mathcal L.$

$\mathcal L$ $t\to(t,t^2)$ $\mathcal L$ $x$ $1.7$ $2.9$

$(x,y)$

Этот анализ концептуально применим к полиномиальной регрессии высокой степени, а также к множественной регрессии в целом. Хотя мы не можем по-настоящему «увидеть» более трех измерений, математика линейной регрессии гарантирует, что интуиция, полученная из двух- и трехмерных графиков показанного здесь типа, остается точной в более высоких измерениях.

— Whuber
источник

Спасибо за этот отличный ответ! Мне никогда не приходило в голову, что квадратичная регрессия соответствует плоскости точкам. Эти геометрические формулировки действительно интуитивно понятны и мне очень помогли.

— Джон Токка Такос

1

Это такой отличный ответ - мы должны собрать ваши лучшие посты и превратить их в книгу с открытым исходным кодом

— Ксавье Бурре Сикотт

1

@Xavier Спасибо за добрые слова. Я думал о чем-то подобном и приветствую все конструктивные предложения и критику.

— whuber

1

интуитивный

В очень интуитивном и грубом смысле вы можете увидеть полиномиальную кривую в виде двух линейных кривых, сшитых вместе (одна растущая, другая убывает). Для этих линейных кривых вы можете вспомнить узкую форму в центре .

Точки слева от вершины имеют относительно небольшое влияние на прогнозы справа от вершины, и наоборот.

Таким образом, вы можете ожидать две узкие области по обе стороны от пика (где изменения на склонах обеих сторон имеют относительно небольшой эффект).
Область вокруг пика является относительно более неопределенной, поскольку изменение наклона кривой оказывает большее влияние в этой области. Вы можете нарисовать много кривых с большим смещением пика, который все еще проходит через точки измерения

иллюстрация

Ниже приведена иллюстрация с некоторыми другими данными, которая показывает, как легко может возникнуть эта модель (можно сказать, двойной узел):

set.seed(1)
x <- c(rep(c(-6, -5, 6, 5), 5))
y <- 0.2*x^2 + rnorm(20, 0, 1)
plot(x, y, 
     ylim=c(-10,30), xlim=c(-10,10),
     pch=21, col=1, bg=1, cex=0.3)

data    = list(y=y,           x=x,                x2=x^2)
newdata = list(y=rep(0,3001), x=seq(-15,15,0.01), x2=seq(-15,15,0.01)^2  )

model <- lm(y~1+x+x2, data=data)
predictions = predict(model, newdata = newdata, interval="predict")
lines(newdata$x, predictions[,1])
lines(newdata$x, predictions[,2], lty=2)
lines(newdata$x, predictions[,3], lty=2)

формальный

^{Продолжение следует: Я размещу раздел позже как более формальное объяснение. Нужно уметь выразить влияние конкретной точки измерения на доверительный интервал в разных местах $x$ , В этом выражении следует более четко (явно) видеть, как изменение определенной (случайной) точки измерения оказывает большее влияние на погрешность в интерполированной области, более удаленной от точек измерения

настоящее время я не могу понять хорошее изображение волнистой структуры интервалов прогнозирования, но я надеюсь, что эта грубая идея в достаточной степени учитывает комментарий Вубера о непризнании этого паттерна в квадратичных подгонках. Дело не столько в квадратичных подгонках, сколько в интерполяции в целом, в этих случаях точность менее сильна для прогнозов, когда они выражаются далеко от точек, независимо от интерполяции или экстраполяции. (Конечно, эта схема более уменьшается, когда больше точек измерения, $x$ , добавлены)}

— Секст Эмпирик
источник

1

Мне трудно поверить в эту характеристику или любой из ее выводов, потому что я почти уверен, что квадратичная регрессия просто не ведет себя так. Не могли бы вы убедить меня, предоставив им какое-то оправдание?

— whuber

1

Я думаю, это зависит от положения очков. В примере точки находятся по обе стороны от пика. Тогда вы можете рассматривать положение пика как своего рода экстраполяцию. Я приведу более экстремальный пример позже. (Мне также интересно, как выполняется регрессия, но я представляю, что ошибка в коэффициентах считается коррелированной, иначе вы действительно не получите эту схему)

— Sextus Empiricus

Это зависит от положения точек, но сложным образом. (Алгебра показывает, что обратная ковариационная матрица

(x_{i}, x_{i}^{2})

$(x_i, x_i^2)$ данные задействованы.) Но фокусировка на «точках по бокам пика» не обязательно является правильным или даже полезным описанием того, что происходит. Ошибки в коэффициентах почти всегда сильно коррелированы (если вы не гарантировали ортогональность

x

$x$ и

x^{2}

$x^2$ ), так что это часть объяснения. Чтобы поддержать эти утверждения, я опубликовал графический анализ данных, подобных тем, которые использовались в вопросе.

— Whuber