Если вы не можете сделать это ортогонально, сделайте это необработанно (полиномиальная регрессия)

При выполнении полиномиальной регрессии для на люди иногда используют необработанные полиномы, иногда ортогональные полиномы. Но когда они используют то, что кажется совершенно произвольным. $Y$ $X$

Здесь и здесь используются сырые полиномы. Но здесь и здесь ортогональные полиномы, кажется, дают правильные результаты. Что, как, почему ?!

В противоположность этому, когда вы узнаете о полиномиальной регрессии из учебника (например, ISLR ), в нем даже не упоминаются необработанные или ортогональные полиномы - дается только подходящая модель.

Итак, когда мы должны использовать что?
И почему отдельные значения p для , и т. Д. Сильно отличаются между этими двумя значениями? $X$ $X^2$

regression polynomial

— l7ll7
источник

Вам следует подумать о том, какие p-значения различаются, когда вы подгоняете одну и ту же модель к одним и тем же данным с использованием необработанных и ортогональных полиномов и их интерпретации. Как насчет модельных прогнозов?

— Scortchi - Восстановить Монику

@ Scortchi Я добавил соответствующую информацию в свой вопрос.

— l7ll7

Другой хорошей причиной для использования ортогональных полиномов является численная устойчивость; соответствующая матрица дизайна для подгонки в основе мономов может быть весьма плохо подготовлена для подгонки высокой степени, поскольку мономы более высокого порядка «почти линейно зависимы» (концепция, которая может быть сделана более математически точной), в то время как матрица дизайна для ортогональных многочленов ведут себя немного лучше. Я обсуждал случай равных абсцисс (грамм) здесь , но сделка аналогична в случае неравномерного расстояния.

— JM не является статистиком

(Тем не менее, нельзя подходить к многочленам высокой степени без веской причины для этого.)

— JM не является статистом

Ответы:

Переменные и не являются линейно независимыми. Таким образом , даже если не существует квадратичный эффект, добавление модели будет изменять оценочную эффект . $X$ $X^2$ $X^2$ $X$

Давайте посмотрим на очень простую симуляцию.

> x <- runif(1e3)
> y <- x + rnorm(length(x))
> summary(lm(y~x))

Coefficients:
            Estimate Std. Error t value Pr(>|t|)    
(Intercept) -0.03486    0.06233  -0.559    0.576    
x            1.05843    0.10755   9.841   <2e-16 ***

Теперь с квадратичным членом в модели, чтобы соответствовать.

> summary(lm(y~x+I(x^2)))

Coefficients:
            Estimate Std. Error t value Pr(>|t|)
(Intercept)  0.03275    0.09528   0.344    0.731
x            0.65742    0.44068   1.492    0.136
I(x^2)       0.39914    0.42537   0.938    0.348

Конечно, комплексный тест все еще важен, но я думаю, что результат, который мы ищем, не этот. Решение состоит в том, чтобы использовать ортогональные полиномы.

 > summary(lm(y~poly(x,2)))

 Coefficients:
            Estimate Std. Error t value Pr(>|t|)    
(Intercept)  0.49744    0.03098  16.059   <2e-16 ***
poly(x, 2)1  9.63943    0.97954   9.841   <2e-16 ***
poly(x, 2)2  0.91916    0.97954   0.938    0.348

Обратите внимание, что коэффициенты xв первой модели и poly(x,2)1во второй модели не равны, и даже точки пересечения различны. Это потому, что polyдоставляет ортонормированные векторы, которые также ортогональны к вектору rep(1, length(x)). Так poly(x,2)1нет, xа скорее (x -mean(x))/sqrt(sum((x-mean(x))**2))...

Важным моментом является то, что тесты Вальда в этой последней модели независимы. Вы можете использовать ортогональные полиномы, чтобы решить, до какой степени вы хотите пойти, просто взглянув на тест Вальда: здесь вы решаете оставить а не . Конечно, вы могли бы найти ту же модель, сравнив первые две подходящие модели, но так проще - если вы решите подняться на более высокие ступени, это действительно намного проще. $X$ $X^2$

После того, как вы решили, какие термины сохранить, вы можете вернуться к необработанным полиномам и для интерпретации или прогнозирования. $X$ $X^2$

— Элвис
источник

+1 наконец четкий ответ! Спасибо! Прежде чем я согласился, скажите, пожалуйста, есть ли какие-либо другие статистические данные, такие как R ^ 2 или F-статистика, которые мне лучше читать об итогах ортогонального графика, чем необработанные? Помимо построения переменных, подходит ли использование в этом сценарии необработанных полиномов для чего-то еще?

— 17

И когда у меня есть несколько предикторов, верно ли то же самое?

— 17

Как бы вы «использовали ортогональные полиномы, чтобы решить, хотите ли вы включить квадратичный термин или нет»?

— Scortchi - Восстановить Монику

Дело в том, что критерий эффекта высшего порядка, квадратичного в данном случае, одинаков, независимо от того, используете ли вы необработанные или ортогональные полиномы. Так зачем возиться с ортогональными полиномами?

— Scortchi - Восстановить Монику

Ну, конечно, вы просто не должны делать эти маргинальные тесты в этой модели; Вы должны повторно соответствовать после отказа от эффекта высшего порядка. Ортогональные многочлены избавят вас от беспокойства, позволяя выполнить простую процедуру понижения - возможно, вы могли бы проиллюстрировать это кубическим термином.

— Scortchi - Восстановить Монику

Чтобы дать наивную оценку ситуации:

$\{p_n\}_{n=1}^\infty$ $\{\tilde{p}\}_{n=1}^\infty$ $L_2([a,b])$

$L_2([a,b])$ $y \in L_2([a,b])$ $\theta_n$ $\tilde{\theta}_n \in \mathbb{R}$ $n=1,2,\dots$ $L_2$

Σ_{N знак равно 1}^{\infty} {\tilde{θ}}_{N} {\tilde{п}}_{N} знак равно Y знак равно Σ_{N знак равно 1}^{\infty} θ_{N} п_{N},

$\sum_{n=1}^\infty \tilde{\theta}_n \tilde{p}_n = y= \sum_{n=1}^\infty \theta_n p_n.$

$k<\infty$

{п_{N}}_{N знак равно 1}^{К}

$\{p_n\}_{n=1}^k$

{\tilde{п}}_{N знак равно 1}^{К},

$\{\tilde{p}\}_{n=1}^k,$

L_{2} ([a, b])

$L_2([a,b])$

$\{\tilde{p}\}_{n=1}^\infty$ $\{p_n\}_{n=1}^\infty$ $y$ $\{p\}_{n=1}^k$ $k$ $L_2([a,b])$

$p$

Следовательно, с точки зрения предсказания нет (в этом случае) никакой разницы.

$var(\hat{\tilde{\theta}}) = I \sigma²$

Естественный вопрос возникает, если существует лучшая усеченная базисная система. Однако ответ на вопрос не является ни простым, ни уникальным и зависит, например, от определения слова «лучший», то есть того, что вы пытаетесь архивировать.

— chRrr
источник

(+1) Нет разницы с точки зрения прогнозирования; И можно сказать, что нет разницы с точки зрения какого-либо значимого вывода.

— Scortchi - Восстановить Монику