Как выполнить ортогональную регрессию (наименьших квадратов) с помощью PCA?

Я всегда использую lm()в R для выполнения линейной регрессии $y$ на $x$ . Эта функция возвращает коэффициент $\beta$ такой, что

y = β x .

$y = \beta x.$

Сегодня я узнал об общих наименьших квадратах, и эту princomp()функцию (анализ основных компонентов, PCA) можно использовать для ее выполнения. Это должно быть хорошо для меня (точнее). Я сделал несколько тестов, используя princomp():

r <- princomp( ~ x + y)

Моя проблема: как интерпретировать ее результаты? Как я могу получить коэффициент регрессии? Под «коэффициентом» я подразумеваю число $\beta$ которое я должен использовать для умножения значения $x$ чтобы получить число, близкое к $y$ .

— нижняя палата парламента Ирландии
источник

Один момент, ребята, я немного запутался. посмотрите на: zoonek2.free.fr/UNIX/48_R/09.html Это называется PCA (анализ основных компонентов, или «ортогональная регрессия», или «перпендикулярные суммы квадратов», или «общее количество наименьших квадратов»), так что я думаю, что мы говорим о TLS с princomp () Нет?

— Dail

Нет; это две разные вещи, смотрите статью в Википедии о PCA. Факт, что это используется здесь, является взломом (я не знаю, насколько точно, но я собираюсь проверить это); Вот почему комплексное извлечение коэффициентов.

Смежный вопрос: stats.stackexchange.com/questions/2691/… и на сообщение в блоге ссылается один из ответов: cerebralmastication.com/2010/09/…

— Джонатан

Обычные наименьшие квадраты против общих наименьших квадратов

Давайте сначала рассмотрим простейший случай только одной предикторной (независимой) переменной . Для простоты, пусть и и центрированы, т. Е. Точка пересечения всегда равна нулю. Различие между стандартной регрессией OLS и «ортогональной» регрессией TLS ясно показано на этом (адаптированном мной) рисунке из самого популярного ответа в самой популярной теме на PCA: $x$ $x$ $y$

OLS против TLS

МНК припадки уравнение путем минимизации квадратов расстояний между наблюдаемыми значениями и прогнозируемых значений . TLS соответствует тому же уравнению, минимизируя квадратные расстояния между точками и их проекцией на линию. В этом простейшем случае линия TLS является просто первым основным компонентом двумерных данных. Чтобы найти , проведите PCA по точкам, т.е. построите $y=\beta x$ $y$ $\hat y$ $(x,y)$ $\beta$ $(x,y)$ ковариационную матрицу и найдите ее первый собственный вектор $2\times 2$ $\boldsymbol \Sigma$ . ; тогда $\mathbf v = (v_x, v_y)$ $\beta = v_y/v_x$

В Matlab:

 v = pca([x y]);    //# x and y are centered column vectors
 beta = v(2,1)/v(1,1);

В R:

 v <- prcomp(cbind(x,y))$rotation
 beta <- v[2,1]/v[1,1]

Кстати, это даст правильный наклон, даже если и не были отцентрированы (потому что встроенные функции PCA автоматически выполняют центрирование). Чтобы восстановить перехват, вычислите $x$ $y$ $\beta_0 = \bar y - \beta \bar x$ .

OLS против TLS, множественная регрессия

Для заданной зависимой переменной и множества независимых переменных (опять же, все по центру для простоты) регрессия соответствует уравнению МНК делает подгонку путем минимизации квадратов ошибок между наблюдаемыми значениями и предсказанных значений . TLS подгоняет, минимизируя квадрат расстояния между наблюдаемыми $y$ $x_i$

Y знак равно β_{1} {Икс}_{1} + ... + β_{п} {Икс}_{п},

$y= \beta_1 x_1 + \ldots + \beta_p x_p.$

y

$y$

\hat{y}

$\hat y$

(x, y) \in R^{p + 1}

$(\mathbf x, y)\in\mathbb R^{p+1}$ точки и ближайшие точки на плоскости регрессии / гиперплоскости.

Обратите внимание, что больше нет «линии регрессии»! Вышеупомянутое уравнение определяет гиперплоскость : это двухмерная плоскость, если есть два предиктора, трехмерная гиперплоскость, если есть три предиктора, и т. Д. Таким образом, приведенное выше решение не работает: мы не можем получить решение TLS, взяв только первый ПК (который является линия). Тем не менее, решение может быть легко получено через PCA.

Как и раньше, PCA проводится по точкам. Это дает собственных векторов в столбцах . Первые собственных векторов определяют - мерную гиперплоскость , что нам нужно; последний (число ) собственный вектор ортогонален ему. Вопрос в том, как преобразовать основу заданную первым $(\mathbf x, y)$ $p+1$ $\mathbf V$ $p$ $p$ $\mathcal H$ $p+1$ $\mathbf v_{p+1}$ $\mathcal H$ собственных векторов в $p$ $\boldsymbol \beta$ коэффициенты.

Заметим , что если положить для всех и только , то , то есть вектор лежит в гиперплоскости , С другой стороны, мы знаем, что $x_i=0$ $i \ne k$ $x_k=1$ $\hat y=\beta_k$

(0, \dots, 1, \dots, β_{k}) \in H

$(0,\ldots, 1, \ldots, \beta_k) \in \mathcal H$

H

$\mathcal H$

ортогонально этому. Т.е. их скалярное произведение должно быть равно нулю:

v_{p + 1} = (v_{1}, \dots, v_{p + 1}) ⊥ H

$\mathbf v_{p+1}=(v_1, \ldots, v_{p+1}) \:\bot\: \mathcal H$

v_{k} + β_{k} v_{p + 1} = 0 \Rightarrow β_{k} = - v_{k} / v_{p + 1} .

$v_k + \beta_k v_{p+1}=0 \Rightarrow \beta_k = -v_k/v_{p+1}.$

В Matlab:

 v = pca([X y]);    //# X is a centered n-times-p matrix, y is n-times-1 column vector
 beta = -v(1:end-1,end)/v(end,end);

В R:

 v <- prcomp(cbind(X,y))$rotation
 beta <- -v[-ncol(v),ncol(v)] / v[ncol(v),ncol(v)]

Опять же, это даст правильные наклоны, даже если и не были отцентрированы (потому что встроенные функции PCA автоматически выполняют центрирование). Чтобы восстановить перехват, вычислите . $x$ $y$ $\beta_0 = \bar y - \bar {\mathbf x} \boldsymbol \beta$

$x$ $(x,y)$ $v^{(1)}_y/v^{(1)}_x=-v^{(2)}_x/v^{(2)}_y$

Решение в закрытой форме для TLS

$\boldsymbol \beta$

$\mathbf X$ $\mathbf y$ $\mathbf v_{p+1}$ $[\mathbf X\: \mathbf y]$ $\sigma^2_{p+1}$ $-\mathbf v_{p+1}/v_{p+1} = (\boldsymbol \beta\:\: -1)^\top$

(\begin{matrix} X^{⊤} X & X^{⊤} y \\ y^{⊤} X & y^{⊤} y \end{matrix}) (\begin{matrix} β \\ - 1 \end{matrix}) = σ_{p + 1}^{2} (\begin{matrix} β \\ - 1 \end{matrix}),

$\left(\begin{array}{c}\mathbf X^\top \mathbf X & \mathbf X^\top \mathbf y\\ \mathbf y^\top \mathbf X & \mathbf y^\top \mathbf y\end{array}\right) \left(\begin{array}{c}\boldsymbol \beta \\ -1\end{array}\right) = \sigma^2_{p+1}\left(\begin{array}{c}\boldsymbol \beta \\ -1\end{array}\right),$

β_{T L S} = (X^{⊤} X - σ_{p + 1}^{2} I)^{- 1} X^{⊤} y,

$\boldsymbol \beta_\mathrm{TLS} = (\mathbf X^\top \mathbf X - \sigma^2_{p+1}\mathbf I)^{-1} \mathbf X^\top \mathbf y,$

β_{O L S} = (X^{⊤} X)^{- 1} X^{⊤} y .

$\boldsymbol \beta_\mathrm{OLS} = (\mathbf X^\top \mathbf X)^{-1} \mathbf X^\top \mathbf y.$

Многофакторная множественная регрессия

Эту же формулу можно обобщить для многомерного случая, но даже для определения того, что делает многомерный TLS, потребуется некоторая алгебра. Смотрите Википедию на TLS . Многомерная регрессия OLS эквивалентна группе одномерных регрессий OLS для каждой зависимой переменной, но в случае TLS это не так.

— амеба говорит восстановить монику
источник

Я не знаю R, но все же хотел предоставить фрагменты R для дальнейшего использования. Здесь много людей, хорошо владеющих R. Пожалуйста, не стесняйтесь редактировать мои фрагменты, если это необходимо! Спасибо.

— говорит амеба: восстанови монику

Хороший пост, но если я могу спросить, что гарантирует тот факт, что вектор

(0, \dots, 1, \dots, β_{k})

$(0,\ldots, 1, \ldots, \beta_k)$ лежит в гиперплоскости?

— JohnK

@JohnK, я не уверен, что именно неясно. Как я уже писал, пусть все

x_{i}

$x_i$ быть равным нулю, кроме

x_{k} = 1

$x_k=1$ , Тогда, если вы подключите это в

y = \sum β_{j} x_{j}

$y=\sum \beta_j x_j$ , ты получишь

y = β_{k} \cdot 1 = β_{k}

$y=\beta_k\cdot 1 = \beta_k$ , Итак, точка

(0, \dots, 1, \dots β_{k})

$(0,\ldots, 1, \ldots \beta_k)$ лежит на гиперплоскости, определяемой уравнением

y = \sum β_{j} x_{j}

$y=\sum \beta_j x_j$ ,

— говорит амеба, восстанови Монику

Кажется, я неправильно понял эту часть, но теперь все ясно. Спасибо за разъяснения тоже.

— JohnK

В R вы можете предпочесть векторы «eigen (cov (cbind (x, y))) $ », а не prcomp (cbind (x, y)) $ вращение, потому что первое намного быстрее для больших векторов.

— Томас Браун

Основываясь на найденной здесь наивной реализации GNU Octave , может сработать что-то вроде этого (крупица соли, уже поздно).

tls <- function(A, b){

  n <- ncol(A)
  C <- cbind(A, b)

  V <- svd(C)$v
  VAB <- V[1:n, (n+1):ncol(V)]
  VBB <- V[(n+1):nrow(V), (n+1):ncol(V)]
  return(-VAB/VBB)
}

— cashoes
источник

princompвместо анализа регрессии общих наименьших квадратов выполняется анализ главных компонент . Насколько я знаю, нет ни функции R, ни пакета, который делает TLS; самое большее, это регрессия Деминга в MethComp .
Тем не менее, пожалуйста, воспринимайте это как предположение, что оно, скорее всего, не стоит того.

Я думал, что Деминг в пакете MethComp был TLS - какая разница?

— mark999

You must give it the ratio of errors on x and y; pure TLS optimises this.