Аналитическое решение для оценки коэффициента линейной регрессии

Я пытаюсь понять матричные обозначения и работаю с векторами и матрицами.

Сейчас я хотел бы понять , как вектор коэффициентов оценки & beta$\hat{\beta}$ в множественной регрессии вычисляется.

Основное уравнение, кажется,

$$\frac{d}{d\boldsymbol{\beta}} (\boldsymbol{y}-\boldsymbol{X\beta})'(\boldsymbol{y}-\boldsymbol{X\beta}) = 0 \>.$$

Теперь, как бы я решил для вектора$\beta$ здесь?

редактировать : Подожди, я застрял. Я здесь и не знаю, как продолжить

$\frac{d}{d{\beta}} \left( \left(\begin{smallmatrix} y_1 \\ y_2 \\ \vdots \\ y_n \end{smallmatrix}\right) - \left(\begin{smallmatrix} 1 & x_{11} & x_{12} & \dots & x_{1p} \\ 1 & x_{21} & x_{22} & \dots & x_{2p} \\ \vdots & & & & \vdots \\ 1 & x_{n1} & x_{n2} & \dots & x_{np} \\ \end{smallmatrix}\right) \left(\begin{smallmatrix} \beta_0 \\ \beta_1 \\ \vdots \\ \beta_p \end{smallmatrix}\right) \right) ' \left( \left(\begin{smallmatrix} y_1 \\ y_2 \\ \vdots \\ y_n \end{smallmatrix}\right) - \left(\begin{smallmatrix} 1 & x_{11} & x_{12} & \dots & x_{1p} \\ 1 & x_{21} & x_{22} & \dots & x_{2p} \\ \vdots & & & & \vdots \\ 1 & x_{n1} & x_{n2} & \dots & x_{np} \\ \end{smallmatrix}\right) \left(\begin{smallmatrix} \beta_0 \\ \beta_1 \\ \vdots \\ \beta_p \end{smallmatrix}\right) \right)$

$\frac{d}{d{\beta}} \sum_{i=1}^n \left( y_i - \begin{pmatrix} 1 & x_{i1} & x_{i2} & \dots & x_{ip} \end{pmatrix} \begin{pmatrix} \beta_0 \\ \beta_1 \\ \vdots \\ \beta_p \end{pmatrix} \right)^2$

С для всех$x_{i0} = 1$$i$ являюсь перехват:

$\frac{d}{d{\beta}} \sum_{i=1}^n \left( y_i - \sum_{k=0}^p x_{ik} \beta_k \right)^2$

Можете ли вы указать мне правильное направление?

У нас есть

$\frac{d}{d\beta} (y - X \beta)' (y - X\beta) = -2 X' (y - X \beta)$.

Это можно показать, написав уравнение явно с компонентами. Например, напишите вместо β . Затем возьмите производные по β 1 , β 2 , ..., β p и сложите все, чтобы получить ответ. Для быстрой и простой иллюстрации вы можете начать с p = $(\beta_{1}, \ldots, \beta_{p})'$$\beta$$\beta_{1}$$\beta_{2}$$\beta_{p}$$p = 2$ .

С опытом вырабатываете общие правила, некоторые из которых приведены, например, в этом документе. .

Изменить руководство по добавленной части вопроса

При имеем$p = 2$

$(y - X \beta)'(y - X \beta) = (y_1 - x_{11} \beta_1 - x_{12} \beta_2)^2 + (y_2 - x_{21}\beta_1 - x_{22} \beta_2)^2$

Производная по имеет вид$\beta_1$

$-2x_{11}(y_1 - x_{11} \beta_1 - x_{12} \beta_2)-2x_{21}(y_2 - x_{21}\beta_1 - x_{22} \beta_2)$

Аналогично, производная по имеет вид$\beta_2$

$-2x_{12}(y_1 - x_{11} \beta_1 - x_{12} \beta_2)-2x_{22}(y_2 - x_{21}\beta_1 - x_{22} \beta_2)$

Следовательно, производная по имеет вид$\beta = (\beta_1, \beta_2)'$

$\left( \begin{array}{c} -2x_{11}(y_1 - x_{11} \beta_1 - x_{12} \beta_2)-2x_{21}(y_2 - x_{21}\beta_1 - x_{22} \beta_2) \\ -2x_{12}(y_1 - x_{11} \beta_1 - x_{12} \beta_2)-2x_{22}(y_2 - x_{21}\beta_1 - x_{22} \beta_2) \end{array} \right)$

Теперь обратите внимание, что вы можете переписать последнее выражение как

$-2\left( \begin{array}{cc} x_{11} & x_{21} \\ x_{12} & x_{22} \end{array} \right)\left( \begin{array}{c} y_{1} - x_{11}\beta_{1} - x_{12}\beta_2 \\ y_{2} - x_{21}\beta_{1} - x_{22}\beta_2 \end{array} \right) = -2 X' (y - X \beta)$

Конечно, все сделано таким же образом для большего .$p$

Вы также можете использовать формулы из поваренной книги Matrix . У нас есть

$$(y-X\beta)'(y-X\beta)=y'y-\beta'X'y-y'X\beta+\beta'X'X\beta$$

Теперь возьмите производные каждого термина. Вы можете заметить, что . Производная от термина у ' у относительно р равен нулю. Оставшийся срок$\beta'X'y=y'X\beta$$y'y$$\beta$

$$\beta'X'X\beta-2y'X\beta$$

имеет форму функции

$$f(x)=x'Ax+b'x,$$

в формуле (88) в книге на стр. 11, где , A = X ′ X и b = - 2 X ′ y . Производная дается в формуле (89):$x=\beta$$A=X'X$$b=-2X'y$

$$\frac{\partial f}{\partial x}=(A+A')x+b$$

так

$$\frac{\partial}{\partial \beta}(y-X\beta)'(y-X\beta)=(X'X+(X'X)')\beta-2X'y$$

Теперь, поскольку мы получаем желаемое решение:$(X'X)'=X'X$

$$X'X\beta=X'y$$

Вот методика минимизации суммы квадратов в регрессии, которая на самом деле имеет применение к более общим настройкам и которую я считаю полезной.

Попробуем вообще избежать векторно-матричного исчисления.

Предположим, что мы заинтересованы в минимизации Где у ∈ R п , X ∈ R п × р и & beta ; ∈ R р . Для простоты будем считать, что p ≤ n и r a n k ( X ) = p .

$$\newcommand{\err}{\mathcal{E}}\newcommand{\my}{\mathbf{y}}\newcommand{\mX}{\mathbf{X}}\newcommand{\bhat}{\hat{\beta}}\newcommand{\reals}{\mathbb{R}} \err = (\my - \mX \beta)^T (\my - \mX \beta) = \|\my - \mX \beta\|_2^2 \> ,$$ $\my \in \reals^n$$\mX \in \reals^{n\times p}$$\beta \in \reals^p$$p \leq n$$\mathrm{rank}(\mX) = p$

Для любого & beta ; ∈ R р , получим Е = ‖ у - Х & beta ; + Х & beta ; - Х & beta ; | | 2 2 = | | у - Х & beta ; | | 2 2 + | | Х ( & beta ; - & beta ; ) | | 2 2 - 2 ( β - β ) Т Х Т ( у$\bhat \in \reals^p$

$$\err = \|\my - \mX \bhat + \mX \bhat - \mX \beta\|_2^2 = \|\my - \mX \bhat\|_2^2 + \|\mX(\beta-\bhat)\|_2^2 - 2(\beta - \bhat)^T \mX^T (\my - \mX \bhat) \>.$$

$\bhat$ $\beta$$\min_\beta \err \geq \|\my - \mX \bhat\|_2^2$

$(\beta - \bhat)^T \mX^T (\my - \mX \bhat) = 0$$\beta$ тогда и только тогда , когда$\mX^T (\my - \mX \bhat) = 0$ и это последнее уравнение верно, если и только если $\mX^T \mX \bhat = \mX^T \my$, Так$\err$ сводится к минимуму, принимая $\bhat = (\mX^T \mX)^{-1} \mX^T \my$,

---

Хотя это может показаться «уловкой», позволяющей избежать исчисления, на самом деле оно имеет более широкое применение и в игре присутствует интересная геометрия.

Один пример, где этот метод делает вывод намного проще, чем любой подход матрично-векторного исчисления, - это когда мы обобщаем на случай матрицы. Позволять$\newcommand{\mY}{\mathbf{Y}}\newcommand{\mB}{\mathbf{B}}\mY \in \reals^{n \times p}$, $\mX \in \reals^{n \times q}$ а также $\mB \in \reals^{q \times p}$, Предположим, мы хотим минимизировать

$$\err = \mathrm{tr}( (\mY - \mX \mB) \Sigma^{-1} (\mY - \mX \mB)^T )$$ по всей матрице $\mB$параметров. Вот$\Sigma$ ковариационная матрица

Совершенно аналогичный подход к вышесказанному быстро устанавливает, что минимум $\err$ достигается путем принятия

$$\hat{\mB} = (\mX^T \mX)^{-1} \mX^T \mY \>.$$ То есть в настройке регрессии, где ответом является вектор с ковариацией$\Sigma$ и наблюдения являются независимыми, то оценка OLS достигается путем $p$ отдельные линейные регрессии на составляющие ответа.

One way which may help you understand is to not use matrix algebra, and differentiate with each respect to each component, and then "store" the results in a column vector. So we have:

$$\frac{\partial}{\partial \beta_{k}}\sum_{i=1}^{N}\left(Y_{i}-\sum_{j=1}^{p}X_{ij}\beta_{j}\right)^{2}=0$$

Now you have $p$ of these equations, one for each beta. This is a simple application of the chain rule:

$$\sum_{i=1}^{N}2\left(Y_{i}-\sum_{j=1}^{p}X_{ij}\beta_{j}\right)^{1}\left(\frac{\partial}{\partial \beta_{k}}\left[Y_{i}-\sum_{j=1}^{p}X_{ij}\beta_{j}\right]\right)=0$$ $$-2\sum_{i=1}^{N}X_{ik}\left(Y_{i}-\sum_{j=1}^{p}X_{ij}\beta_{j}\right)=0$$

Now we can re-write the sum inside the bracket as $\sum_{j=1}^{p}X_{ij}\beta_{j}=\bf{x}_{i}^{T}\boldsymbol{\beta}$ So you get:

$$\sum_{i=1}^{N}X_{ik}Y_{i}-\sum_{i=1}^{N}X_{ik}\bf{x}_{i}^{T}\boldsymbol{\beta}=0$$

Now we have $p$ of these equations, and we will "stack them" in a column vector. Notice how $X_{ik}$ is the only term which depends on $k$, so we can stack this into the vector $\bf{x}_{i}$ and we get:

$$\sum_{i=1}^{N}\bf{x}_{i}\rm{Y}_{i}=\sum_{i=1}^{N}\bf{x}_{i}\bf{x}_{i}^{T}\boldsymbol{\beta}$$

Now we can take the beta outside the sum (but must stay on RHS of sum), and then take the invervse:

$$\left(\sum_{i=1}^{N}\bf{x}_{i}\bf{x}_{i}^{T}\right)^{-1}\sum_{i=1}^{N}\bf{x}_{i}\rm{Y}_{i}=\boldsymbol{\beta}$$