11

У меня нет формального определения масштабной эквивалентности, но вот что говорит об этом « Введение в статистическое обучение» на стр. 217:

Стандартные коэффициенты наименьших квадратов ... являются масштабно-эквивалентными : умножение $X_j$ на константу $c$ просто приводит к масштабированию оценок коэффициента наименьших квадратов с коэффициентом $1/c$ .

Для простоты предположим, что общая линейная модель , где , является матрицей (где ) со всеми записями в , и - это мерный вектор вещественных случайных величин с . $\mathbf{y} = \mathbf{X}\boldsymbol\beta + \boldsymbol\epsilon$ $\mathbf{y} \in \mathbb{R}^N$ $\mathbf{X}$ $N \times (p+1)$ $p+1 < N$ $\mathbb{R}$ $\boldsymbol\beta \in \mathbb{R}^{p+1}$ $\boldsymbol\epsilon$ $N$ $\mathbb{E}[\boldsymbol\epsilon] = \mathbf{0}_{N \times 1}$

Из оценки OLS мы знаем, что если имеет полный ранг (столбец), Предположим, мы умножили столбец , скажем, для некоторого , константой . Это было бы эквивалентно матрице $\mathbf{X}$

{\hat{β}}_{X} = (X^{T} X)^{- 1} X^{T} y .

$\hat{\boldsymbol\beta}_{\mathbf{X}} = (\mathbf{X}^{T}\mathbf{X})^{-1}\mathbf{X}^{T}\mathbf{y}\text{.}$

X

$\mathbf{X}$

x_{k}

$\mathbf{x}_k$

k \in {1, 2, \dots, p + 1}

$k \in \{1, 2, \dots, p+1\}$

c \neq 0

$c \neq 0$

X \underset{S}{\underset{⏟}{[\begin{matrix} 1 \\ 1 \\ ⋱ \\ 1 \\ c \\ 1 \\ ⋱ \\ 1 \end{matrix}]}} = [\begin{matrix} x_{1} & x_{2} & \dots & c x_{k} & \dots & x_{p + 1} \end{matrix}] \equiv \tilde{X}

$\begin{equation} \mathbf{X}\underbrace{\begin{bmatrix} 1 & \\ & 1 \\ & & \ddots \\ & & & 1 \\ & & & & c\\ & & & & & 1 \\ & & & & & &\ddots \\ & & & & & & & 1 \end{bmatrix}}_{\mathbf{S}} = \begin{bmatrix} \mathbf{x}_1 & \mathbf{x}_2 & \cdots & c\mathbf{x}_{k} & \cdots & \mathbf{x}_{p+1}\end{bmatrix} \equiv \tilde{\mathbf{X}} \end{equation}$ где все остальные элементы матрицы выше равны , а находится в й записи диагонали . Потом,

S

$\mathbf{S}$

0

$0$

c

$c$

k

$k$

S

$\mathbf{S}$

\tilde{X}

$\tilde{\mathbf X}$

\tilde{X}

$\tilde{\mathbf X}$ так как новая матрица дизайна - После некоторой работы можно показать, что

{\hat{β}}_{\tilde{X}} = {({\tilde{X}}^{T} \tilde{X})}^{- 1} {\tilde{X}}^{T} y .

$\hat{\boldsymbol\beta}_{\tilde{\mathbf{X}}} = \left(\tilde{\mathbf{X}}^{T}\tilde{\mathbf{X}}\right)^{-1}\tilde{\mathbf{X}}^{T}\mathbf{y}\text{.}$

{\tilde{X}}^{T} \tilde{X} = [\begin{matrix} x_{1}^{T} x_{1} & x_{1}^{T} x_{2} & \dots & c x_{1}^{T} x_{k} & \dots & x_{1}^{T} x_{p + 1} \\ x_{2}^{T} x_{1} & x_{2}^{T} x_{2} & \dots & c x_{2}^{T} x_{k} & \dots & x_{2}^{T} x_{p + 1} \\ ⋮ & ⋮ & ⋱ & ⋮ & \dots & ⋮ \\ c x_{k}^{T} x_{1} & c x_{k}^{T} x_{2} & \dots & c^{2} x_{k}^{T} x_{k} & \dots & c x_{k}^{T} x_{p + 1} \\ ⋮ & ⋮ & ⋮ & ⋮ & \dots & ⋮ \\ x_{p + 1}^{T} x_{1} & x_{p + 1}^{T} x_{2} & \dots & c x_{p + 1}^{T} x_{p + 1} & \dots & x_{p + 1}^{T} x_{p + 1} \end{matrix}]

$\tilde{\mathbf{X}}^{T}\tilde{\mathbf{X}} = \begin{bmatrix} \mathbf{x}_1^{T}\mathbf{x}_1 & \mathbf{x}_1^{T}\mathbf{x}_2 & \cdots & c\mathbf{x}_1^{T}\mathbf{x}_k & \cdots & \mathbf{x}_1^{T}\mathbf{x}_{p+1} \\ \mathbf{x}_2^{T}\mathbf{x}_1 & \mathbf{x}_2^{T}\mathbf{x}_2 & \cdots & c\mathbf{x}_2^{T}\mathbf{x}_k & \cdots & \mathbf{x}_2^{T}\mathbf{x}_{p+1} \\ \vdots & \vdots & \ddots & \vdots & \cdots & \vdots \\ c\mathbf{x}_k^{T}\mathbf{x}_1 & c\mathbf{x}_k^{T}\mathbf{x}_2 & \cdots & c^2\mathbf{x}_k^{T}\mathbf{x}_k & \cdots & c\mathbf{x}_k^{T}\mathbf{x}_{p+1} \\ \vdots & \vdots & \vdots & \vdots & \cdots & \vdots \\ \mathbf{x}_{p+1}^{T}\mathbf{x}_1 & \mathbf{x}_{p+1}^{T}\mathbf{x}_2 & \cdots & c\mathbf{x}_{p+1}^{T}\mathbf{x}_{p+1} & \cdots & \mathbf{x}_{p+1}^{T}\mathbf{x}_{p+1} \\ \end{bmatrix}$ \ cdots & \ mathbf {x} _ {p + 1} ^ {T} \ mathbf {x} _ {p + 1} \\ \ end {bmatrix} и

{\tilde{X}}^{T} y = [\begin{matrix} x_{1}^{T} y \\ x_{2}^{T} y \\ ⋮ \\ c x_{k}^{T} y \\ ⋮ \\ x_{p + 1}^{T} y \end{matrix}]

$\tilde{\mathbf{X}}^{T}\mathbf{y} = \begin{bmatrix} \mathbf{x}_1^{T}\mathbf{y} \\ \mathbf{x}_2^{T}\mathbf{y} \\ \vdots \\ c\mathbf{x}_k^{T}\mathbf{y} \\ \vdots \\ \mathbf{x}_{p+1}^{T}\mathbf{y} \end{bmatrix}$ Как мне перейти отсюда, чтобы показать приведенное выше утверждение (то есть, что )? Мне не понятно, как вычислить .

{\hat{β}}_{\tilde{X}} = \frac{1}{c} {\hat{β}}_{X}

$\hat{\boldsymbol\beta}_{\tilde{\mathbf{X}}} = \dfrac{1}{c}\hat{\boldsymbol\beta}_{\mathbf{X}}$

({\tilde{X}}^{T} \tilde{X})^{- 1}

$(\tilde{\mathbf{X}}^{T}\tilde{\mathbf{X}})^{-1}$

least-squares linear-model

— Кларнетист
источник

Я думаю, что ваш неправильный, в нем отсутствует множитель во всей строке.

{\tilde{X}}^{T} \tilde{X}

$\tilde{\mathbf{X}}^{T}\tilde{\mathbf{X}}$

c

$c$

— Firebug

1

Кроме того, имейте в виду, что утверждение , не каждое .

{\hat{β}}_{k, new} = \frac{1}{c} {\hat{β}}_{k, old}

$\hat{\beta}_{k, \text{new}}={1\over c}\hat{\beta}_{k, \text{old}}$

β

$\beta$

— Firebug

@ Firebug Да, я только что понял это. Я отправляю ответ.

— Кларнетист

2

Вы можете заменить всю эту алгебру намного более простым анализом единиц, потому что умножение на просто меняет его единицу измерения, и поэтому соответствующее изменение в единицах, связанных с его коэффициентом состоит в том, чтобы разделить его на . К сожалению, это не доказывает, что должен быть разделен на . Тем не менее, эта цепочка мыслей может напоминать нам, что множественная регрессия может быть выполнена последовательностью регрессий против одного регрессора за один раз, когда ясно, что делится на , и поэтому доказательство завершено.

X_{j}

$X_j$

c

$c$

β_{j}

$\beta_j$

c

$c$

{\hat{β}}_{j}

$\hat \beta_j$

c

$c$

{\hat{β}}_{j}

$\hat\beta_j$

c

$c$

— Whuber

@whuber, хотя интуиция и результат ясны, кажется, что в доказательстве просто должно быть немного алгебры. В конце концов, масштабный коэффициент необходимо инвертировать.

c

$c$

— user795305

11

Поскольку утверждение в цитате представляет собой набор утверждений о масштабировании столбцов , вы можете также доказать их все сразу. На самом деле, не требуется больше работы, чтобы доказать обобщение утверждения: $X$

Когда умножается вправо на обратимую матрицу , тогда новая оценка коэффициента равна умноженной влево на . $X$ $A$ $\hat\beta_A$ $\hat \beta$ $A^{-1}$

Единственные алгебраические факты, которые вам нужны, это (легко доказанные, хорошо известные), которые для любых матриц и для обратимых матриц и . (Более тонкая версия последнего необходима при работе с обобщенными инверсиями: для обратимых и и любых , . ) $(AB)^\prime=B^\prime A^\prime$ $AB$ $(AB)^{-1}=B^{-1}A^{-1}$ $A$ $B$ $A$ $B$ $X$ $(AXB)^{-} = B^{-1}X^{-}A^{-1}$

Доказательство по алгебре :

{\hat{β}}_{A} = ((X A)^{'} ((X A))^{-} (X A)^{'} y = A^{- 1} (X^{'} X)^{-} (A^{'})^{- 1} A^{'} y = A^{- 1} \hat{β},

$\hat\beta_A = ((XA)^\prime ((XA))^{-}(XA)^\prime y = A^{-1}(X^\prime X)^{-} (A^\prime)^{-1}A^\prime y = A^{-1}\hat \beta,$

QED. (Чтобы это доказательство было полностью общим, верхний индекс относится к обобщенному обратному.) $^-$

Доказательство по геометрии :

Указанные основы и из и , соответственно, представляет собой линейное преобразование из к . Умножение вправо на можно рассматривать как оставление этого преобразования фиксированным, но изменение на (то есть на столбцы ). При таком изменении базиса представление любого вектора должно изменяться посредством умножения влево на , $E_p$ $E_n$ $\mathbb{R}^n$ $\mathbb{R}^p$ $X$ $\mathbb{R}^p$ $\mathbb{R}^n$ $X$ $A$ $E_p$ $AE_p$ $A$ $\hat\beta\in\mathbb{R}^p$ $A^{-1}$ КЕД .

(Это доказательство работает без изменений, даже если не обратимо.) $X^\prime X$

Цитата конкретно относится к случаю диагональных матриц с для и . $A$ $A_{ii}=1$ $i\ne j$ $A_{jj}=c$

Связь с наименьшими квадратами

Задача здесь состоит в том, чтобы использовать первые принципы для получения результата, причем принцип наименьших квадратов: оценка коэффициентов, минимизирующих сумму квадратов невязок.

Снова, доказательство (огромное) обобщение оказывается не более сложным и довольно показательным. Предположим, что - любое отображение (линейное или нет) вещественных векторных пространств, и пусть - любая вещественная функция на . Пусть - (возможно, пустой) набор точек для которых минимизировано.

ϕ : V^{p} \to W^{n}

$\phi:V^p\to W^n$

Q

$Q$

W^{n}

$W^n$

U \subset V^{p}

$U\subset V^p$

v

$v$

Q (ϕ (v))

$Q(\phi(v))$

Результат: , который определяется исключительно и , не зависит от выбора базиса используемого для представления векторов в . $U$ $Q$ $\phi$ $E_p$ $V^p$

Доказательство: QED.

Там нет ничего, чтобы доказать!

Применение результата: пусть - положительная полуопределенная квадратичная форма на , пусть , и пусть - линейное отображение, представленное когда основания и выбраны. Определите . Выберите базис и предположим, что является представлением некоторого в этом базисе. Это наименьших квадратов : минимизирует квадрат расстояния . Потому что $F$ $\mathbb{R}^n$ $y\in\mathbb{R}^n$ $\phi$ $X$ $V^p=\mathbb{R}^p$ $W^n=\mathbb{R}^n$ $Q(x)=F(y,x)$ $\mathbb{R}^p$ $\hat\beta$ $v\in U$ $x=X\hat\beta$ $F(y,x)$ $X$ линейное отображение, изменение основы соответствует правой умножения некоторой обратимой матрицы . Это будет умножение влево на , QED . $\mathbb{R}^p$ $X$ $A$ $\hat\beta$ $A^{-1}$

— Whuber
источник

6

Определите оценщик наименьших квадратов , где матрица проектирования - полный ранг. Предполагая, что масштабирующая матрица обратима. $\hat\beta = \arg\min_{\beta\in\mathbb{R}^p} \|y - X \beta\|_2^2$ $X \in \mathbb{R}^{n \times p}$ $S \in \mathbb{R}^{p \times p}$

Определите этот новый масштабированный оценщик . Это означает, что для всех . Определив , мы можем переписать это отображаемое неравенство выше как для всех . Следовательно, , и отсюда следует, что оценка наименьших квадратов Из-за обратимости матрицы масштабирования $\tilde\alpha = \arg\min_{\alpha\in\mathbb{R}^p} \|y - X S \alpha\|_2^2$

‖ y - X S \tilde{α} ‖_{2}^{2} < ‖ y - X S α ‖_{2}^{2}

$\|y - X S \tilde\alpha\|_2^2 < \|y - X S \alpha\|_2^2$

α \neq \tilde{α}

$\alpha\ne \tilde\alpha$

\tilde{β} = S \tilde{α}

$\tilde\beta = S \tilde\alpha$

‖ y - X \tilde{β} ‖_{2}^{2} < ‖ y - X β ‖_{2}^{2}

$\|y - X \tilde\beta \|_2^2 < \|y - X \beta \|_2^2$

β \neq \tilde{β}

$\beta \ne \tilde\beta$

\tilde{β} = \arg min_{β \in R^{p}} ‖ y - X β ‖_{2}^{2}

$\tilde\beta = \arg\min_{\beta \in \mathbb{R}^p} \|y - X \beta\|_2^2$

\begin{aligned} \hat{β} = \tilde{β} = S \tilde{α} . \end{aligned}

$\begin{align*} \hat\beta = \tilde\beta = S \tilde\alpha. \end{align*}$

S

$S$ , отсюда следует, что . В нашем случае это отличается от тем, что запись масштабируется с помощью .

\tilde{α} = S^{- 1} \hat{β}

$\tilde\alpha = S^{-1} \hat\beta$

\hat{β}

$\hat\beta$

k^{t h}

$k^\mathrm{th}$

\frac{1}{c}

$\frac{1}{c}$

— user795305
источник

1

Я не знаком с тем, как я должен работать с и подобными функциями. Можете ли вы объяснить переход от второй к третьей строке уравнений?

arg min

$\text{arg min}$

— Кларнетист

Я написал это немного по-другому, что должно сделать шаги более понятными.

— user795305

Это действительно умно. (+1)

— Кларнетист

4

Я понял это после публикации вопроса. Однако, если моя работа верна, я неверно истолковал претензию. масштабирование происходит только на одном компоненте соответствующего колонке умножаются на . $\dfrac{1}{c}$ $\boldsymbol\beta$ $\mathbf{X}$ $c$

Обратите внимание, что в приведенных выше обозначениях является диагональной, симметричной матрицей и имеет обратную (потому что она диагональную) Обратите внимание, что - матрица . Предположим, что $\mathbf{S}$ $(p+1) \times (p+1)$

S^{- 1} = [\begin{matrix} 1 \\ 1 \\ ⋱ \\ 1 \\ \frac{1}{c} \\ 1 \\ ⋱ \\ 1 \end{matrix}] .

$\mathbf{S}^{-1} = \begin{bmatrix} 1 & \\ & 1 \\ & & \ddots \\ & & & 1 \\ & & & & \frac{1}{c}\\ & & & & & 1 \\ & & & & & &\ddots \\ & & & & & & & 1 \end{bmatrix}\text{.}$

({\tilde{X}}^{T} \tilde{X})^{- 1}

$(\tilde{\mathbf{X}}^{T}\tilde{\mathbf{X}})^{-1}$

(p + 1) \times (p + 1)

$(p+1)\times(p+1)$

(X^{T} X)^{- 1} = [\begin{matrix} z_{1} & z_{2} & \dots & z_{k} & \dots & z_{p + 1} \end{matrix}] .

$(\mathbf{X}^{T}\mathbf{X})^{-1} = \begin{bmatrix} \mathbf{z}_1 & \mathbf{z}_2 & \cdots & \mathbf{z}_k & \cdots & \mathbf{z}_{p+1} \end{bmatrix}\text{.}$

({\tilde{X}}^{T} \tilde{X})^{- 1} = [(X S)^{T} X S]^{- 1} = (S^{T} X^{T} X S)^{- 1} = (S X^{T} X S)^{- 1} = S^{- 1} (X^{T} X)^{- 1} S^{- 1} .

$(\tilde{\mathbf{X}}^{T}\tilde{\mathbf{X}})^{-1} = [(\mathbf{X}\mathbf{S})^{T}\mathbf{X}\mathbf{S}]^{-1} = (\mathbf{S}^{T}\mathbf{X}^{T}\mathbf{X}\mathbf{S})^{-1} = (\mathbf{S}\mathbf{X}^{T}\mathbf{X}\mathbf{S})^{-1}=\mathbf{S}^{-1}(\mathbf{X}^{T}\mathbf{X})^{-1}\mathbf{S}^{-1}\text{.}$ Следовательно, и умножив это на имеет тот же эффект, что и умножение на - оно остается тем же, умножается на

S^{- 1} (X^{T} X)^{- 1} = [\begin{matrix} z_{1} \\ z_{2} \\ ⋱ \\ \frac{1}{c} z_{k} \\ ⋱ \\ z_{p + 1} \end{matrix}]

$\mathbf{S}^{-1}(\mathbf{X}^{T}\mathbf{X})^{-1} = \begin{bmatrix} \mathbf{z}_1 \\ & \mathbf{z}_2 \\ & & \ddots \\ & & & \frac{1}{c}\mathbf{z}_k \\ & & & & \ddots \\ & & & & & \mathbf{z}_{p+1} \end{bmatrix}$

S^{- 1}

$\mathbf{S}^{-1}$

X

$\mathbf{X}$

S

$\mathbf{S}$

\frac{1}{c} z_{k}

$\frac{1}{c}\mathbf{z}_k$

\frac{1}{c}

$\frac{1}{c}$ : Поэтому

S^{- 1} (X^{T} X)^{- 1} S^{- 1} = [\begin{matrix} z_{1} \\ z_{2} \\ ⋱ \\ \frac{1}{c^{2}} z_{k} \\ ⋱ \\ z_{p + 1} \end{matrix}] .

$\mathbf{S}^{-1}(\mathbf{X}^{T}\mathbf{X})^{-1}\mathbf{S}^{-1} = \begin{bmatrix} \mathbf{z}_1 \\ & \mathbf{z}_2 \\ & & \ddots \\ & & & \frac{1}{c^2}\mathbf{z}_k \\ & & & & \ddots \\ & & & & & \mathbf{z}_{p+1} \end{bmatrix}\text{.}$

\begin{aligned} {\hat{β}}_{\tilde{X}} & = S^{- 1} (X^{T} X)^{- 1} S^{- 1} (X S)^{T} y \\ = [\begin{matrix} z_{1} \\ z_{2} \\ ⋱ \\ \frac{1}{c^{2}} z_{k} \\ ⋱ \\ z_{p + 1} \end{matrix}] [\begin{matrix} x_{1}^{T} y \\ x_{2}^{T} y \\ ⋮ \\ c x_{k}^{T} y \\ ⋮ \\ x_{p + 1}^{T} y \end{matrix}] \\ = [\begin{matrix} z_{1} x_{1}^{T} y \\ z_{2} x_{2}^{T} y \\ ⋮ \\ \frac{1}{c} z_{k} x_{k}^{T} y \\ ⋮ \\ z_{p + 1} x_{p + 1}^{T} y \end{matrix}] \end{aligned}

$\begin{align} \hat{\boldsymbol\beta}_{\tilde{\mathbf{X}}}&=\mathbf{S}^{-1}(\mathbf{X}^{T}\mathbf{X})^{-1}\mathbf{S}^{-1}(\mathbf{X}\mathbf{S})^{T}\mathbf{y} \\ &= \begin{bmatrix} \mathbf{z}_1 \\ & \mathbf{z}_2 \\ & & \ddots \\ & & & \frac{1}{c^2}\mathbf{z}_k \\ & & & & \ddots \\ & & & & & \mathbf{z}_{p+1} \end{bmatrix}\begin{bmatrix} \mathbf{x}_1^{T}\mathbf{y} \\ \mathbf{x}_2^{T}\mathbf{y} \\ \vdots \\ c\mathbf{x}_k^{T}\mathbf{y} \\ \vdots \\ \mathbf{x}_{p+1}^{T}\mathbf{y} \end{bmatrix} \\ &= \begin{bmatrix} \mathbf{z}_1\mathbf{x}_1^{T}\mathbf{y} \\ \mathbf{z}_2\mathbf{x}_2^{T}\mathbf{y} \\ \vdots \\ \frac{1}{c}\mathbf{z}_k\mathbf{x}_k^{T}\mathbf{y} \\ \vdots \\ \mathbf{z}_{p+1}\mathbf{x}_{p+1}^{T}\mathbf{y} \end{bmatrix} \end{align}$ по желанию.

— Кларнетист
источник

В есть опечатка . Вам нужно транспонировать .

S^{- 1} (X^{T} X)^{- 1} S^{- 1} (X S) y

$\mathbf{S}^{-1}( \mathbf{X}^{T}\mathbf{X})^{-1} \mathbf{S}^{-1}(\mathbf{X} \mathbf{S}) \mathbf{y}$

(X S)

$(\mathbf{X}\mathbf{S})$

— JohnK

3

Самое тривиальное доказательство

Вы начинаете со своего линейного уравнения: Теперь вы хотите изменить шкалу ваших регрессоров, возможно, конвертировать из метрической системы в имперскую, вы знаете килограммы в фунты, метры в ярды и т. Д. Итак, вы подходите с матрицей преобразования , где каждый является коэффициентом преобразования для переменной (колонки) в конструкции матрице .

Y = X β + ε

$Y=X\beta+\varepsilon$

S = d i a g (s_{1}, s_{1}, \dots, s_{n})

$S=diag(s_1,s_1,\dots,s_n)$

s_{i}

$s_i$

i

$i$

X

$X$

Давайте перепишем уравнение:

Y = (X S) (S^{- 1} β) + ε

$Y=(XS)(S^{-1}\beta)+\varepsilon$

Теперь совершенно очевидно, что масштабирование - это свойство линейности вашего уравнения, а не метод оценки коэффициентов методом OLS. Независимо от метода оценки с линейным уравнением у вас есть такое, что, когда регрессоры масштабируются как ваши новые коэффициенты должны масштабироваться как $XS$ $S^{-1}\beta$

Доказательство по алгебре только для OLS

Масштабирование заключается в следующем: , где масштабный коэффициент каждой переменной (столбца), и уменьшенная версия . Назовем матрицу диагональной шкалы . Ваш оценщик OLS: Давайте подключим масштабированную матрицу вместо и используем некоторую матричную алгебру : Итак, вы видите, что новый коэффициент - это просто старый коэффициент, уменьшенный, как и ожидалось.

Z = X * d i a g (s_{1}, s_{2}, . . ., s_{n})

$Z=X*diag(s_1,s_2,...,s_n)$

s_{i}

$s_i$

Z

$Z$

X

$X$

S \equiv d i a g (s_{1}, s_{2}, . . ., s_{n})

$S\equiv diag(s_1,s_2,...,s_n)$

\hat{β} = (X^{T} X)^{- 1} X^{T} Y

$\hat\beta=(X^TX)^{-1}X^TY$

Z

$Z$

X

$X$

(Z^{T} Z)^{- 1} Z^{T} Y = (S^{T} X^{T} X S)^{- 1} S^{T} X^{T} Y = S^{- 1} (X^{T} X)^{- 1} S^{- 1} S X^{T} Y = S^{- 1} (X^{T} X)^{- 1} X^{T} Y = S^{- 1} \hat{β}

$(Z^TZ)^{-1}Z^TY=(S^TX^TXS)^{-1}S^TX^TY=S^{-1}(X^TX)^{-1}S^{-1}SX^TY\\ =S^{-1}(X^TX)^{-1}X^TY=S^{-1}\hat\beta$

— Аксакал
источник

2

Мне нравятся ваши подходы, но меня не убеждает «самое тривиальное доказательство». Вы неявно предполагали, и все еще должны показать, что переписанная модель должна иметь то же соответствие, что и оригинал. Если говорить более строго: если мы рассматриваем процедуру подбора как функцию , где - множество всех возможных данных (которые мы могли бы записать как упорядоченная пара ), а - множество всех возможных оценок коэффициентов, тогда вам нужно продемонстрировать, что , для всех обратимых , все , и все . (Это не всегда верно!)

δ : M \to R^{p}

$\delta:M\to\mathbb{R}^p$

M

$M$

(X, Y)

$(X,Y)$

R^{p}

$\mathbb{R}^p$

δ (X, Y) = S^{- 1} δ (X S, Y)

$\delta(X,Y)=S^{-1}\delta(XS,Y)$

S

$S$

X

$X$

Y

$Y$

— whuber

@ whuber, на самом деле это другой путь: разумная процедура подбора должна удовлетворять этому условию, иначе простое изменение единицы измерения приведет к другому прогнозу / оценке. Я

— Аксакал

Я согласен - но я могу представить исключения в тех случаях, когда не имеет полного ранга. Вот что подсказало мне, что ситуация не так тривиальна, как может показаться.

X

$X$

— whuber

3

имперский приятель, а не королевский ...: D (Хороший ответ, +1)

— usεr11852

@ usεr11852, я кое-что узнал сегодня :)

— Аксакал

2

Простой способ получить этот результат - помнить, что - это проекция на пространство столбцов в - это вектор коэффициентов, когда выражается в виде линейного комбинация столбцов . Если некоторый столбец масштабируется с коэффициентом , ясно, что соответствующий коэффициент в линейной комбинации должен быть масштабирован до . $\hat{y}$ $y$ $X.$ $\hat{\beta}$ $\hat{y}$ $X$ $c$ $1/c$

Пусть - это значения а - значения решения OLS, когда один столбец масштабируется с помощью $b_i$ $\hat{\beta}$ $a_i$ $c.$

b_{1} x_{1} + . . . + b_{i} x_{i} + . . . + b_{m} x_{m} = a_{1} x_{1} + . . . a_{i} (c x_{i}) + . . . + a_{n} x_{n}

$b_1x_1 + ... + b_ix_i + ...+ b_mx_m = a_1x_1 + ... a_i(cx_i) + ... +a_nx_n$

подразумевает, что где и , предполагая, что столбцы линейно независимы. $b_j = a_j$ $j \neq i$ $b_i = a_ic$ $X$

— Джонни Ломонд
источник

Показывает, что оценщик OLS является масштабно-эквивалентным?

Связь с наименьшими квадратами

Самое тривиальное доказательство

Доказательство по алгебре только для OLS