Линейная регрессия, когда вы знаете только

Пусть $X\beta =Y$ .

Мы не знаем , $Y$ точно, только его корреляции с каждым предиктором, $X^\mathrm{t}Y$ .

Обычное решение наименьших квадратов (OLS) - это и здесь нет проблем. $\beta=(X^\mathrm{t} X)^{-1} X^\mathrm{t}Y$

Но предположим, что близок к единственному (мультиколлинеарность), и вам нужно оценить оптимальный параметр гребня. Все методы , кажется, нужны точные значения . $X^\mathrm{t}X$ $Y$

Есть ли альтернативный метод, когда известен только ? $X^\mathrm{t}Y$

regression multicollinearity

— выщерблять
источник

интересный вопрос. Возможно, какой-то алгоритм EM сработал бы ...

— вероятностная

Я не понимаю, вы не можете использовать перекрестную проверку для оценки оптимального параметра гребня?

— Пардис

@Pardis: В вопросе не указана функция потерь, поэтому мы не знаем, что такое оптимальный . Вы видите проблему, с которой мы сталкиваемся, если функция потерь - MSE?

— кардинал

@JohnSmith: Вы намекаете на то, к чему я клонил. Нет указаний на то, как измерить «оптимальность». Что вы фактически делаете, так это вводите другую метрику (функцию расстояния) для измерения «качества» прогноза или соответствия. Я подозреваю, что нам нужно больше деталей от ОП, чтобы продвинуться очень далеко.

— кардинал

@Pardis: Как вы заметили, поиск оценок не проблема. :) Однако, если вы решите провести перекрестную проверку, как вы собираетесь оценивать MSE вне выборки, т. Е. По левому смещению для каждой итерации? :)

— кардинал

Ответы:

Это интересный вопрос. Удивительно, но при определенных допущениях можно что-то сделать, но существует потенциальная потеря информации об остаточной дисперсии. Зависит от $X$ сколько потеряно.

Рассмотрим следующее разложение по сингулярным значениям из с матрица с ортонормированных столбцов, диагональная матрица с положительными значениями сингулярных в диагонали и a ортогональной матрице. Тогда столбцы $\newcommand{\t}{^\mathrm{t}}X = UDV\t$ $X$ $U$ $n \times p$ $D$ $d_1 \geq d_2 \geq ... \geq d_p > 0$ $V$ $p \times p$ $U$ образуют ортонормированный базис для пространства столбцов $X$ и только. - вектор коэффициентов для проекции на это пространство столбца при расширении вбазисе столбца. Из формулы мы видим, что вычислимо из знания и

Z = U^{t} Y = D^{- 1} V^{t} V D U^{t} Y = D^{- 1} V^{t} X^{t} Y

$Z = U\t Y = D^{-1} V\t V D U\t Y = D^{-1} V\t X\t Y$

Y

$Y$

U

$U$

Z

$Z$

X

$X$

X^{t} Y

$X\t Y$

Так как хребет регрессионный прогностическим для данного может быть вычислена как $\lambda$ мы видим, что коэффициенты для предиктора регрессии гребня в

\hat{Y} = X (X^{t} X + λ I)^{- 1} X^{t} Y = U D (D^{2} + λ I)^{- 1} D U^{t} Y = U D (D^{2} + λ I)^{- 1} D Z

$\hat{Y} = X(X\t X + \lambda I)^{-1} X\t Y = U D(D^2 + \lambda I)^{-1} D U\t Y = U D(D^2 + \lambda I)^{-1} D Z$

основой -column являются

Теперь сделаем предположение о том, что

имеет

мерное среднее

и ковариационную матрицу

. Тогда

имеет

мерное среднее

и ковариационную матрицу

. Если мы представим независимый

U

$U$

\hat{Z} = D (D^{2} + λ I)^{- 1} D Z .

$\hat{Z} = D (D^2 + \lambda I)^{-1} D Z.$

Y

$Y$

n

$n$

ξ

$\xi$

σ^{2} I_{n}

$\sigma^2 I_n$

Z

$Z$

p

$p$

U^{t} ξ

$U\t \xi$

σ^{2} I_{p}

$\sigma^2 I_p$

Y^{New}

$Y^{\text{New}}$ с тем же распределением, что и

(все условно на

отсюда), то соответствующий

Y

$Y$

X

$X$

имеет такое же распределение, что и

и независимо и

Z^{New} = U^{t} Y^{New}

$Z^{\text{New}} = U\t Y^{\text{New}}$

Z

$Z$

При этом третье равенство следует ортогональность

и четвертое темчто

имеет ортонормированные столбцы. Величина

является ошибкой, о которой мы не можем получить никакой информации, но она не зависит от

\begin{array}{rcl} Е | | Y^{новый} - \hat{Y} | |^{2} & знак равно & Е | | Y^{новый} - U Z^{новый} + U Z^{новый} - U \hat{Z} | |^{2} \\ знак равно & Е | | Y^{новый} - U Z^{новый} | |^{2} + Е | | U Z^{новый} - U \hat{Z} | |^{2} \\ знак равно & {заблуждаться}_{0} + Е | | Z^{новый} - \hat{Z} | |^{2}, \end{array}

$\begin{eqnarray*} E ||Y^{\text{New}} - \hat{Y}||^2 &= & E || Y^{\text{New}} - U Z^{\text{New}} + U Z^{\text{New}} - U \hat{Z} ||^2 \\ & = & E || Y^{\text{New}} - U Z^{\text{New}}||^2 + E||U Z^{\text{New}} - U \hat{Z} ||^2 \\ & = & \text{Err}_0 + E||Z^{\text{New}} - \hat{Z} ||^2. \end{eqnarray*}$

Y^{New} - U Z^{New}

$Y^{\text{New}} - U Z^{\text{New}}$

U Z^{New} - U \hat{Z}

$U Z^{\text{New}} - U \hat{Z}$

U

$U$

{Err}_{0}

$\text{Err}_0$

λ

$\lambda$ или. Чтобы минимизировать ошибку предсказания с левой стороны, мы должны минимизировать второй член с правой стороны.

По стандартному вычислению Здесьназывается эффективными степенями свободы регрессии гребня с параметром. Беспристрастная оценкаявляется

\begin{array}{rcl} E | | Z^{New} - \hat{Z} | |^{2} & = & E | | Z - \hat{Z} | |^{2} + 2 \sum_{i = 1}^{p} cov (Z_{i}, {\hat{Z}}_{i}) \\ = & E | | Z - \hat{Z} | |^{2} + 2 σ^{2} \underset{df (λ)}{\underset{⏟}{\sum_{i = 1}^{p} \frac{d_{i}^{2}}{d_{i}^{2} + λ}}} . \end{array}

$\begin{eqnarray*} E||Z^{\text{New}} - \hat{Z} ||^2 &= & E||Z - \hat{Z}||^2 + 2 \sum_{i=1}^p \text{cov}(Z_i, \hat{Z}_i) \\ & = & E||Z - \hat{Z}||^2 + 2 \sigma^2 \underbrace{\sum_{i=1}^p \frac{d_i^2}{d_i^2 + \lambda}}_{\text{df}(\lambda)}. \end{eqnarray*}$

df (λ)

$\text{df}(\lambda)$

λ

$\lambda$

E | | Z - \hat{Z} | |^{2}

$E||Z - \hat{Z}||^2$

err (λ) = | | Z - \hat{Z} | |^{2} = \sum_{i = 1}^{p} {(1 - \frac{d_{i}^{2}}{d_{i}^{2} + λ})}^{2} Z_{i}^{2} .

$\text{err}(\lambda) = ||Z - \hat{Z}||^2 = \sum_{i=1}^p \left(1 - \frac{d_i^2}{d_i^2 + \lambda}\right)^2 Z_i^2.$

Мы объединяем это с (несмещенной) оценкой в учитывая, что мы знаем , который нам необходимо минимизировать. Очевидно, это может быть сделано только в том случае, если мы знаем или имеем разумное предположение или оценку .

err (λ) + 2 σ^{2} df (λ)

$\text{err}(\lambda) + 2 \sigma^2 \text{df}(\lambda)$

E | | Z^{New} - \hat{Z} | |^{2}

$E||Z^{\text{New}} - \hat{Z} ||^2$

σ^{2}

$\sigma^2$

σ^{2}

$\sigma^2$

σ^{2}

$\sigma^2$

Оценка может быть более проблематичной. Можно показать, что $\sigma^2$

E | | Z - \hat{Z} | |^{2} = σ^{2} (p - \underset{d (λ)}{\underset{⏟}{\sum_{i = 1}^{p} \frac{d_{i}^{2}}{d_{i}^{2} + λ} (2 - \frac{d_{i}^{2}}{d_{i}^{2} + λ})}}) + bias (λ)^{2} .

$E||Z - \hat{Z}||^2 = \sigma^2\left(p - \underbrace{\sum_{i=1}^p \frac{d_i^2}{d_i^2 + \lambda}\left(2 - \frac{d_i^2}{d_i^2 + \lambda}\right)}_{\text{d}(\lambda)}\right) + \text{bias}(\lambda)^2.$

λ

$\lambda$

σ^{2}

$\sigma^2$

{\hat{σ}}^{2} = \frac{1}{p - d (λ)} | | Z - \hat{Z} | |^{2} .

$\hat{\sigma}^2 = \frac{1}{p-\text{d}(\lambda)} ||Z - \hat{Z}||^2.$ If this will work depends a lot on

X

$X$ .

For some details see Section 3.4.1 and Chapter 7 in ESL or perhaps even better Chapter 2 in GAM.

— NRH
источник

Define $β$ as in the question and $β(λ,K)=[(X^TX)_{KK}+λI]^{−1}(X^TY)_K$ for various parameters $\lambda$ and sets $K$ of sample labels. Then $e(λ,K):=\|Xβ(λ,K)-Y\|^2-\|Xβ-Y\|^2$ is computable since the unknown $\|Y\|^2$ drops out when expanding both norms.

This leads to the following algorithm:

Compute the $e(λ,K)$ for some choices of the training set $K$ .
Plot the results as a function of $\lambda$ .
Accept a value of $\lambda$ where the plot is flattest.
Use $β^*=[X^TX+λI]^{−1}X^TY$ as the final estimate.

— Arnold Neumaier
источник

Я предполагаю, "где сюжет самый плоский" будет в

λ

$\lambda$ очень маленький, примерно как 0 :)

— jbowman

@jbowman: This will happen only if the problem is well-conditioned and needs no regularization, then

λ = 0

$\lambda=0$ is indeed adequate. In the ill-conditioned case, the prediction of the items outside

K

$K$ will be poor because of overfitting, and

e (λ, K)

$e(\lambda,K)$ will therefore be large.

— Арнольд Ноймайер

@ArnoldNeumaier:

(X^{T} Y)_{K}

$(X^TY)_K$ не вычислимо Мы знаем только корреляцию с каждым предиктором.

(X^{T} Y)

$(X^TY)$ находится в «домене предиктора», а не в «домене Y» (если N - размер выборки и p - число предикторов, у нас есть только p значений, по одному для каждого предиктора).

— Jag

@Jag: Then there is not enough information for selecting

λ

$\lambda$ . But

X^{T} Y

$X^TY$ must have been collected somehow. If during its collection you partition the sample into

k

$k$ batches and assemble the

X^{T} Y

$X^TY$ separately for each batch then one can reserve one batch each for cross validation.

— Арнольд Ноймайер

@ArnoldNeumaier:

X^{T} Y

$X^TY$ are externally given, don't collected.

— Jag