Можно ли использовать стандартизированные

Я пытаюсь интерпретировать результаты статьи, где они применили множественную регрессию, чтобы предсказать различные результаты. Однако 's (стандартизированные коэффициенты B определены как $\beta$ где- зависимая переменная, а- предиктор), по-видимому, не соответствует сообщенному: $\beta_{x_1} = B_{x_1} \cdot \frac{\mathrm{SD}_{x_1}}{\mathrm{SD}_y}$ $y$ $x_1$ $R^2$

Несмотря на то, что -0,83, -0,29, -0,16, -0,43, 0,25 и -0,29, составляет всего 0,20. $\beta$ $R^2$

Кроме того, три предиктора: вес, ИМТ и% жира являются мультиколлинеарными, коррелируют в пределах r = 0,8-0,9 друг с другом в полах.

Является ли значение вероятным с этими или нет прямой связи между и ? $R^2$ $\beta$ $\beta$ $R^2$

Кроме того, могут ли проблемы с мультиколлинеарными предикторами повлиять на четвертого предиктора (VO2max), который коррелирует около r = 0,4 с вышеупомянутыми тремя переменными? $\beta$

— Сакари Юкарайнен
источник

Что такое

в этом контексте? Коэффициент бета (стандартизированная регрессия)? Или что-то другое? Если это так, то, что вы не можете сказать ничего, все, что вы получите, это интерпретация в терминах стандартных отклонений. Тот факт, что коэффициент подразумевает большие эффекты, не подразумевает высокое значение

β

$\beta$

R^{2}

$R^2$

— Repmat

ß обозначает стандартизированные коэффициенты b. Для случая с одним предиктором ß равен r Пирсона, что напрямую связано с R-квадратом, однако, в этом многомерном случае, почему высокий ß не означает высокий R-квадрат?

— Сакари Юкарайнен

Нет, в одном случае регрессора

не равно корреляции Пирсона:

β

$\beta$

. Соотношение между

s и

не так просто.

β = \frac{Cov (y, x)}{Var (x)} \neq \frac{Cov (y, x)}{\sqrt{Var (y) \times Var (x)}} = ρ (y, x)

$\beta=\frac{\text{Cov}(y,x)}{\text{Var}(x)}\neq\frac{\text{Cov}(y,x)}{ \sqrt{ \text{Var}(y)\times\text{Var}(x) } }=\rho(y,x)$

β

$\beta$

R^{2}

$R^2$

— Ричард Харди

@RichardHardy Я подозреваю, что путаница заключается в том, что Сакари определил

как стандартизированный коэффициент регрессии. В двумерной линейной регрессии коэффициент регрессии (

в обозначениях Сакари) равен

β

$\beta$

b

$b$

, где

- корреляция, а

- стандартное отклонение. Чтобы стандартизировать коэффициент регрессии, мы делим коэффициент на стандартное отклонение

и умножаем на это стандартное отклонение

, поэтому остается только корреляция. Так что Сакари прав.

r_{x y} \frac{s_{y}}{s_{x}}

$r_{xy}\frac{s_y}{s_x}$

r

$r$

s

$s$

y

$y$

x

$x$

— Мартен Буис

Я до сих пор не понимаю, почему вы считаете это ошибочным? Если в документе есть некоторая сводная статистика, вы можете просто проверить, складываются ли цифры. Вы даже предоставили формулу для этого. Вы не можете сделать вывод, просто потому, что эффекты в терминах значительны, что модели хорошо объясняют разницу в y.

— Repmat

Геометрическая интерпретация обычной регрессии наименьших квадратов дает необходимое представление.

Большую часть того, что нам нужно знать, можно увидеть в случае двух регрессоров и с ответом . В стандартизованных коэффициентах, или «бета,» возникают тогда , когда все три вектора стандартизированы к общей длине (который можно взять равную единицу). Таким образом, и являются единичными векторами в плоскости - они расположены на единичной окружности - и является единичным вектором в трехмерном евклидовом пространстве содержащем эту плоскость. Встроено значение является ортогональной (перпендикулярным) проекцией $x_1$ $x_2$ $y$ $x_1$ $x_2$ $E^2$ $y$ $E^3$ $\hat y$ на . Поскольку просто квадрат длины , мы даже не нужно визуализировать все три измерения: вся необходимая нам информация может быть нарисованы в этой плоскости. $y$ $E^2$ $R^2$ $\hat y$

Ортогональные регрессоры

Самая хорошая ситуация, когда регрессоры ортогональны, как на первом рисунке.

$На рисунке 1 показаны регрессоры и $ \ hat y $ как векторы на плоскости.$

На этой и остальных фигурах я последовательно нарисую диск блока белым цветом, а регрессоры - черными стрелками. всегда будет указывать прямо вправо. Толстые красные стрелки изображают компоненты в и направлениях: то есть, и . Длина радиус серой окружности , на которой он лежит , - но помните , что представляет собой $x_1$ $\hat y$ $x_1$ $x_2$ $\beta_1 x_1$ $\beta_2 x_2$ $\hat y$ $R^2$ квадрат этой длины.

Теорема Пифагора утверждает

R^{2} = | \hat{y} |^{2} = | β_{1} x_{1} |^{2} + | β_{2} x_{2} |^{2} = β_{1}^{2} (1) + β_{2}^{2} (1) = β_{1}^{2} + β_{2}^{2} .

$R^2 = |\hat y|^2 = |\beta_1 x_1|^2 + |\beta_2 x_2|^2 = \beta_1^2(1)+\beta_2^2(1) = \beta_1^2 + \beta_2^2.$

Поскольку теорема Пифагора справедлива в любом количестве измерений, это рассуждение обобщается на любое число регрессоров, что дает наш первый результат:

$R^2$

$R^2$

Сопоставленная

Отрицательно коррелированные регрессоры встречаются под углами, превышающими прямой угол.

$R^2$

$\hat y$ $R^2$ $0$ $x_1$ $x_2$ $R^2$

Давайте запомним этот очевидный результат, нашу вторую общность:

$R^2$

Однако это не универсальное отношение, как показано на следующем рисунке.

$R^2$ $\hat y$ $1/2$ $R^2$ $1$

Я оставляю на ваше воображение создание подобных примеров с положительно коррелированными регрессорами, которые, таким образом, встречаются под острыми углами.

$R^2$

$R^2$

Алгебраические результаты

$x_1, x_2, \ldots, x_p$ $y$ $(1,1,\ldots,1)^\prime$

| x_{i} |^{2} = | y |^{2} = 1.

$|x_i|^2 = |y|^2 = 1.$

$x_i$ $n\times p$ $X$

Σ = X^{'} X

$\Sigma = X^\prime X$

$x_i$

β = (X^{'} X)^{- 1} X^{'} y = Σ^{- 1} (X^{'} y) .

$\beta = (X^\prime X)^{-1} X^\prime y = \Sigma^{-1} (X^\prime y).$

Кроме того, по определению, подходит

\hat{y} = X β = X (Σ^{- 1} X^{'} y) .

$\hat y = X \beta = X (\Sigma ^{-1} X^\prime y).$

$R^2$

R^{2} = | \hat{y} |^{2} = {\hat{y}}^{'} \hat{y} = (X β)^{'} (X β) = β^{'} (X^{'} X) β = β^{'} Σ β .

$R^2 = |\hat y|^2 = \hat y^\prime \hat y = (X\beta)^\prime (X\beta) = \beta^\prime (X^\prime X)\beta = \beta^\prime \Sigma\beta.$

$R^2$

\sum_{i = 1}^{p} β_{i}^{2} = β^{'} β .

$\sum_{i=1}^p \beta_i^2 = \beta^\prime \beta.$

$L_2$ $A$ $p^2$

| A |_{2}^{2} = \sum_{i, j} a_{i j}^{2} = tr (A^{'} A) = tr (A A^{'}) .

$|A|_2^2 = \sum_{i,j} a_{ij}^2 = \operatorname{tr}(A^\prime A) = \operatorname{tr}(AA^\prime).$

Неравенство Коши-Шварца подразумевает

R^{2} = tr (R^{2}) = tr (β^{'} Σ β) = tr (Σ β β^{'}) \leq | Σ |_{2} | β β^{'} |_{2} = | Σ |_{2} β^{'} β .

$R^2 = \operatorname{tr}(R^2) = \operatorname{tr}(\beta^\prime \Sigma \beta) = \operatorname{tr}(\Sigma \beta \beta^\prime) \le |\Sigma|_2 | \beta\beta^\prime|_2 = |\Sigma|_2 \beta^\prime \beta.$

$1$ $p^2$ $p\times p$ $\Sigma$ $|\Sigma|_2$ $\sqrt{1\times p^2} = p$

R^{2} \leq p β^{'} β .

$R^2 \le p\, \beta^\prime \beta.$

$x_i$

$R^2$ $R^2/p$

Выводы

$R^2$ $\hat y$ $R^2$

$1.1301$ $R^2$ $1$

$-0.83$ $0.69$ $R^2$ $0.20$ $\text{VO}_{2\,\text{max}}$

$R^2$ $x_1$ $x_2$ $\hat y$ $x_1$ $x_2$ $y$ на неизвестные величины (в зависимости от того, как все три из них связаны с ковариатами), в результате чего мы почти ничего не знаем о фактических размерах векторов, с которыми мы работаем.

— Whuber
источник

\hat{y}

$\hat y$

\hat{y}

$\hat y$

@amoeba Вы совершенно правы. Я был слишком поспешным в создании этих изображений! Я (надеюсь, временно) удаляю этот пост, пока не получу возможность исправить проблему. Спасибо за указание на это.

— whuber

@Amoeba Я исправил фотографии и изменил анализ, чтобы соответствовать им. Хотя детали существенно изменились, выводы остаются прежними.

— whuber

@amoeba Опять вы правы. Имея некоторый риск потерять заинтересованных читателей, но теперь чувствуя себя обязанным дать количественную оценку геометрической интуиции, я ужесточил этот вывод и обосновал его немного алгеброй. (Я верю, что алгебра верна!)

— whuber

Большое спасибо! Как признак, VO2max отрицательно коррелирует с весом и ИМТ, поскольку они связаны с более высокой мышечной массой тела. В упомянутой таблице VO2max фактически соответствует VO2max, деленному на вес (что является плохим способом масштабирования VO2max к размеру тела). VO2max / вес в таблице отрицательно коррелирует со всеми другими предикторами, кроме пола, что может объяснить высокий R, но низкий R-квадрат, как вы упомянули.

— Сакари Юкарайнен