Какова интерпретация ковариации коэффициентов регрессии?

Функция lm в R может выводить оценочную ковариацию коэффициентов регрессии. Что эта информация дает нам? Можем ли мы теперь лучше интерпретировать модель или диагностировать проблемы, которые могут присутствовать в модели?

r multiple-regression least-squares

— гпп
источник

Та же интерпретация, что и у всех других ковариаций --- линейная ковариация? Основное использование - это расчет дисперсии выбранных контрастов, например, для проверки контрастов.

— kjetil b halvorsen

Ответы:

Основным применением ковариационной матрицы является получение стандартных ошибок оценок регрессии. Если исследователь заинтересован только в стандартных ошибках отдельных параметров регрессии, он может просто взять квадратный корень из диагонали, чтобы получить отдельные стандартные ошибки.

Однако часто вас может заинтересовать линейная комбинация параметров регрессии. Например, если у вас есть индикаторная переменная для данной группы, вас может заинтересовать среднее значение группы, которое будет

$\beta_0 + \beta_{\rm grp}$ .

Затем, чтобы найти стандартную ошибку для среднего значения этой группы, вы должны

$\sqrt{X^\top S X}$ ,

где - вектор ваших контрастов, а - ковариационная матрица. В нашем случае, если у нас есть только ковариат сложения "grp", то ( для перехвата, для принадлежности к группе). $X$ $S$ $X = (1,1)$ $1$ $1$

Кроме того, ковариационная матрица (или, более того, корреляционная матрица, которая однозначно идентифицируется из ковариационной матрицы, но не наоборот), может быть очень полезна для диагностики некоторых моделей. Если две переменные сильно коррелированы, один из способов думать об этом состоит в том, что у модели возникают проблемы с выяснением, какая переменная отвечает за эффект (потому что они так тесно связаны). Это может быть полезно для целого ряда случаев, таких как выбор подмножеств ковариат для использования в прогностической модели; если две переменные сильно коррелированы, вы можете использовать только одну из двух в своей прогнозной модели.

— Клифф AB
источник

Спасибо за объяснение. В вашем последнем абзаце вы описываете проблемы, которые могут возникнуть, когда независимые переменные имеют высокую коллинеарность. Кажется, что было бы легче взглянуть на ковариацию / корреляцию фактических s, чем s. в формуле есть обратное.

X

$X$

β

$\beta$

V a r (\hat{β}) = E ({\hat{ε}}^{2}) {(X^{'} X)}^{- 1}

$Var(\hat\beta)=E(\hat\varepsilon^2)\left(X^\prime X\right)^{-1}$

— Мсс

Существует два «вида» коэффициентов регрессии:

«Истинные» коэффициенты регрессии (обычно обозначаемые как ), которые описывают базовый процесс генерации данных. Это фиксированные числа или «параметры». Примером может служить скорость света , которая (мы предполагаем) всегда одинакова везде в доступной вселенной. $\beta$ $c$
Расчетные коэффициенты регрессии (обычно обозначаемые как или ), которые рассчитываются на основе выборок данных. Образцы представляют собой наборы случайных величин, поэтому предполагаемые коэффициенты регрессии также являются случайными величинами. Примером может служить оценка полученная в эксперименте. $b$ $\hat \beta$ $c$

Теперь подумайте, что означает ковариация. Возьмем любые две случайные величины и . Есливысокий, то всякий раз, когда вы рисуете большое абсолютное значение вы также можете ожидать, что вы будете рисовать большое абсолютное значение в том же направлении. Обратите внимание, что «высокий» здесь относится к количеству вариаций в и , как указано в комментариях. $X$ $Y$ $\left| \mathrm{Cov}\left(X,Y\right) \right|$ $X$ $Y$ $X$ $Y$

(Расчетная) ковариация двух коэффициентов регрессии является ковариацией оценок , . Если ковариация между оцененными коэффициентами и высока, то в любой выборке, где высока, вы также можете ожидать, что будет высоким. В более байесовском смысле содержит информацию о . $b$ $b_1$ $b_2$ $b_1$ $b_2$ $b_1$ $b_2$

Обратите внимание, что «высокий» является относительным. Здесь « является высоким» означает, что « является высоким относительно его стандартной ошибки», а их ковариация является «высокой», что означает «высокий по отношению к произведению их стандартных ошибок». Один из способов сгладить эти интерпретирующие икоты - стандартизировать каждый вход регрессии путем деления на его стандартное отклонение (или два стандартных отклонения в некоторых случаях). $b_1$ $b_1$

Один пользователь на этом сайте описал как "немного выдумки", но я не совсем согласен. Во-первых, вы можете использовать эту интерпретацию, чтобы придумать информативные приоры в байесовской регрессии. $\mathrm{Cov}\left(b_1,b_2\right)$

Что касается того, для чего это фактически используется, ответ Клиффа АБ - хорошее резюме.

— shadowtalker
источник

Это хорошо, но меня немного беспокоит интерпретация ковариации, как будто это корреляция. Я знаю, что вы знаете разницу, но она явно не видна. Я также рад, что вы оспорили комментарий «немного выдумки», потому что это была вводящая в заблуждение оценка (в остальном хороший ответ). Действительно, ковариация и для дает фундаментальную и полезную информацию о том, как эти оценки взаимосвязаны, как указывает @Cliff AB.

b_{i}

$b_i$

b_{j}

$b_j$

i \neq j

$i\ne j$

— whuber

@ whuber спасибо, и я действительно написал «корреляцию» в один момент. Я

— уберу

Поскольку я не могу вернуться к этой теме какое-то время, +1 заранее за правки!

— whuber

сделал ту же ошибку в моем описании!

— Клифф AB

@whuber теперь я на самом деле второй догадываюсь о своем понимании ковариации. Моя проблема только в том, что я не подчеркивал тот факт, что весы могут быть разными, или я что-то упускаю? Я натолкнулся на ваши объяснения «ящиков» и не понимаю, что это может быть

— shadowtalker