Как регрессия, t-критерий и ANOVA являются всеми версиями общей линейной модели?

49

Как они все версии одного и того же базового статистического метода?

связанный: почему ANOVA преподается / используется так, как если бы это была другая методология исследования по сравнению с линейной регрессией?

— Haitao Du

по теме: R: Anova и линейная регрессия

— Haitao Du

связанный: почему ANOVA эквивалентен линейной регрессии?

— Haitao Du

47

Учтите, что все они могут быть записаны как уравнение регрессии (возможно, с немного отличающимися интерпретациями, чем их традиционные формы).

Регрессия:

Y знак равно β_{0} + β_{1} {Икс}_{(Непрерывный)} + ε где ε ~ N (0, σ^{2})

$Y=\beta_0 + \beta_1X_{\text{(continuous)}} + \varepsilon \\ \text{where }\varepsilon\sim\mathcal N(0, \sigma^2)$

t-тест:

Y знак равно β_{0} + β_{1} {Икс}_{(фиктивный код)} + ε где ε ~ N (0, σ^{2})

$Y=\beta_0 + \beta_1X_{\text{(dummy code)}} + \varepsilon \\ \text{where }\varepsilon\sim\mathcal N(0, \sigma^2)$

ANOVA:

Y знак равно β_{0} + β_{1} {Икс}_{(фиктивный код)} + ε где ε ~ N (0, σ^{2})

$Y=\beta_0 + \beta_1X_{\text{(dummy code)}} + \varepsilon \\ \text{where }\varepsilon\sim\mathcal N(0, \sigma^2)$

Прототип регрессии концептуализируется с помощью как непрерывной переменной. Тем не менее, единственное предположение, которое фактически делается в отношении состоит в том, что это вектор известных констант. Это может быть непрерывная переменная, но это также может быть фиктивный код (т. Е. Вектор с и , который указывает, является ли наблюдение членом указанной группы - например, группой лечения). Таким образом, во втором уравнении может быть таким фиктивным кодом, а значение p будет таким же, как в t-тесте в его более традиционной форме. $X$ $X$ $0$ $1$ $X$

Однако смысл бета-версий здесь будет другим. В этом случае будет средним значением контрольной группы (для которой значения в фиктивной переменной будут равны ), а будет разницей между средним значением для группы лечения и средним значением для контроля. группа. $\beta_0$ $0$ $\beta_1$

Теперь помните, что совершенно разумно иметь / запускать ANOVA только с двумя группами (хотя t-тест будет более распространенным), и у вас есть все три подключенных. Если вы предпочитаете посмотреть, как это будет работать, если у вас есть ANOVA с 3 группами; это будет: Обратите внимание, что когда у вас есть групп, у вас есть фиктивных кодов для их представления. Эталонная группа (обычно контрольная группа) указывается наличием длявсехфиктивных кодов (в этом случае и фиктивный код 1 и фиктивный код 2). В этом случае вы не хотели бы интерпретировать p-значения t-тестов для этих бета-версий, которые поставляются со стандартным статистическим выводом - они только показывают, отличается ли указанная группа от контрольной группыпри оценке в изоляции

Y знак равно β_{0} + β_{1} {Икс}_{(фиктивный код 1)} + β_{2} {Икс}_{(фиктивный код 2)} + ε где ε ~ N (0, σ^{2})

$Y=\beta_0 + \beta_1X_{\text{(dummy code 1)}} + \beta_2X_{\text{(dummy code 2)}} + \varepsilon \\ \text{where }\varepsilon\sim\mathcal N(0, \sigma^2)$

g

$g$

g - 1

$g-1$

0

$0$ , То есть эти тесты не являются независимыми. Вместо этого вы хотели бы оценить, отличаются ли средние значения группы, составив таблицу ANOVA и выполнив F-тест. Для чего бы это ни стоило, беты интерпретируются так же, как и в версии t-теста, описанной выше:

- среднее значение контрольной / контрольной группы,

указывает на разницу между средними для группы 1 и контрольной группы, а

указывает на разницу между группой 2 и контрольной группой.

β_{0}

$\beta_0$

β_{1}

$\beta_1$

β_{2}

$\beta_2$

В свете комментариев @ whuber ниже, они также могут быть представлены с помощью матричных уравнений:
Представленные таким образом, & - векторы длины , а - вектор длины . Теперь - это матрица с строками и столбцами. В прототипной регрессии у вас есть непрерывных переменных и перехват. Таким образом, ваш

Y знак равно Икс β + ε

$\bf Y=\bf X\boldsymbol\beta + \boldsymbol\varepsilon$

Y

$\bf Y$

ε

$\boldsymbol\varepsilon$

N

$N$

β

$\boldsymbol\beta$

p + 1

$p+1$

X

$\bf X$

N

$N$

(p + 1)

$(p+1)$

p

$p$

X

$X$

X

$\bf X$ Матрица состоит из серии векторов столбцов рядом, по одному для каждой переменной

, со столбцом из

слева для перехвата.

X

$X$

1

$1$

Если вы представляющий ANOVA с группами таким образом, помните , что вы бы фиктивные переменные , указывающие на группы, с контрольной группой показано с помощью наблюдения , имеющего «S в каждой переменной фиктивным. Как и выше, у вас все равно будет перехват. Таким образом, . $g$ $g-1$ $0$ $p=g-1$

— Gung - Восстановить Монику
источник

1

Уравнение ANOVA будет иметь смысл как ANOVA (а не t-критерий), только если

интерпретируется как вектор и умножается справа.

β_{1}

$\beta_1$

— whuber

Это не матричные уравнения; Я редко использую их здесь, так как многие не читают их. 1-й ANOVA представляет собой ту же ситуацию, что и предыдущий t-критерий. Я просто указываю на то, что если вы можете запустить независимый t-тест из 2 выборок, вы можете запустить те же данные, что и ANOVA (которые многие люди должны узнавать / запоминать из своего класса stats 101). Я добавляю еще одну версию ANOVA с 3 группами ниже, чтобы прояснить, что ситуация с 2 группами - не единственный случай ANOVA, который можно понимать как регрессию; но уравнение рег теперь выглядит иначе - я пытался поддерживать более четкую параллель выше.

— gung - Восстановить Монику

Я хочу сказать, что если вы не сделаете это матричным уравнением, ваша характеристика ANOVA слишком ограничена, чтобы быть полезной: она идентична вашей характеристике t-критерия и поэтому более запутанная, чем полезная. Когда вы начинаете вводить больше групп, вы внезапно меняете уравнение, которое также может быть не совсем понятным. Хотите ли вы использовать матричную нотацию, конечно, решать вам, но в интересах хорошей коммуникации вы должны стремиться к последовательности.

— whuber

Не могли бы вы объяснить немного больше о том, как вы переходите от популярного определения t-критерия к уравнению, которое вы показали. По сути, я не могу понять, что такое Y здесь (это может быть наивность или меньший IQ для статистики). Однако, как прийти из t = (yx-u0) / s к этому уравнению.

— Гаурав Сингхал

Это не так, хотя это может быть незнакомым для вас.

непрерывен (и считается условно нормальным) во всех перечисленных случаях. Нет никаких распределительных предположений о

, это может быть непрерывная, дихотомическая или многоуровневая категориальная переменная.

Y

$Y$

X

$X$

— gung - Восстановить Монику

16

Все они могут быть записаны как частные случаи общей линейной модели.

$F$

Модель ANOVA - это просто модель регрессии, в которой уровни факторов представлены фиктивными (или индикаторными ) переменными .

$Y$

$t$

> t.test(extra ~ group, var.equal=TRUE, data = sleep) 

    Two Sample t-test

data:  extra by group
t = -1.8608, df = 18, p-value = 0.07919   
alternative hypothesis: true difference in means is not equal to 0
95 percent confidence interval:
 -3.363874  0.203874
sample estimates:
mean in group 1 mean in group 2 
           0.75            2.33

Обратите внимание на значение р 0,079 выше. Вот один из способов анова:

> summary(aov(extra~group,sleep))
            Df Sum Sq Mean Sq F value Pr(>F)  
group        1  12.48  12.482   3.463 0.0792 
Residuals   18  64.89   3.605

Теперь для регрессии:

> summary(lm(extra ~ group, data = sleep))

(некоторые данные удалены)

Coefficients:
            Estimate Std. Error t value Pr(>|t|)  
(Intercept)   0.7500     0.6004   1.249   0.2276  
group2        1.5800     0.8491   1.861   0.0792 .
---
Signif. codes:  0 ‘***’ 0.001 ‘**’ 0.01 ‘*’ 0.05 ‘.’ 0.1 ‘ ’ 1

Residual standard error: 1.899 on 18 degrees of freedom
Multiple R-squared:  0.1613,    Adjusted R-squared:  0.1147 
F-statistic: 3.463 on 1 and 18 DF,  p-value: 0.07919

Сравните значение p в строке 'group2', а также значение p для F-теста в последней строке. Для двустороннего теста они одинаковы и оба соответствуют результатам t-теста.

Кроме того, коэффициент для «group2» представляет разницу в средних для двух групп.

— Glen_b
источник

Наличие одинаковых значений p во всех трех сценариях является волшебным и впечатляющим, однако, если бы вы могли объяснить немного больше о том, как рассчитываются эти значения p, это определенно сделало бы этот ответ более интересным . Я не знаю, если показ вычислений p-значения сделает это более полезным , так что это то, что вы могли бы решить.

— Гаурав Сингхал

@Gaurav p-значения одинаковы, потому что вы тестируете одну и ту же гипотезу на одной и той же модели, просто представленной немного по-разному. Если вам интересно, как рассчитывается какое-то конкретное значение p, это будет новый вопрос (он не будет ответом на этот вопрос здесь). Вы можете задать такой вопрос, хотя сначала попробуйте выполнить поиск, поскольку, возможно, на него уже был дан ответ.

— Glen_b

Спасибо @Glen_b, извините за то, что задали очевидный вопрос, и это тоже не лучшим образом. И вы все равно ответили на мой вопрос - «та же гипотеза о той же модели (и / или данных)». Я не дал достаточно мыслей о том, как они проверяют одну и ту же гипотезу. Спасибо

— Гаурав Сингхал

2

Этот ответ, который я опубликовал ранее, несколько уместен, но этот вопрос несколько другой.

Возможно, вы захотите подумать о различиях и сходствах между следующими линейными моделями:

[\begin{matrix} Y_{1} \\ ⋮ \\ Y_{N} \end{matrix}] знак равно [\begin{matrix} 1 & {Икс}_{1} \\ 1 & {Икс}_{2} \\ 1 & {Икс}_{3} \\ ⋮ & ⋮ \\ 1 & {Икс}_{N} \end{matrix}] [\begin{matrix} α_{0} \\ α_{1} \end{matrix}] + [\begin{matrix} ε_{1} \\ ⋮ \\ ⋮ \\ ε_{N} \end{matrix}]

$\begin{bmatrix} Y_1 \\ \vdots \\ Y_n \end{bmatrix} = \begin{bmatrix} 1 & x_1 \\ 1 & x_2 \\ 1 & x_3 \\ \vdots & \vdots \\ 1 & x_n \end{bmatrix} \begin{bmatrix} \alpha_0 \\ \alpha_1 \end{bmatrix} + \begin{bmatrix} \varepsilon_1 \\ \vdots \\ \vdots \\ \varepsilon_n \end{bmatrix}$

[\begin{matrix} Y_{1} \\ ⋮ \\ Y_{N} \end{matrix}] знак равно [\begin{matrix} 1 & 0 & 0 & \dots & 0 \\ ⋮ & ⋮ & ⋮ & ⋮ \\ 1 & 0 & 0 & \dots & 0 \\ 0 & 1 & 0 & \dots & 0 \\ ⋮ & ⋮ & ⋮ & ⋮ \\ 0 & 1 & 0 & \dots & 0 \\ 0 & 0 & 1 & \dots & 0 \\ ⋮ & ⋮ \\ ⋮ & ⋮ \end{matrix}] [\begin{matrix} α_{0} \\ ⋮ \\ α_{К} \end{matrix}] + [\begin{matrix} ε_{1} \\ ⋮ \\ ⋮ \\ ε_{N} \end{matrix}]

$\begin{bmatrix} Y_1 \\ \vdots \\ Y_n \end{bmatrix} = \begin{bmatrix} 1 & 0 & 0 & \cdots & 0 \\ \vdots & \vdots & \vdots & & \vdots \\ 1 & 0 & 0 & \cdots & 0 \\ \hline 0 & 1 & 0 & \cdots & 0 \\ \vdots & \vdots & \vdots & & \vdots \\ 0 & 1 & 0 & \cdots & 0 \\ \hline 0 & 0 & 1 & \cdots & 0 \\ \vdots & & & & \vdots \\ \vdots & & & & \vdots \end{bmatrix} \begin{bmatrix} \alpha_0 \\ \vdots \\ \alpha_k \end{bmatrix} + \begin{bmatrix} \varepsilon_1 \\ \vdots \\ \vdots \\ \varepsilon_n \end{bmatrix}$

— Майкл Харди
источник

2

Некоторое описание и комментарии к вопросам были бы полезны для читателей, поскольку теперь им нужно угадать, откуда они пришли и как они относятся к вопросу ...

— Тим

0

Anova похожа на t-критерий равенства средств в предположении неизвестных, но равных различий между обработками. Это связано с тем, что в ANOVA MSE идентично объединенной дисперсии, используемой в t-тесте. Существуют и другие версии t-критерия, например, для неравных отклонений и попарного t-критерия. С этой точки зрения t-критерий может быть более гибким.

— pemfir
источник