Понимание t-критерия линейной регрессии

17

Я пытаюсь понять, как выполнить проверку гипотезы о линейной регрессии (нулевая гипотеза не имеет корреляции). Кажется, что каждое руководство и страница по теме, с которой я сталкиваюсь, используют t-тест. Но я не понимаю, что на самом деле означает t-критерий для линейной регрессии. T-тест, если у меня нет совершенно неправильного понимания или ментальной модели, используется для сравнения двух групп населения. Но регрессор и регрессанд не являются выборками из одинаковых групп населения и могут даже не относиться к одной единице, поэтому сравнивать их не имеет смысла.

Итак, когда мы используем t-тест на линейной регрессии, что мы на самом деле делаем?

regression t-test

— Jaymmer - Восстановить Монику
источник

37

Вы, вероятно, думаете о двух образцах $t$ теста, потому что это часто первое место, где появляется $t$ распределение. Но на самом деле все $t$ тесты означают, что эталонное распределение для тестовой статистики является $t$ распределением. Если $Z \sim \mathcal N(0,1)$ и $S^2 \sim \chi^2_d$ причем $Z$ и $S^2$ независимы, то

\frac{Z}{\sqrt{S^{2} / d}} \sim t_{d}

$\frac{Z}{\sqrt{S^2 / d}} \sim t_d$ по определению. Я пишу это, чтобы подчеркнуть, чтораспределение

t

$t$ - это просто имя, которое было дано распределению этого отношения, потому что оно много подходит, и что-нибудь в этой форме будет иметьраспределение

t

$t$ . Для t-критерия для двух выборок это соотношение появляется потому, что при нулевом значении разность средних представляет собой гауссиану с нулевым средним, а оценку дисперсии для независимых гауссианов представляет собой независимое значение

χ^{2}

$\chi^2$ (независимость можно показать с помощьютеоремы Басу который использует тот факт, что стандартная оценка дисперсии в гауссовой выборке является вспомогательной по отношению к среднему значению совокупности, в то время как среднее значение по выборке является полным и достаточным для этой же величины).

С линейной регрессией мы в основном получаем то же самое. В векторной . Пусть и предположим, что предикторы неслучайны. Если бы мы знали мы будем иметь $\hat \beta \sim \mathcal N(\beta, \sigma^2 (X^T X)^{-1})$ $S^2_j = (X^T X)^{-1}_{jj}$ $X$ $\sigma^2$ при нулевойпоэтому мы бысамом деле иметь тест Z. Но когда мы оцениваеммыконечном итоге сслучайной величинойчто при наших предположениях нормальности, оказывается независимыми от нашей статистикиа затем мы получаемраспределение.

\frac{{\hat{β}}_{j} - 0}{σ S_{j}} \sim N (0, 1)

$\frac{\hat \beta_j - 0}{\sigma S_j} \sim \mathcal N(0, 1)$

H_{0} : β_{j} = 0

$H_0 : \beta_j = 0$

σ^{2}

$\sigma^2$

χ^{2}

$\chi^2$

{\hat{β}}_{j}

$\hat \beta_j$

t

$t$

Вот подробности этого: предположим, что . Полагая матрица шляпы мы имеем идемпотент, поэтому мы имеем действительно хороший результат, $y \sim \mathcal N(X\beta, \sigma^2 I)$ $H = X(X^TX)^{-1}X^T$

‖ e ‖^{2} = ‖ (I - H) y ‖^{2} = y^{T} (I - H) y .

$\|e\|^2 = \|(I-H)y\|^2 = y^T(I-H)y.$

H

$H$

с параметром нецентральности

, так что на самом деле это центральный

с

y^{T} (I - H) y / σ^{2} \sim χ_{n - p}^{2} (δ)

$y^T(I-H)y / \sigma^2 \sim \mathcal \chi_{n-p}^2(\delta)$

δ = β^{T} X^{T} (I - H) X β = β^{T} (X^{T} X - X^{T} X) β = 0

$\delta = \beta^TX^T(I-H)X\beta = \beta^T(X^TX - X^T X)\beta = 0$

χ^{2}

$\chi^2$

n - p

$n-p$ степеней свободы (это частный случай теоремы Кохрана ). Я использую

для обозначения количества столбцов

, поэтому, если один столбец

дает перехват, то у нас будет

предиктор без перехвата. Некоторые авторы используют

как число предикторов без перехвата, поэтому иногда вы можете увидеть что-то вроде

в степенях свободы, но это все одно и то же.

p

$p$

X

$X$

X

$X$

p - 1

$p-1$

p

$p$

n - p - 1

$n-p-1$

Результатом этого является то, что , так что $E(e^Te / \sigma^2) = n-p$ прекрасно работает как оценка. $\hat \sigma^2 := \frac{1}{n-p} e^T e$ $\sigma^2$

Это означает , что - это отношение стандартного гауссиана к хи-квадрату, деленное на его степени свободы. Чтобы закончить это, нам нужно показать независимость и мы можем использовать следующий результат:

\frac{{\hat{β}}_{j}}{\hat{σ} S_{j}} = \frac{{\hat{β}}_{j}}{S_{j} \sqrt{e^{T} e / (n - p)}} = \frac{{\hat{β}}_{j}}{σ S_{j} \sqrt{\frac{e^{T} e}{σ^{2} (n - p)}}}

$\frac{\hat \beta_j}{\hat \sigma S_j}= \frac{\hat \beta_j}{S_j\sqrt{e^Te / (n-p)}} = \frac{\hat \beta_j}{\sigma S_j\sqrt{\frac{e^Te}{\sigma^2(n-p)}}}$

Результат: для и матриц и в и соответственно, и независимы тогда и только тогда, когда (это упражнение 58 (b) в главе 1 «Математической статистики Цзюнь Шао» ). $Z \sim \mathcal N_k(\mu, \Sigma)$ $A$ $B$ $\mathbb R^{l\times k}$ $\mathbb R^{m\times k}$ $AZ$ $BZ$ $A\Sigma B^T = 0$

Мы имеем и , где . Это означает $\hat \beta = (X^TX)^{-1}X^T y$ $e = (I-H)y$ $y \sim \mathcal N(X\beta, \sigma^2 I)$ так, иследовательно.

(X^{T} X)^{- 1} X^{T} \cdot σ^{2} I \cdot (I - H)^{T} = σ^{2} ((X^{T} X)^{- 1} X^{T} - (X^{T} X)^{- 1} X^{T} X (X^{T} X)^{- 1} X^{T}) = 0

$(X^TX)^{-1}X^T \cdot \sigma^2 I \cdot (I-H)^T = \sigma^2 \left((X^TX)^{-1}X^T - (X^TX)^{-1}X^TX(X^TX)^{-1}X^T\right) = 0$

\hat{β} ⊥ e

$\hat \beta \perp e$

\hat{β} ⊥ e^{T} e

$\hat \beta \perp e^T e$

Результатом является теперь мы знаем , по желанию (при всех вышеуказанных допущений).

\frac{{\hat{β}}_{j}}{\hat{σ} S_{j}} \sim t_{n - p}

$\frac{\hat \beta_j}{\hat \sigma S_j} \sim t_{n-p}$

$C = {A \choose B}$ $(l+m)\times k$ $A$ $B$

C Z = (\binom{A Z}{B Z}) \sim N ((\binom{A μ}{B μ}), C Σ C^{T})

$CZ = {AZ \choose BZ} \sim \mathcal N \left({A\mu \choose B\mu}, C\Sigma C^T \right)$

С Σ С^{T} знак равно (\binom{A}{В}) Σ (\begin{array}{cc} A^{T} & В^{T} \end{array}) знак равно (\begin{array}{cc} A Σ A^{T} & A Σ В^{T} \\ В Σ A^{T} & В Σ В^{T} \end{array}),

$C\Sigma C^T = {A \choose B} \Sigma \left(\begin{array}{cc} A^T & B^T \end{array}\right) = \left(\begin{array}{cc}A\Sigma A^T & A\Sigma B^T \\ B\Sigma A^T & B\Sigma B^T\end{array}\right).$

C Z

$CZ$

A Σ B^{T} = 0

$A\Sigma B^T = 0$

A Z

$AZ$

B Z

$BZ$

C Z

$CZ$

$\square$

— JLD
источник

3

+1 всегда с удовольствием читаю твой ответ.

— Haitao Du

9

@ Chaconne ответ велик. Но вот гораздо более короткая нематематическая версия!

Поскольку цель состоит в том, чтобы вычислить значение P, сначала необходимо определить нулевую гипотезу. Почти всегда, это то, что наклон фактически горизонтальный, поэтому числовое значение для наклона (бета) составляет 0,0.

Склон соответствует вашим данным не 0,0. Это расхождение из-за случайной случайности или из-за неправильной гипотезы? Вы никогда не сможете ответить на этот вопрос наверняка, но значение P - это один из способов получить ответ.

Программа регрессии сообщает стандартную ошибку наклона. Вычислите коэффициент t как наклон, деленный на его стандартную ошибку. На самом деле это (наклон минус нулевой наклон гипотезы), деленный на стандартную ошибку, но наклон нулевой гипотезы почти всегда равен нулю.

Теперь у вас есть в соотношении. Число степеней свободы (df) равно количеству точек данных минус количество параметров, подходящих для регрессии (два для линейной регрессии).

С помощью этих значений (t и df) вы можете определить значение P с помощью онлайн-калькулятора или таблицы.

По сути, это t-критерий с одной выборкой, сравнивающий наблюдаемое вычисленное значение (наклон) с гипотетическим значением (нулевая гипотеза).

— Харви Мотульский
источник

4

Реальный вопрос заключается в том, почему это «по сути один t-критерий из одной выборки», и я не понимаю, как это может стать ясным из вашего ответа ...

— говорит амеба Reinstate Monica