Почему распределение T используется для проверки гипотез линейного коэффициента регрессии?

17

На практике использование стандартного T-критерия для проверки значимости коэффициента линейной регрессии является обычной практикой. Механика расчета имеет смысл для меня.

Почему Т-распределение можно использовать для моделирования стандартной тестовой статистики, используемой при проверке гипотез линейной регрессии? Стандартная тестовая статистика, на которую я ссылаюсь:

T_{0} = \frac{\hat{β} - β_{0}}{S E (\hat{β})}

$T_{0} = \frac{\widehat{\beta} - \beta_{0}}{SE(\widehat{\beta})}$

— Нейт Парке
источник

Я уверен, что полный и полный ответ на этот вопрос будет довольно долгим. Поэтому, пока вы ждете, чтобы кто-то занялся этим, вы можете получить довольно хорошее представление о том, почему это так, посмотрев некоторые заметки, которые я нашел в Интернете здесь: onlinecourses.science.psu.edu/stat501/node/297 . Обратите особое внимание, что

.

t_{(n - p)}^{2} = F_{(1, n - p)}

$t^2_{(n−p)}=F_{(1,n−p)}$

— StatsStudent

1

Я не могу поверить, что это не дубликат, и все же все против (как по вопросу, так и по ответам) ... Что насчет этого ? Или, возможно, это не дубликат, что означает, что есть (или существовали до сегодняшнего дня) суперосновные темы, которые еще не были освещены в течение почти семи лет существования Cross Validated ... Вау ...

— Ричард Харди

@RichardHardy Хм, это звучит как дубликат. Хотя это более многословным, вопрос в том , а именно: «Как я могу доказать , что для , $\hat\beta_i$ " $\frac{\hat{\beta}_i - \beta_i} {s_{\hat{\beta}_i}} \sim t_{n-k}$

— Поджигатель

26

Чтобы понять , почему мы используем распределение Стьюдента, вы должны знать , что лежит в основе распределения и остаточной суммы квадратов ( ) , поскольку эти два вместе взятые даст вам распределение Стьюдента. $\widehat{\beta}$ $RSS$

Легче часть является распределение , которое является нормальным распределением - видеть это примечание , что = , так что линейная функция , где . В результате он также распределен $\widehat{\beta}$ $\widehat{\beta}$ $(X^{T}X)^{-1}X^{T}Y$ $Y$ $Y\sim N(X\beta, \sigma^{2}I_{n})$ - дайте мне знатьесли вам нужна помощь выведение распределения . $\widehat{\beta} \sim N(\beta, \sigma^{2}(X^{T}X)^{-1})$ $\widehat{\beta}$

Кроме того, , где - количество наблюдений, а - количество параметров, используемых в вашей регрессии. Доказательство этого немного сложнее, но его также легко получить (см. Доказательство здесь. Почему RSS распределяется по хи-квадрат раз np? ). $RSS \sim \sigma^{2}\chi^{2}_{n-p}$ $n$ $p$

До этого момента я не рассмотрел все в матрицу / вектор обозначения, но давайте для простоты использования и использовать его нормальное распределение , которое даст $\widehat{\beta}_{i}$

\frac{{\hat{β}}_{i} - β_{i}}{σ \sqrt{(X^{T} X)_{i i}^{- 1}}} \sim N (0, 1)

$\begin{equation} \frac{\widehat{\beta}_{i}-\beta_{i}}{\sigma\sqrt{(X^{T}X)^{-1}_{ii}}} \sim N(0,1) \end{equation}$

Кроме того, из хи-квадрат распределения имеем: $RSS$

\frac{(n - p) s^{2}}{σ^{2}} \sim χ_{n - p}^{2}

$\begin{equation} \frac{(n-p)s^{2}}{\sigma^{2}} \sim \chi^{2}_{n-p} \end{equation}$

$N(0,1)$ $s^{2}=\frac{RSS}{n-p}$ $\sigma^{2}$ $t_{n-p}$ $\sqrt{\chi^2(s)/s}$

\frac{{\hat{β}}_{i} - β_{i}}{s \sqrt{(X^{T} X)_{i i}^{- 1}}} \sim t_{n - p}

$\begin{equation} \frac{\widehat{\beta}_{i}-\beta_{i}}{s\sqrt{(X^{T}X)^{-1}_{ii}}} \sim t_{n-p} \end{equation}$

$s\sqrt{(X^{T}X)^{-1}_{ii}}=SE(\widehat{\beta}_{i})$

Дайте мне знать, если это имеет смысл.

— francium87d
источник

\frac{{\hat{β}}_{i} - β_{i}}{σ \sqrt{(X^{T} X)_{i i}^{- 1}}} \sim N (0, 1)

$\begin{equation} \frac{\widehat{\beta}_{i}-\beta_{i}}{\sigma\sqrt{(X^{T}X)^{-1}_{ii}}} \sim N(0,1) \end{equation}$

4

Ответ на самом деле очень прост: вы используете t-дистрибутив, потому что он в значительной степени разработан специально для этой цели.

$x_1,x_2,\dots,x_n$ $\bar x=\sum_{i=1}^n x_i/n$ $\bar x$

$\sigma$ $\xi=(\bar x-\mu)\sqrt n/\sigma$ $\mathcal N(0,1)$ $\sigma$ $\hat\sigma$ . So, Gosset figured out the distribution when you substitute $\sigma$ with $\hat\sigma$ in the denominator, and the distribution is now called after his pseduonym "Student t".

The technicalities of linear regression lead to a situation where we can estimate the standard error $\hat\sigma_\beta$ of the coefficient estimate $\hat\beta$ , but we do not know the true $\sigma$ , therefore Student t distribution is applied here too.

— Аксакал
источник