Доказательство того, что F-статистика следует F-распределению


20

В свете этого вопроса: Доказательство того, что коэффициенты в модели OLS следуют t-распределению с (nk) степенями свободы

Я хотел бы понять, почему

F=(TSSRSS)/(p1)RSS/(np),

где - число параметров модели, а - число наблюдений, а - полная дисперсия, - остаточная дисперсия, следует распределению .n T S S R S S F p - 1 , n - ppnTSSRSSFp1,np

Я должен признать, что я даже не пытался доказать это, поскольку я не знал бы, с чего начать.


Кристоф Ханк и Фрэнсис уже дали очень хороший ответ. Если у вас все еще есть трудности с пониманием доказательства критерия f для линейной регрессии, попробуйте оформить заказ teamdable.github.io/techblog/… . Я написал сообщение в блоге о доказательстве ftest для линейной регрессии. Это написано на корейском языке, но это не может быть проблемой, потому что почти все это математическая формула. Я надеюсь, что это поможет, если у вас все еще есть трудности в понимании доказательства f-теста для линейной регрессии.
Taeho Oh

Хотя эта ссылка может дать ответ на вопрос, лучше включить сюда основные части ответа и предоставить ссылку для справки. Ответы, содержащие только ссылки, могут стать недействительными, если связанная страница изменится. - Из Обзора
mkt - Восстановить Монику

Ответы:


19

Давайте покажем результат для общего случая, для которого ваша формула для статистики теста является частным случаем. В общем, нам нужно проверить, что статистика, согласно характеристике распределенияF , может быть записана как отношение независимых rvs, деленное на их степени свободы.χ2

Пусть с и известны, неслучайно и имеет полный ранг столбца . Это представляет линейных ограничений для (в отличие от обозначения OP) регрессоров, включая постоянный член. Так, в примере @ user1627466, соответствует ограничениям установки всех коэффициентов наклона в ноль.H0:Rβ=rRrR:k×qqqkp1q=k1

Ввиду , мы имеем чтобы (с являясь «квадратным корнем матрицы» из , например, через Разложение Холецкого) как Var(β^ols)=σ2(XX)1

R(β^olsβ)N(0,σ2R(XX)1R),
B1/2={R(XX)1R}1/2B1={R(XX)1R}1
n:=B1/2σR(β^olsβ)N(0,Iq),
Var(n)=B1/2σRVar(β^ols)RB1/2σ=B1/2σσ2BB1/2σ=I
где вторая строка использует дисперсию OLSE.

Это, как показано в ответе, на который вы ссылаетесь (см. Также здесь ), не зависит от где - это обычная несмещенная оценка дисперсии ошибок, с является„остаточным производителем матрица“из регресса на .

d:=(nk)σ^2σ2χnk2,
σ 2=у'МХу/(п-к)МХ=I-Х(Х'х)-1Х'Хσ^2=yMXy/(nk)MX=IX(XX)1XX

Таким образом, поскольку является квадратичной формой в нормалях, В частности, при это сводится к статистике nn

nnχq2/qd/(nk)=(β^olsβ)R{R(XX)1R}1R(β^olsβ)/qσ^2Fq,nk.
H0:Rβ=r
F=(Rβ^olsr){R(XX)1R}1(Rβ^olsr)/qσ^2Fq,nk.

Для иллюстрации рассмотрим частный случай , , , и . Затем квадрат евклидова расстояния OLS оценка от начала координат, стандартизированная по количеству элементов - подчеркивая, что, поскольку являются квадратами стандартных нормалей и, следовательно, , можно увидеть распределение как "среднее .R=Ir=0q=2σ 2 = 1 Х ' Х = Я F = & beta ; ' OLS & beta ; олова / 2 = & beta ; 2 олов , 1 + & beta ; 2 олов , 2σ^2=1XX=I

F=β^olsβ^ols/2=β^ols,12+β^ols,222,
& beta2олы,2χ21Рх2β^ols,22χ12Fχ2

В случае, если вы предпочитаете небольшую имитацию (которая, конечно, не является доказательством!), В которой проверяется нулевое значение, то, что ни один из регрессоров не имеет значения - что они действительно не имеют, так что мы моделируем нулевое распределение.k

введите описание изображения здесь

Мы видим очень хорошее согласие между теоретической плотностью и гистограммой статистики теста Монте-Карло.

library(lmtest)
n <- 100
reps <- 20000
sloperegs <- 5 # number of slope regressors, q or k-1 (minus the constant) in the above notation
critical.value <- qf(p = .95, df1 = sloperegs, df2 = n-sloperegs-1) 
# for the null that none of the slope regrssors matter

Fstat <- rep(NA,reps)
for (i in 1:reps){
  y <- rnorm(n)
  X <- matrix(rnorm(n*sloperegs), ncol=sloperegs)
  reg <- lm(y~X)
  Fstat[i] <- waldtest(reg, test="F")$F[2] 
}

mean(Fstat>critical.value) # very close to 0.05

hist(Fstat, breaks = 60, col="lightblue", freq = F, xlim=c(0,4))
x <- seq(0,6,by=.1)
lines(x, df(x, df1 = sloperegs, df2 = n-sloperegs-1), lwd=2, col="purple")

Чтобы увидеть, что версии тестовой статистики в вопросе и ответе действительно эквивалентны, обратите внимание, что значение NULL соответствует ограничениям и .R=[0I]r=0

Пусть будет разделен в соответствии с тем, что коэффициенты ограничены нулем при нулевом значении (в вашем случае все, кроме константы, но последующий вывод является общим). Кроме того, пусть - соответствующая оценка OLS.X=[X1X2]β олы = ( & beta ; ' МНК , 1 , & beta ; ' олы , 2 ) 'β^ols=(β^ols,1,β^ols,2)

Тогда и нижний правый блок Теперь используйте результаты для секционированных инверсий, чтобы получить где .

Rβ^ols=β^ols,2
R(XX)1RD~,
(XTX)1=(X1X1X1X2X2X1X2X2)1(A~B~C~D~)
~ D =(Х ' 2 Х2-Х ' 2 Х1(Х ' 1 х1)-1Х ' 1 Х2)-1=(Х ' 2 М Х 1 X2)-1M X 1 =I
D~=(X2X2X2X1(X1X1)1X1X2)1=(X2MX1X2)1
MX1=IX1(X1X1)1X1

Таким образом, числитель статистики становится (без деления на ) Далее, напомним, что по теореме Фриша-Во-Ловелла мы можем написать чтобы Fq

Fnum=β^ols,2(X2MX1X2)β^ols,2
β^ols,2=(X2MX1X2)1X2MX1y
Fnum=yMX1X2(X2MX1X2)1(X2MX1X2)(X2MX1X2)1X2MX1y=yMX1X2(X2MX1X2)1X2MX1y

Осталось показать, что этот числитель идентичен , разнице в неограниченной и ограниченной сумме квадратов невязок.USSRRSSR

Здесь - это остаточная сумма квадратов от регрессии на , т.е. с наложенным . В вашем особом случае это просто , остатки регрессии по константе.

RSSR=yMX1y
yX1H0TSS=i(yiy¯)2

Снова используя FWL (который также показывает, что остатки двух подходов идентичны), мы можем написать (SSR в вашей записи) в качестве SSR регрессии USSR

MX1yonMX1X2

То есть

USSR=yMX1MMX1X2MX1y=yMX1(IPMX1X2)MX1y=yMX1yyMX1MX1X2((MX1X2)MX1X2)1(MX1X2)MX1y=yMX1yyMX1X2(X2MX1X2)1X2MX1y

Таким образом,

RSSRUSSR=yMX1y(yMX1yyMX1X2(X2MX1X2)1X2MX1y)=yMX1X2(X2MX1X2)1X2MX1y


Благодарю. Я не знаю, считается ли это рукой в ​​этот момент, но как перейти от суммы квадратов бета к выражению, содержащему сумму квадратов?
user1627466

1
@ user1627466, я добавил вывод эквивалентности двух формул.
Кристоф Ханк

4

@ChristophHanck предоставил очень исчерпывающий ответ, здесь я добавлю набросок доказательства для упомянутого особого случая OP. Надеюсь, это также легче следовать для начинающих.

Случайная переменная если где и независимы. Таким образом, чтобы показать, что статистика имеет распределение, мы можем также показать, что и для некоторой константы , и что они независимы.YFd1,d2

Y=X1/d1X2/d2,
X1χd12X2χd22FFcESSχp12cRSSχnp2c

В модели OLS мы пишем где - матрица , а в идеале . Для удобства введем шляпную матрицу (note ) и остаточный создатель . Важными свойствами и являются то, что они симметричны и идемпотентны. Кроме того, у нас есть и , они пригодятся позже.

y=Xβ+ε,
Xn×pεNn(0,σ2I)H=X(XTX)1XTy^=HyM=IHHMtr(H)=pHX=X

Обозначим матрицу всех единиц как , тогда сумма квадратов может быть выражена в квадратичных формах:Заметим , что . Можно проверить, что является идемпотентом и . Как следует из этого то , что также идемпотентная и .J

TSS=yT(I1nJ)y,RSS=yTMy,ESS=yT(H1nJ)y.
M+(HJ/n)+J/n=IJ/nrank(M)+rank(HJ/n)+rank(J/n)=nHJ/nM(HJ/n)=0

Теперь мы можем показать, что -статистика имеет -распределение (ищите теорему Кохрана для получения дополнительной информации). Здесь нам нужны два факта:FF

  1. Пусть . Предположим, что симметричен с рангом а идемпотентен, тогда , т.е. нецентральный с df и нецентральностью . Это частный случай результата Балдессари , доказательство также можно найти здесь .xNn(μ,Σ)ArAΣxTAxχr2(μTAμ/2)χ2rμTAμ/2
  2. Пусть . Если , то и независимы. Это известно как теорема Крейга .xNn(μ,Σ)AΣB=0xTAxxTBx

Поскольку , мы имеемОднако, при нулевой гипотезе , так и есть на самом деле . С другой стороны, обратите внимание , что так . Поэтому . Поскольку , и также независимы. Это сразу следуетyNn(Xβ,σ2I)

ESSσ2=(yσ)T(H1nJ)yσχp12((Xβ)T(HJn)Xβ).
β=0ESS/σ2χp12yTMy=εTMεHX=XRSS/σ2χnp2M(HJ/n)=0ESS/σ2RSS/σ2
F=(TSSRSS)/(p1)RSS/(np)=ESSσ2/(p1)RSSσ2/(np)Fp1,np.
Используя наш сайт, вы подтверждаете, что прочитали и поняли нашу Политику в отношении файлов cookie и Политику конфиденциальности.
Licensed under cc by-sa 3.0 with attribution required.