Условное ожидание R-квадрата


18

Рассмотрим простую линейную модель:

Yy = X ββ + ϵ

yy=Xββ+ϵ

где ε я ~ я . я . д .N ( 0 , сг 2 )ϵii.i.d.N(0,σ2) и Х R п × рXRn×p , р 2p2 и ХX содержит столбец констант.

Мой вопрос заключается в том, что, учитывая E ( X X )E(XX) , ββ и σσ , существует ли формула для нетривиальной верхней границы E ( R 2 )E(R2) *? (при условии, что модель была оценена OLS).

* Я предполагал, написав это, что получение E ( R 2 )E(R2) само по себе было бы невозможно.

EDIT1

используя решение, полученное Стефаном Лораном (см. ниже), мы можем получить нетривиальную верхнюю оценку на E ( R 2 )E(R2) . Некоторые численные расчеты (ниже) показывают, что эта граница на самом деле довольно тесная.

Стефан Лоран вывел следующее: R 2B ( p - 1 , n - p , λ ),R2B(p1,np,λ) где B ( p - 1 , n - p , λ )B(p1,np,λ) - нецентральное бета-распределение с параметром нецентральности λ,λ где

λ = | | X β - E ( X ) β 1 n || 2σ 2

λ=||XβE(X)β1n||2σ2

Так

E ( R 2 ) = E ( χ 2 p - 1 ( λ )χ 2 p - 1 ( λ ) + χ 2 n - p )E(χ 2 p - 1 (λ))E ( χ 2 p - 1 ( λ ) ) + E ( χ 2 n - p )

E(R2)=E(χ2p1(λ)χ2p1(λ)+χ2np)E(χ2p1(λ))E(χ2p1(λ))+E(χ2np)

где χ 2 k ( λ ) - нецентральный χ 2 с параметром λ и k степенями свободы. Так нетривиальным верхняя граница для Е ( R 2 ) являетсяχ2k(λ)χ2λkE(R2)

λ + p - 1λ + n - 1

λ+p1λ+n1

это очень туго (гораздо жестче, чем я ожидал, возможно):

например, используя:

rho<-0.75
p<-10
n<-25*p
Su<-matrix(rho,p-1,p-1)
diag(Su)<-1
su<-1
set.seed(123)
bet<-runif(p)

среднее значение R 2 более 1000 моделирований . Теоретическая верхняя граница выше дает . Оценка представляется одинаково точной для многих значений RR20.9608190.9609081 2 . Действительно поразительно!R2

EDIT2:

после дальнейших исследований выясняется, что качество приближения верхней границы к E ( R 2 ) будет улучшаться с увеличением λ + p (и при прочих равных условиях λ возрастает с ростом n ).E(R2)λ+pλn


R 2 имеет бета-распределение с параметрами, зависящими только от n и p . Нет? R2np
Стефан Лоран

1
Ооппсс, извините, мое предыдущее утверждение верно только в рамках гипотезы «нулевой модели» (только перехват). В противном случае распределение R 2 должно быть чем-то вроде нецентрального бета-распределения с параметром нецентральности, включающим неизвестные параметры. R2
Стефан Лоран

@ StéphaneLaurent: спасибо. Будете ли вы знать больше о связи между неизвестными параметрами и параметрами бета-версии? Я застрял, так что любой указатель будет приветствоваться ...
user603

Вам абсолютно необходимо иметь дело с E [ R 2 ] ? Возможно, существует простая точная формула для E [ R 2 / ( 1 - R 2 ) ] . E[R2]E[R2/(1R2)]
Стефан Лоран

1
С помощью обозначений моего ответа R 2 / ( 1 - R 2 ) = k F для некоторого скаляра k, и первый момент нецентрального F- распределения прост. R2/(1R2)=kFkF
Стефан Лоран

Ответы:


13

Any linear model can be written Y=μ+σGY=μ+σG where GG has the standard normal distribution on RnRn and μμ is assumed to belong to a linear subspace WW of RnRn. In your case W=Im(X)W=Im(X).

Let [1]W[1]W be the one-dimensional linear subspace generated by the vector (1,1,,1)(1,1,,1). Taking U=[1]U=[1] below, the R2R2 is highly related to the classical Fisher statistic F=PZY2/(m)PWY2/(nm),

F=PZY2/(m)PWY2/(nm),
for the hypothesis test of H0:{μU}H0:{μU} where UWUW is a linear subspace, and denoting by Z=UWZ=UW the orthogonal complement of UU in WW, and denoting m=dim(W)m=dim(W) and =dim(U)=dim(U) (then m=pm=p and =1=1 in your situation).

Indeed, PZY2PWY2=R21R2

PZY2PWY2=R21R2
because the definition of R2R2 is R2=PZY2PUY2=1PWY2PUY2.
R2=PZY2PUY2=1PWY2PUY2.

Obviously PZY=PZμ+σPZGPZY=PZμ+σPZG and PWY=σPWGPWY=σPWG.

When H0:{μU}H0:{μU} is true then PZμ=0PZμ=0 and therefore F=PZG2/(m)PWG2/(nm)Fm,nm

F=PZG2/(m)PWG2/(nm)Fm,nm
has the Fisher Fm,nmFm,nm distribution. Consequently, from the classical relation between the Fisher distribution and the Beta distribution, R2B(m,nm)R2B(m,nm).

In the general situation we have to deal with PZY=PZμ+σPZGPZY=PZμ+σPZG when PZμ0PZμ0. In this general case one has PZY2σ2χ2m(λ)PZY2σ2χ2m(λ), the noncentral χ2χ2 distribution with mm degrees of freedom and noncentrality parameter λ=PZμ2σ2λ=PZμ2σ2, and then FFm,nm(λ)FFm,nm(λ) (noncentral Fisher distribution). This is the classical result used to compute power of FF-tests.

The classical relation between the Fisher distribution and the Beta distribution hold in the noncentral situation too. Finally R2R2 has the noncentral beta distribution with "shape parameters" mm and nmnm and noncentrality parameter λλ. I think the moments are available in the literature but they possibly are highly complicated.

Finally let us write down PZμPZμ. Note that PZ=PWPUPZ=PWPU. One has PUμ=ˉμ1PUμ=μ¯1 when U=[1]U=[1], and PWμ=μPWμ=μ. Hence PZμ=μˉμ1PZμ=μμ¯1 where here μ=Xβμ=Xβ for the unknown parameters vector ββ.


1
PZxPZx is the orthogoanl projection of xx on the linear subspace Z. And P denotes projection on the orthogonal.
Stéphane Laurent

1
Beware of PxPx2. I'm going to edit my post to write the formulas.
Stéphane Laurent

1
Done - do you see any simplification ?
Stéphane Laurent

1
ˉμ=1nμi
Stéphane Laurent

1
Type I, obviously: type II are distributed on (0,). Actually R2/(1R2) has the type II distribution. I have done the last corrections for today.
Stéphane Laurent
Используя наш сайт, вы подтверждаете, что прочитали и поняли нашу Политику в отношении файлов cookie и Политику конфиденциальности.
Licensed under cc by-sa 3.0 with attribution required.