Каково распределение

Каково распределение коэффициента детерминации или R в квадрате, $R^2$ , в линейной однофакторной множественной регрессии при нулевой гипотезе $H_0:\beta=0$ ?

Как это зависит от количества предикторов $k$ и количества выборок $n>k$ ? Есть ли выражение для закрытой формы для режима этого распределения?

В частности, у меня есть ощущение, что для простой регрессии (с одним предиктором $x$ ) это распределение имеет нулевой режим, но для множественной регрессии режим имеет ненулевое положительное значение. Если это действительно так, есть ли интуитивное объяснение этого «фазового перехода»?

---

Обновить

Как показал @Alecos ниже, распределение действительно достигает максимума в нуле, когда $k=2$ и $k=3$ и не в нуле, когда $k>3$ . Я чувствую, что должен быть геометрический взгляд на этот фазовый переход. Рассмотрим геометрический вид МНК: $\mathbf y$ представляет собой вектор в $\mathbb R^n$ , $\mathbf X$ определяет $k$ - мерное подпространство там. МНК составляет проецировании $\mathbf y$ на это подпространство, и $R^2$ является квадратом косинус угла между $\mathbf y$ и его проекцией у .$\hat{\mathbf y}$

Теперь из ответа @ Alecos следует, что если все векторы являются случайными, то распределение вероятностей этого угла достигнет максимума при $90^\circ$ для $k=2$ и $k=3$ , но будет иметь моду при некотором другом значении $<90^\circ$ для $k>3$ . Зачем?!

---

Обновление 2: я принимаю ответ @ Alecos, но все еще чувствую, что мне здесь не хватает важного понимания. Если кто-нибудь когда-либо предложит какой-либо другой (геометрический или нет) взгляд на это явление, которое сделало бы его «очевидным», я буду счастлив предложить щедрость.

Для конкретной гипотезы (что все коэффициенты регрессора равны нулю, не считая постоянного члена, который не рассматривается в этом тесте) и под нормальностью мы знаем (см., Например, Maddala 2001, p. 155, но обратите внимание, что там подсчитывает регрессоры без постоянного члена, поэтому выражение выглядит немного иначе) что статистика$k$

распределяется как центральнаяF(k-1,n-k)случайная величина.

$$F = \frac {n-k}{k-1}\frac {R^2}{1-R^2}$$ $F(k-1, n-k)$

Обратите внимание, что хотя мы не проверяем постоянное слагаемое, учитывает его.$k$

Перемещая вещи,

$$(k-1)F - (k-1)FR^2 = (n-k)R^2 \Rightarrow (k-1)F = R^2\big[(n-k) + (k-1)F\big]$$

$$\Rightarrow R^2 = \frac {(k-1)F}{(n-k) + (k-1)F}$$

Но правая часть распространяется как бета-версия , а именно

$$R^2 \sim Beta\left (\frac {k-1}{2}, \frac {n-k}{2}\right)$$

Режим этого распределения

$$\text{mode}R^2 = \frac {\frac {k-1}{2}-1}{\frac {k-1}{2}+ \frac {n-k}{2}-2} =\frac {k-3}{n-5}$$

КОНЕЧНЫЙ И УНИКАЛЬНЫЙ РЕЖИМ
Из приведенного выше соотношения мы можем сделать вывод, что для распределения, чтобы иметь уникальный и конечный режим, мы должны иметь

$$k\geq 3, n >5$$

Это согласуется с общим требованием к бета-распределению, которое

$$\{\alpha >1 , \beta \geq 1\},\;\; \text {OR}\;\; \{\alpha \geq1 , \beta > 1\}$$

как можно сделать вывод из этой темы резюме или читать здесь .
Обратите внимание, что если , мы получаем равномерное распределение, поэтому все точки плотности являются модами (конечными, но не единственными). Что создает вопрос: почему, если k = 3 , n = 5 , R 2 распределяется как U ( 0 , 1 ) ?$\{\alpha =1 , \beta = 1\}$$k=3, n=5$$R^2$$U(0,1)$

ПОСЛЕДСТВИЯ
Предположим, что у вас есть регрессоров (включая константу) и n = 99 наблюдений. Довольно хорошая регрессия, без переоснащения. затем$k=5$$n=99$

$$R^2\Big|_{\beta=0} \sim Beta\left (2, 47\right), \text{mode}R^2 = \frac 1{47} \approx 0.021$$

и график плотности

Интуиция, пожалуйста: это распределение в предположении, что регрессор на самом деле не принадлежит регрессии. Таким образом, а) распределение не зависит от регрессоров, б) при увеличении размера выборки его распределение концентрируется в направлении нуля, поскольку увеличение объема информации приводит к изменчивости малых выборок, что может привести к некоторому «соответствию», но также и в) к числу нерелевантных регрессоров. увеличивается для данного размера выборки, распределение концентрируется в направлении 1 , и мы наблюдаем явление «ложного соответствия». $R^2$$1$

Но также обратите внимание, как «легко» отклонить нулевую гипотезу: в конкретном примере для совокупная вероятность уже достигла 0,99 , поэтому полученный R 2 > 0,13 отвергнет ноль «незначительной регрессии» при уровень значимости 1 %.$R^2=0.13$$0.99$$R^2>0.13$$1$

ДОБАВЛЕНИЕ
Чтобы ответить на новый вопрос, касающийся режима распределения , я могу предложить следующую точку зрения (не геометрическую), которая связывает его с явлением «ложного соответствия»: когда мы запускаем метод наименьших квадратов в наборе данных по сути, мы решаем систему из n линейных уравнений с k неизвестными (единственное отличие от математики в старших классах состоит в том, что тогда мы называли «известные коэффициенты», что в линейной регрессии мы называем «переменными / регрессорами», «неизвестными х», что мы теперь называем «неизвестными коэффициентами» и «постоянными членами», которые мы называем «зависимой переменной»). Пока к < $R^2$$n$$k$$k<n$система переопределена, и нет точного решения, только приблизительного - и разница проявляется как «необъяснимая дисперсия зависимой переменной», которая фиксируется . Если k = n, система имеет одно точное решение (при условии линейной независимости). В промежутке, когда мы увеличиваем число k , мы уменьшаем «степень переопределения» системы и «движемся» к единственному точному решению. С этой точки зрения, имеет смысл, почему R 2 резко возрастает с добавлением нерелевантных регрессий, и, следовательно, почему его мода постепенно перемещается к 1 , когда k увеличивается для данной$1-R^2$$k=n$$k$$R^2$$1$$k$ .$n$

Я не буду восстанавливать распространение в отличном ответе @ Alecos (это стандартный результат, см.Здесьдля другого хорошего обсуждения), но я хочу заполнить более подробно о последствиях! Во-первых, как выглядит нулевое распределениеR2для диапазона значенийnиk? График в ответе @ Alecos достаточно репрезентативен для того, что происходит в практических множественных регрессиях, но иногда понимание легче получить из небольших случаев. Я включил среднее значение, режим (где он существует) и стандартное отклонение. График / таблица заслуживают хорошего глазного яблока:лучше всего просматривать в полном размере. Я мог бы включить меньше аспектов, но картина была бы менее ясной; Я добавил$\mathrm{Beta}(\frac{k-1}{2}, \, \frac{n-k}{2})$$R^2$$n$$k$Rкод, чтобы читатели могли экспериментировать с различными подмножествами и k .$n$$k$

Значения параметров формы

Цветовая схема графика показывает, является ли каждый параметр формы меньше одного (красного), равно одному (синему) или больше одного (зеленого). Левая часть показывает значение тогда как β справа. Поскольку α = k - $\alpha$$\beta$ , его значение увеличивается в арифметической прогрессии на общую разницу$\alpha = \frac{k-1}{2}$ по мере продвижения вправо от столбца к столбцу (добавить регрессор к нашей модели)тогда как при фиксированномп,& beta=п-$\frac{1}{2}$$n$ уменьшается на$\beta = \frac{n-k}{2}$ . Итогоα+β=n-$\frac{1}{2}$ фиксируется для каждой строки (для данного размера выборки). Если вместо этого мы фиксируемkи перемещаемся вниз по столбцу (увеличиваем размер выборки на 1), тоαостается постоянным, аβувеличивается на$\alpha + \beta = \frac{n-1}{2}$$k$$\alpha$$\beta$ . В терминах регрессииα- это половина числа регрессоров, включенных в модель, аβ- это половина остаточных степеней свободы. Для определения формы распределения нас особенно интересует, гдеαилиβравны единице.$\frac{1}{2}$$\alpha$$\beta$$\alpha$$\beta$

Алгебра проста для : k - $\alpha$так чтоk=3. Это действительно единственный столбец фасетного графика, заполненный синим цветом слева. Точно так жеα<1дляk<3(столбецk=2слева красный) иα>1дляk>3(начиная сстолбцаk=4, левая сторона зеленого цвета).$\frac{k-1}{2}=1$$k=3$$\alpha < 1$$k<3$$k=2$$\alpha > 1$$k>3$$k=4$

Для имеем n - $\beta=1$следовательно,k=n-2. Обратите внимание, как эти случаи (отмеченные синей правой стороной) разрезают диагональную линию поперек фасетного графика. Приβ>1получаемk<n-2(графики с зеленой левой стороной лежат слева от диагональной линии). Дляβ<1нам нужноk>n-2, что включает в себя только самые правые случаи на моем графике: приn=kмы имеемβ=0и распределение вырождено, но$\frac{n-k}{2}=1$$k=n-2$$\beta > 1$$k < n - 2$$\beta < 1$$k > n - 2$$n=k$$\beta=0$ где β = $n=k-1$ нанесено (правая сторона красного цвета).$\beta = \frac{1}{2}$

Так как PDF это $f(x;\,\alpha,\,\beta) \propto x^{\alpha-1} (1-x)^{\beta-1}$$\alpha<1$$f(x) \to \infty$$x \to 0$$\beta<1$$f(x) \to \infty$$x \to 1$

Симметрии

Одна из наиболее привлекательных особенностей графика - это уровень симметрии, но когда используется бета-распределение, это не должно удивлять!

$\alpha = \beta$$n = 2k-1$$(k=2, n=3)$$(k=3, n=5)$$(k=4, n=7)$$(k=5, n=9)$$R^2 = 0.5$$k = \frac{n+1}{2}$$R^2$$R^2 = 0$$R^2 = 1$$k$

$n$$(k=3, n=9)$$(k=7, n=9)$$\mathrm{Beta}(\alpha, \beta)$$\mathrm{Beta}(\beta, \alpha)$$x=0.5$$\alpha_{k,n} = \frac{k-1}{2}$$\beta_{k,n} = \frac{n-k}{2}$$k'=n-k+1$

$$\alpha_{k',n} = \frac{(n-k+1)-1}{2} = \frac{n-k}{2} = \beta_{k,n}$$ $$\beta_{k',n} = \frac{n-(n-k+1)}{2} = \frac{k-1}{2} = \alpha_{k,n}$$

$k' = k$

$n$$Y$$R^2$$k-1$$1 - R^2$$k-1$

Специальные распределения

$k=n$$\beta=0$$\beta \to 0$$\mathsf{P}(R^2 = 1)=1$

$k=2$$n=3$$\mathrm{Beta}(\frac{1}{2}, \, \frac{1}{2})$$\alpha = \beta$$\alpha < 1$$\beta < 1$

$\mathrm{Beta}(1, \, 1)$$R^2$$k$$n$$\alpha = \beta =1$$k=3$$n=5$

$\alpha > 1$$\beta=1$$f(x;\,\alpha,\,\beta) \propto x^{\alpha-1} (1-x)^{\beta-1} = x^{\alpha-1}$$k=n-2$$k>3$$k=3$$n > 5$$R^2$$H_0$$\alpha=1$$\beta>1$

$(k=5,n=7)$$(k=3,n=7)$$\alpha$$\beta$$2-1=1$

Режим

$\alpha>1$$\beta>1$$f(x; \, \alpha, \, \beta)$$f(0)=f(1)=0$$\frac{\alpha-1}{\alpha+\beta-2}$$k$$n$$k>3$$n>k+2$$\frac{k-3}{n-5}$

$\beta=1$$k=n-2$$k>3$$n>5$$\frac{(n-2)-3}{n-5}=1$$\alpha=1$$\beta>1$$k=3$$n>5$$\frac{3-3}{n-5}=0$$\alpha=\beta=1$$k=3$$n=5$$\frac{3-3}{5-5}=\frac{0}{0}$

$n=k$$\beta < 1$$n=k-1$$f(x) \to \infty$$x \to 1$$\alpha < 1$$k=2$$f(x) \to \infty$$x \to 0$$k=2$$n=3$

Означать

$R^2$$\frac{k-1}{n-1}$$k=n$$\frac{\alpha}{\alpha+\beta}$$n$$\alpha+\beta$$\alpha$

$$\frac{\alpha}{\alpha+\beta} = \frac{(k-1)/2}{(k-1)/2 + (n-k)/2} = \frac{k-1}{n-1}$$

Код для участков

require(grid)
require(dplyr)

nlist <- 3:9 #change here which n to plot
klist <- 2:8 #change here which k to plot

totaln <- length(nlist)
totalk <- length(klist)

df <- data.frame(
    x = rep(seq(0, 1, length.out = 100), times = totaln * totalk),
    k = rep(klist, times = totaln, each = 100),
    n = rep(nlist, each = totalk * 100)
)

df <- mutate(df,
    kname = paste("k =", k),
    nname = paste("n =", n),
    a = (k-1)/2,
    b = (n-k)/2,
    density = dbeta(x, (k-1)/2, (n-k)/2),
    groupcol = ifelse(x < 0.5, 
        ifelse(a < 1, "below 1", ifelse(a ==1, "equals 1", "more than 1")),
        ifelse(b < 1, "below 1", ifelse(b ==1, "equals 1", "more than 1")))
)

g <- ggplot(df, aes(x, density)) +
    geom_line(size=0.8) + geom_area(aes(group=groupcol, fill=groupcol)) +
    scale_fill_brewer(palette="Set1") +
    facet_grid(nname ~ kname)  + 
    ylab("probability density") + theme_bw() + 
    labs(x = expression(R^{2}), fill = expression(alpha~(left)~beta~(right))) +
    theme(panel.margin = unit(0.6, "lines"), 
        legend.title=element_text(size=20),
        legend.text=element_text(size=20), 
        legend.background = element_rect(colour = "black"),
        legend.position = c(1, 1), legend.justification = c(1, 1))


df2 <- data.frame(
    k = rep(klist, times = totaln),
    n = rep(nlist, each = totalk),
    x = 0.5,
    ymean = 7.5,
    ymode = 5,
    ysd = 2.5
)

df2 <- mutate(df2,
    kname = paste("k =", k),
    nname = paste("n =", n),
    a = (k-1)/2,
    b = (n-k)/2,
    meanR2 = ifelse(k > n, NaN, a/(a+b)),
    modeR2 = ifelse((a>1 & b>=1) | (a>=1 & b>1), (a-1)/(a+b-2), 
        ifelse(a<1 & b>=1 & n>=k, 0, ifelse(a>=1 & b<1 & n>=k, 1, NaN))),
    sdR2 = ifelse(k > n, NaN, sqrt(a*b/((a+b)^2 * (a+b+1)))),
    meantext = ifelse(is.nan(meanR2), "", paste("Mean =", round(meanR2,3))),
    modetext = ifelse(is.nan(modeR2), "", paste("Mode =", round(modeR2,3))),
    sdtext = ifelse(is.nan(sdR2), "", paste("SD =", round(sdR2,3)))
)

g <- g + geom_text(data=df2, aes(x, ymean, label=meantext)) +
    geom_text(data=df2, aes(x, ymode, label=modetext)) +
    geom_text(data=df2, aes(x, ysd, label=sdtext))
print(g)