Как рассчитать дисперсию оценки OLS , условной для ?


17

Я знаю, что и вот как далеко я продвинулся, когда вычислил дисперсию:

β0^=y¯β1^x¯

Var(β0^)=Var(y¯β1^x¯)=Var((x¯)β1^+y¯)=Var((x¯)β1^)+Var(y¯)=(x¯)2Var(β1^)+0=(x¯)2Var(β1^)+0=σ2(x¯)2i=1n(xix¯)2

но это далеко, как я получил. Последняя формула, которую я пытаюсь вычислить:

Var(β0^)=σ2n1i=1nxi2i=1n(xix¯)2

Я не уверен, как получить если предположить, что моя математика верна ,

(x¯)2=1ni=1nxi2

Это правильный путь?

(x¯)2=(1ni=1nxi)2=1n2(i=1nxi)2

Я уверен, что это просто, поэтому ответ может немного подождать, если у кого-то есть подсказка, чтобы подтолкнуть меня в правильном направлении.


2
Это не правильный путь. 4-е уравнение не выполняется. Например, при , и левый член равен нулю, а правый - . Проблема возникает из шага, где вы разделяете дисперсию (3-я строка второго уравнения). Понять, почему? x1=1x2=0x3=12/3
QuantIbex

Подсказка к точке Quantlbex: дисперсия не является линейной функцией. Это нарушает как аддитивность, так и скалярное умножение.
Дэвид Маркс

@DavidMarx Этот шаг должен быть , я думаю, а затем, как только я и (не знаю, что для этого нужно, но я подумаю об этом больше), это должно заставить меня задуматься правильный путь, я надеюсь.
=Var((x¯)β1^+y¯)=(x¯)2Var(β1^)+y¯
β1^y¯
MT

Это не правильно. Подумайте об условии, необходимом для того, чтобы дисперсия суммы была равна сумме дисперсий.
QuantIbex

2
Нет, является случайным, поскольку , где обозначает (случайный) шум. Но хорошо, мой предыдущий комментарий, возможно, вводил в заблуждение. Кроме того, , если и обозначают константы. y¯yi=β0+β1xi+ϵϵVar(aX+b)=a2Var(X)ab
QuantIbex

Ответы:


19

Это вопрос для самостоятельного изучения, поэтому я предоставлю подсказки, которые, надеюсь, помогут найти решение, и я отредактирую ответ, основываясь на ваших отзывах / результатах.

Оценки параметров, которые минимизируют сумму квадратов: Чтобы получить дисперсию , начните с ее выражения и подставьте выражение , а затем сделайте алгебру

β^0=y¯β^1x¯,β^1=i=1n(xix¯)yii=1n(xix¯)2.
β^0β^1
Var(β^0)=Var(Y¯β^1x¯)=

Изменить: у
нас есть Два дисперсионных члена: и и ковариационный член

Var(β^0)=Var(Y¯β^1x¯)=Var(Y¯)+(x¯)2Var(β^1)2x¯Cov(Y¯,β^1).
Var(Y¯)=Var(1ni=1nYi)=1n2i=1nVar(Yi)=σ2n,
Var(β^1)=1[i=1n(xix¯)2]2i=1n(xix¯)2Var(Yi)=σ2i=1n(xix¯)2,
Cov(Y¯,β^1)=Cov{1ni=1nYi,j=1n(xjx¯)Yji=1n(xix¯)2}=1n1i=1n(xix¯)2Cov{i=1nYi,j=1n(xjx¯)Yj}=1ni=1n(xix¯)2i=1n(xjx¯)j=1nCov(Yi,Yj)=1ni=1n(xix¯)2i=1n(xjx¯)σ2=0
поскольку . И с тех пор i=1n(xjx¯)=0
i=1n(xix¯)2=i=1nxi22x¯i=1nxi+i=1nx¯2=i=1nxi2nx¯2,
у нас есть
Var(β^0)=σ2n+σ2x¯2i=1n(xix¯)2=σ2ni=1n(xix¯)2{i=1n(xix¯)2+nx¯2}=σ2i=1nxi2ni=1n(xix¯)2.

Редактировать 2

Почему у нас ?var(i=1nYi)=i=1nVar(Yi)

Предполагаемая модель - , где являются независимыми и одинаково распределенными случайными величинами с и .Yi=β0+β1Xi+ϵiϵiE(ϵi)=0var(ϵi)=σ2

Как только у нас есть образец, известны, единственными случайными терминами являются . Вспоминая, что для случайной величины и константы имеем . Таким образом, Четвёртое равенство имеет видXiϵiZavar(a+Z)=var(Z)

var(i=1nYi)=var(i=1nβ0+β1Xi+ϵi)=var(i=1nϵi)=i=1nj=1ncov(ϵi,ϵj)=i=1ncov(ϵi,ϵi)=i=1nvar(ϵi)=i=1nvar(β0+β1Xi+ϵi)=i=1nvar(Yi).
cov(ϵi,ϵj)=0 для по независимости от .ijϵi

Я думаю, я понял! В книге предложены шаги, и я смог доказать каждый шаг в отдельности (я думаю). Это не так приятно, как просто сесть и вытащить это из этого шага, так как мне пришлось доказать промежуточные выводы, чтобы помочь, но я думаю, что все выглядит хорошо.
MT

Смотрите редактирование для разработки предлагаемого подхода.
QuantIbex

Дисперсия суммы равна сумме дисперсий на этом шаге: поскольку, поскольку независимы, это означает, что независимы как хорошо, верно?
Var(Y¯)=Var(1ni=1nYi)=1n2i=1nVar(Yi)
XiYi
MT

Кроме того, вы можете выделить постоянную из ковариации на этом шаге: хотя это не в обоих элементах потому что формула для ковариации мультипликативна, верно?
1n1i=1n(xix¯)2Cov{i=1nYi,j=1n(xjx¯)Yj}
MT

1
@oort, в числителе у вас есть сумма терминов, которые идентичны (и равны ), поэтому числитель равен . nσ2nσ2
QuantIbex

1

Я понял! Ну, с помощью. Я нашел ту часть книги, в которой приведены шаги, которые нужно пройти при формулы (к счастью, она на самом деле не работает, в противном случае я бы не захотел на самом деле сделать доказательство). Я доказал каждый отдельный шаг, и я думаю, что это сработало.Var(β^0)

Я использую обозначение книги: а - термин ошибки.

SSTx=i=1n(xix¯)2,
ui

1) Покажите, что можно записать как где и .β^1β^1=β1+i=1nwiuiwi=diSSTxdi=xix¯

Это было легко, потому что мы знаем, что

β^1=β1+i=1n(xix¯)uiSSTx=β1+i=1ndiSSTxui=β1+i=1nwiui

2) Используйте часть 1 вместе с чтобы показать, что и не коррелированы, т.е. покажите, что .i=1nwi=0β1^u¯E[(β1^β1)u¯]=0

E[(β1^β1)u¯]=E[u¯i=1nwiui]=i=1nE[wiu¯ui]=i=1nwiE[u¯ui]=1ni=1nwiE(uij=1nuj)=1ni=1nwi[E(uiu1)++E(uiuj)++E(uiun)]

и потому что iid, когда .uE(uiuj)=E(ui)E(uj)ji

Когда , , поэтому имеем:j=iE(uiuj)=E(ui2)

=1ni=1nwi[E(ui)E(u1)++E(ui2)++E(ui)E(un)]=1ni=1nwiE(ui2)=1ni=1nwi[Var(ui)+E(ui)E(ui)]=1ni=1nwiσ2=σ2ni=1nwi=σ2nSSTxi=1n(xix¯)=σ2nSSTx(0)=0

3) Покажите, что можно записать как . Это тоже казалось довольно простым:β0^β0^=β0+u¯x¯(β1^β1)

β0^=y¯β1^x¯=(β0+β1x¯+u¯)β1^x¯=β0+u¯x¯(β1^β1).

4) Используйте части 2 и 3, чтобы показать, что : Var(β0^)=σ2n+σ2(x¯)2SSTx

Var(β0^)=Var(β0+u¯x¯(β1^β1))=Var(u¯)+(x¯)2Var(β1^β1)=σ2n+(x¯)2Var(β1^)=σ2n+σ2(x¯)2SSTx.

Я считаю, что все это работает, потому что, поскольку мы представили, что и не коррелированы, ковариация между ними равна нулю, поэтому дисперсия суммы является суммой дисперсии. - это просто константа, поэтому она выпадает, как и позже в расчетах.u¯β1^β1β0β1

5) Используйте алгебру и тот факт, что :SSTxn=1ni=1nxi2(x¯)2

Var(β0^)=σ2n+σ2(x¯)2SSTx=σ2SSTxSSTxn+σ2(x¯)2SSTx=σ2SSTx(1ni=1nxi2(x¯)2)+σ2(x¯)2SSTx=σ2n1i=1nxi2SSTx

Там может быть опечатка в пункте 1; Я думаю, что следует читать . var(β^)β^
QuantIbex

Возможно, вы захотите уточнить обозначения и указать, что такое и . uiSSTx
QuantIbex

ui - это ошибка, а - общая сумма квадратов для (определено в редактировании). SSTxx
MT

1
В пункте 1 термин отсутствует в последних двух строках. β1
QuantIbex

1
В пункте 2, вы не можете взять из ожидания, это не является постоянной величиной. u¯
QuantIbex
Используя наш сайт, вы подтверждаете, что прочитали и поняли нашу Политику в отношении файлов cookie и Политику конфиденциальности.
Licensed under cc by-sa 3.0 with attribution required.