Как рассчитать дисперсию оценки OLS , условной для ?


17

Я знаю, что и вот как далеко я продвинулся, когда вычислил дисперсию:

β0^=y¯−β1^x¯

Var(β0^)=Var(y¯−β1^x¯)=Var((−x¯)β1^+y¯)=Var((−x¯)β1^)+Var(y¯)=(−x¯)2Var(β1^)+0=(x¯)2Var(β1^)+0=σ2(x¯)2∑i=1n(xi−x¯)2

но это далеко, как я получил. Последняя формула, которую я пытаюсь вычислить:

Var(β0^)=σ2n−1∑i=1nxi2∑i=1n(xi−x¯)2

Я не уверен, как получить если предположить, что моя математика верна ,

(x¯)2=1n∑i=1nxi2

Это правильный путь?

(x¯)2=(1n∑i=1nxi)2=1n2(∑i=1nxi)2

Я уверен, что это просто, поэтому ответ может немного подождать, если у кого-то есть подсказка, чтобы подтолкнуть меня в правильном направлении.


2
Это не правильный путь. 4-е уравнение не выполняется. Например, при , и левый член равен нулю, а правый - . Проблема возникает из шага, где вы разделяете дисперсию (3-я строка второго уравнения). Понять, почему? x1=−1x2=0x3=12/3
— QuantIbex

Подсказка к точке Quantlbex: дисперсия не является линейной функцией. Это нарушает как аддитивность, так и скалярное умножение.
— Дэвид Маркс

@DavidMarx Этот шаг должен быть , я думаю, а затем, как только я и (не знаю, что для этого нужно, но я подумаю об этом больше), это должно заставить меня задуматься правильный путь, я надеюсь.
=Var((−x¯)β1^+y¯)=(x¯)2Var(β1^)+y¯
β1^y¯
— MT

Это не правильно. Подумайте об условии, необходимом для того, чтобы дисперсия суммы была равна сумме дисперсий.
— QuantIbex

2
Нет, является случайным, поскольку , где обозначает (случайный) шум. Но хорошо, мой предыдущий комментарий, возможно, вводил в заблуждение. Кроме того, , если и обозначают константы. y¯yi=β0+β1xi+ϵϵVar(aX+b)=a2Var(X)ab
— QuantIbex

Ответы:


19

Это вопрос для самостоятельного изучения, поэтому я предоставлю подсказки, которые, надеюсь, помогут найти решение, и я отредактирую ответ, основываясь на ваших отзывах / результатах.

Оценки параметров, которые минимизируют сумму квадратов: Чтобы получить дисперсию , начните с ее выражения и подставьте выражение , а затем сделайте алгебру

β^0=y¯−β^1x¯,β^1=∑i=1n(xi−x¯)yi∑i=1n(xi−x¯)2.
β^0β^1
Var(β^0)=Var(Y¯−β^1x¯)=…

Изменить: у
нас есть Два дисперсионных члена: и и ковариационный член

Var(β^0)=Var(Y¯−β^1x¯)=Var(Y¯)+(x¯)2Var(β^1)−2x¯Cov(Y¯,β^1).
Var(Y¯)=Var(1n∑i=1nYi)=1n2∑i=1nVar(Yi)=σ2n,
Var(β^1)=1[∑i=1n(xi−x¯)2]2∑i=1n(xi−x¯)2Var(Yi)=σ2∑i=1n(xi−x¯)2,
Cov(Y¯,β^1)=Cov{1n∑i=1nYi,∑j=1n(xj−x¯)Yj∑i=1n(xi−x¯)2}=1n1∑i=1n(xi−x¯)2Cov{∑i=1nYi,∑j=1n(xj−x¯)Yj}=1n∑i=1n(xi−x¯)2∑i=1n(xj−x¯)∑j=1nCov(Yi,Yj)=1n∑i=1n(xi−x¯)2∑i=1n(xj−x¯)σ2=0
поскольку . И с тех пор ∑i=1n(xj−x¯)=0
∑i=1n(xi−x¯)2=∑i=1nxi2−2x¯∑i=1nxi+∑i=1nx¯2=∑i=1nxi2−nx¯2,
у нас есть
Var(β^0)=σ2n+σ2x¯2∑i=1n(xi−x¯)2=σ2n∑i=1n(xi−x¯)2{∑i=1n(xi−x¯)2+nx¯2}=σ2∑i=1nxi2n∑i=1n(xi−x¯)2.

Редактировать 2

Почему у нас ?var(∑i=1nYi)=∑i=1nVar(Yi)

Предполагаемая модель - , где являются независимыми и одинаково распределенными случайными величинами с и .Yi=β0+β1Xi+ϵiϵiE(ϵi)=0var(ϵi)=σ2

Как только у нас есть образец, известны, единственными случайными терминами являются . Вспоминая, что для случайной величины и константы имеем . Таким образом, Четвёртое равенство имеет видXiϵiZavar(a+Z)=var(Z)

var(∑i=1nYi)=var(∑i=1nβ0+β1Xi+ϵi)=var(∑i=1nϵi)=∑i=1n∑j=1ncov(ϵi,ϵj)=∑i=1ncov(ϵi,ϵi)=∑i=1nvar(ϵi)=∑i=1nvar(β0+β1Xi+ϵi)=∑i=1nvar(Yi).
cov(ϵi,ϵj)=0 для по независимости от .i≠jϵi

Я думаю, я понял! В книге предложены шаги, и я смог доказать каждый шаг в отдельности (я думаю). Это не так приятно, как просто сесть и вытащить это из этого шага, так как мне пришлось доказать промежуточные выводы, чтобы помочь, но я думаю, что все выглядит хорошо.
— MT

Смотрите редактирование для разработки предлагаемого подхода.
— QuantIbex

Дисперсия суммы равна сумме дисперсий на этом шаге: поскольку, поскольку независимы, это означает, что независимы как хорошо, верно?
Var(Y¯)=Var(1n∑i=1nYi)=1n2∑i=1nVar(Yi)
XiYi
— MT

Кроме того, вы можете выделить постоянную из ковариации на этом шаге: хотя это не в обоих элементах потому что формула для ковариации мультипликативна, верно?
1n1∑i=1n(xi−x¯)2Cov{∑i=1nYi,∑j=1n(xj−x¯)Yj}
— MT

1
@oort, в числителе у вас есть сумма терминов, которые идентичны (и равны ), поэтому числитель равен . nσ2nσ2
— QuantIbex

1

Я понял! Ну, с помощью. Я нашел ту часть книги, в которой приведены шаги, которые нужно пройти при формулы (к счастью, она на самом деле не работает, в противном случае я бы не захотел на самом деле сделать доказательство). Я доказал каждый отдельный шаг, и я думаю, что это сработало.Var(β^0)

Я использую обозначение книги: а - термин ошибки.

SSTx=∑i=1n(xi−x¯)2,
ui

1) Покажите, что можно записать как где и .β^1β^1=β1+∑i=1nwiuiwi=diSSTxdi=xi−x¯

Это было легко, потому что мы знаем, что

β^1=β1+∑i=1n(xi−x¯)uiSSTx=β1+∑i=1ndiSSTxui=β1+∑i=1nwiui

2) Используйте часть 1 вместе с чтобы показать, что и не коррелированы, т.е. покажите, что .∑i=1nwi=0β1^u¯E[(β1^−β1)u¯]=0

E[(β1^−β1)u¯]=E[u¯∑i=1nwiui]=∑i=1nE[wiu¯ui]=∑i=1nwiE[u¯ui]=1n∑i=1nwiE(ui∑j=1nuj)=1n∑i=1nwi[E(uiu1)+⋯+E(uiuj)+⋯+E(uiun)]

и потому что iid, когда .uE(uiuj)=E(ui)E(uj)j≠i

Когда , , поэтому имеем:j=iE(uiuj)=E(ui2)

=1n∑i=1nwi[E(ui)E(u1)+⋯+E(ui2)+⋯+E(ui)E(un)]=1n∑i=1nwiE(ui2)=1n∑i=1nwi[Var(ui)+E(ui)E(ui)]=1n∑i=1nwiσ2=σ2n∑i=1nwi=σ2n⋅SSTx∑i=1n(xi−x¯)=σ2n⋅SSTx(0)=0

3) Покажите, что можно записать как . Это тоже казалось довольно простым:β0^β0^=β0+u¯−x¯(β1^−β1)

β0^=y¯−β1^x¯=(β0+β1x¯+u¯)−β1^x¯=β0+u¯−x¯(β1^−β1).

4) Используйте части 2 и 3, чтобы показать, что : Var(β0^)=σ2n+σ2(x¯)2SSTx

Var(β0^)=Var(β0+u¯−x¯(β1^−β1))=Var(u¯)+(−x¯)2Var(β1^−β1)=σ2n+(x¯)2Var(β1^)=σ2n+σ2(x¯)2SSTx.

Я считаю, что все это работает, потому что, поскольку мы представили, что и не коррелированы, ковариация между ними равна нулю, поэтому дисперсия суммы является суммой дисперсии. - это просто константа, поэтому она выпадает, как и позже в расчетах.u¯β1^−β1β0β1

5) Используйте алгебру и тот факт, что :SSTxn=1n∑i=1nxi2−(x¯)2

Var(β0^)=σ2n+σ2(x¯)2SSTx=σ2SSTxSSTxn+σ2(x¯)2SSTx=σ2SSTx(1n∑i=1nxi2−(x¯)2)+σ2(x¯)2SSTx=σ2n−1∑i=1nxi2SSTx

Там может быть опечатка в пункте 1; Я думаю, что следует читать . var(β^)β^
— QuantIbex

Возможно, вы захотите уточнить обозначения и указать, что такое и . uiSSTx
— QuantIbex

ui - это ошибка, а - общая сумма квадратов для (определено в редактировании). SSTxx
— MT

1
В пункте 1 термин отсутствует в последних двух строках. β1
— QuantIbex

1
В пункте 2, вы не можете взять из ожидания, это не является постоянной величиной. u¯
— QuantIbex
Используя наш сайт, вы подтверждаете, что прочитали и поняли нашу Политику в отношении файлов cookie и Политику конфиденциальности.
Licensed under cc by-sa 3.0 with attribution required.