Производная дисперсия коэффициента регрессии в простой линейной регрессии


38

В простой линейной регрессии имеем , где . Я вывел оценщик: где и - примерные значения и .y=β0+β1x+uuiidN(0,σ2)

β1^=i(xix¯)(yiy¯)i(xix¯)2 ,
x¯y¯xy

Теперь я хочу найти дисперсию . Я получил что-то вроде следующего: β^1

Var(β1^)=σ2(11n)i(xix¯)2 .

Вывод выглядит следующим образом:

Var(β1^)=Var(i(xix¯)(yiy¯)i(xix¯)2)=1(i(xix¯)2)2Var(i(xix¯)(β0+β1xi+ui1nj(β0+β1xj+uj)))=1(i(xix¯)2)2Var(β1i(xix¯)2+i(xix¯)(uijujn))=1(i(xix¯)2)2Var(i(xix¯)(uijujn))=1(i(xix¯)2)2×E[(i(xix¯)(uijujn)E[i(xix¯)(uijujn)]=0)2]=1(i(xix¯)2)2E[(i(xix¯)(uijujn))2]=1(i(xix¯)2)2E[i(xix¯)2(uijujn)2] , since ui 's are iid=1(i(xix¯)2)2i(xix¯)2E(uijujn)2=1(i(xix¯)2)2i(xix¯)2(E(ui2)2×E(ui×(jujn))+E(jujn)2)=1(i(xix¯)2)2i(xix¯)2(σ22nσ2+σ2n)=σ2i(xix¯)2(11n)

Я сделал что-то не так здесь?

Я знаю, что если я сделаю все в матричной записи, я получу , Но я пытаюсь получить ответ, не используя матричную нотацию, просто чтобы убедиться, что я понимаю концепции.Var(β1^)=σ2i(xix¯)2


2
Да, ваша формула из матричной записи верна. Глядя на формулу, о которой идет речь, это выглядит так, как будто вы могли бы использовать образец стандартного отклонения где-то вместо стандартного отклонения совокупности? Не видя происхождения, трудно сказать больше. 11n=n1n
TooTone

Общие ответы также были размещены в дублирующейся ветке по адресу stats.stackexchange.com/questions/91750 .
whuber

Ответы:


35

В начале вашего вывода вы умножаете скобки , в процессе расширяя и и . Первое зависит от переменной суммы , а второе - нет. Если вы оставите как есть, деривация будет намного проще, потому что i(xix¯)(yiy¯)yiy¯iy¯

i(xix¯)y¯=y¯i(xix¯)=y¯((ixi)nx¯)=y¯(nx¯nx¯)=0

следовательно

i(xix¯)(yiy¯)=i(xix¯)yii(xix¯)y¯=i(xix¯)yi=i(xix¯)(β0+β1xi+ui)

а также

Var(β1^)=Var(i(xix¯)(yiy¯)i(xix¯)2)=Var(i(xix¯)(β0+β1xi+ui)i(xix¯)2),substituting in the above=Var(i(xix¯)uii(xix¯)2),noting only ui is a random variable=i(xix¯)2Var(ui)(i(xix¯)2)2,independence of ui and, Var(kX)=k2Var(X)=σ2i(xix¯)2

какой результат вы хотите.


Как примечание, я потратил много времени, пытаясь найти ошибку в вашем выводе. В конце концов я решил, что благоразумие - лучшая часть доблести, и лучше было попробовать более простой подход. Однако, к сведению, я не был уверен, что этот шаг оправдан потому что он пропускает перекрестные термины из-за .

=.1(i(xix¯)2)2E[(i(xix¯)(uijujn))2]=1(i(xix¯)2)2E[i(xix¯)2(uijujn)2] , since ui 's are iid
jujn

Я заметил, что давно мог бы использовать более простой подход, но был полон решимости копать глубже и придумывать один и тот же ответ, используя разные подходы, чтобы убедиться, что я понимаю концепции. Я понимаю, что сначала из нормальных уравнений (FOC по методу наименьших квадратов), поэтому , плюс , поэтому . Так что, во-первых, не будет слова . juj^=0u^¯=iuin=0u^¯=y¯y^¯=0y¯=y^¯jujn
mynameisJEFF

хорошо, в вашем вопросе акцент был сделан на избежание матричной записи.
TooTone

Да, потому что я смог решить это с помощью матричной записи. И обратите внимание, из моего последнего комментария, я не использовал линейную алгебру. В любом случае, спасибо за ваш отличный ответ ^. ^
mynameisJEFF

извините, мы говорим здесь о разных целях? Я также не использовал никаких матричных обозначений в своем ответе, и я подумал, что это то, что вы спрашивали в своем вопросе.
TooTone

извините за недопонимание, ха-ха ...
mynameisJEFF

2

Я полагаю, что проблема в вашем доказательстве заключается в том, что вы берете ожидаемое значение квадрата . Это имеет вид , где . Итак, при возведении в квадрат мы получаем . Теперь из явного вычисления , поэтому asi(xix¯)(uijujn)E[(iaibi)2]ai=xix¯;bi=uijujnE[i,jaiajbibj]=i,jaiajE[bibj]E[bibj]=σ2(δij1n)E[i,jaiajbibj]=i,jaiajσ2(δij1n)=iai2σ2iai=0,


2

Начните с "Вывод выглядит следующим образом:" 7-й "=" неправильно.

Потому что

i(xix¯)(uiu¯)

=i(xix¯)uii(xix¯)u¯

=i(xix¯)uiu¯i(xix¯)

=i(xix¯)uiu¯(ixinx¯)

=i(xix¯)uiu¯(ixiixi)

=i(xix¯)uiu¯0

=i(xix¯)ui

Таким образом, после 7-го "=" это должно быть:

1(i(xix¯)2)2E[(i(xix¯)ui)2]

=1(i(xix¯)2)2E(i(xix¯)2ui2+2ij(xix¯)(xjx¯)uiuj)

=1(i(xix¯)2)2E(i(xix¯)2ui2)+2E(ij(xix¯)(xjx¯)uiuj)

= , потому что и независимы и означают 0, поэтому1(i(xix¯)2)2E(i(xix¯)2ui2)uiujE(uiuj)=0

=1(i(xix¯)2)2(i(xix¯)2E(ui2))

σ2(i(xix¯)2)2


1
Может быть полезно, если вы отредактировали свой ответ, добавив правильную строку.
17

Ваш ответ автоматически помечается как низкое качество, потому что он очень короткий. Пожалуйста, подумайте над расширением своего ответа
Glen_b
Используя наш сайт, вы подтверждаете, что прочитали и поняли нашу Политику в отношении файлов cookie и Политику конфиденциальности.
Licensed under cc by-sa 3.0 with attribution required.