Условная средняя независимость подразумевает объективность и непротиворечивость оценки МНК.

Рассмотрим следующую модель множественной регрессии:

\begin{matrix} (1) & Y = X β + Z δ + U . \end{matrix}

$Y=X\beta+Z\delta+U.\tag{1}$

Здесь $Y$ - вектор столбца $n\times 1$ ; Матрица $X$ a $n\times (k+1)$ ; $\beta$ a $(k+1)\times 1$ вектор-столбец; Матрица $Z$ a $n\times l$ ; $\delta$ $l\times 1$ вектор - столбец; и $U$ - член ошибки, вектор столбца $n\times1$ .

ВОПРОС

Мой преподаватель, учебник Введение в эконометрику, 3-е изд. Джеймсом Х. Стоком и Марком У. Уотсоном, с. 281, и Эконометрика: обзорная сессия экзамена Хонор (PDF) , с. 7, выразил мне следующее.

Если мы предположим, что называется условной средней независимостью , что по определению означает, что $\begin{matrix} (2) & E (U | X, Z) = E (U | Z), \end{matrix}$ $E(U|X,Z)=E(U|Z),\tag{2}$
и если предположение наименьших квадратов выполнено, за исключением условного предположения среднего нуля $E(U|X,Z)=0$ (поэтому мы предполагаем, что $E(U|X,Z)=E(U|Z) \neq 0$ ) (см. 1- 3 ниже),
Затем, МНК - оценка из в остается беспристрастным и последовательным, при этом более слабом наборе допущений. $\hat{\beta}$ $\beta$ $(1)$

Как мне доказать это предложение? Т.е. из вышеприведенных 1 и 2 следует, что оценка OLS для $\beta$ дает нам объективную и непротиворечивую оценку для $\beta$ ? Есть ли исследовательская статья, подтверждающая это предложение?

КОММЕНТАРИЙ

Простейший случай дается при рассмотрении модели линейной регрессии

Y_{i} = β_{0} + β_{1} X_{i} + β_{2} Z_{i} + u_{i}, i = 1, 2, \dots, n,

$Y_i=\beta_0+\beta_1X_i+\beta_2Z_i+u_i,\quad i=1,2,\ldots,n,$ и доказатьчто МНК оценки

из

является несмещеннойесли

для каждого

{\hat{β}}_{1}

$\hat{\beta}_1$

β_{1}

$\beta_1$

E (u_{i} | X_{i}, Z_{i}) = E (u_{i} | Z_{i})

$E(u_i|X_i,Z_i)=E(u_i|Z_i)$

i

$i$

ДОКАЗАТЕЛЬСТВО БЕЗОПАСНОСТИ, СЧИТАЯ, ЧТО $U_i$ И $Z_i$ СОВМЕСТНО НОРМАЛЬНО РАСПРЕДЕЛЕНЫ

Определите $V=U-E(U|X,Z)$ , тогда $U=V+E(U|X,Z)$ и

\begin{matrix} (*) & E (V | X, Z) = 0 . \end{matrix}

$E(V|X,Z)=0\tag{*}.$ Таким образом,

(1)

$(1)$ можно переписать в виде

\begin{matrix} (3) & Y = X β + Z δ + E (U | X, Z) + V . \end{matrix}

$Y=X\beta+Z\delta+E(U|X,Z)+V.\tag{3}$ К

(2)

$(2)$ тогда следуетчто

\begin{matrix} (4) & Y = X β + Z δ + E (U | Z) + V . \end{matrix}

$Y=X\beta+Z\delta+E(U|Z)+V.\tag{4}$ Теперь, поскольку

U_{i}

$U_i$ и

Z_{i}

$Z_i$ совместно распределены нормально, теория нормальных распределений, ср. Вывод условных распределений многомерного нормального распределенияговорит о том, что (действительно, нам не нужно предполагать совместную нормальность, а только это тождество)

\begin{matrix} (**) & E (U | Z) = Z γ \end{matrix}

$E(U|Z)=Z\gamma\tag{**}$ для некоторого

l

$l$ по

1

$1$ вектору

γ \neq 0

$\gamma\neq\textbf{0}$ .

Теперь $(4)$ становится

\begin{matrix} (5) & Y = X β + Z (δ + γ) + V . \end{matrix}

$Y=X\beta+Z(\delta+\gamma)+V.\tag{5}$ Для модели

(5)

$(5)$ все предположения о наименьших квадратах выполнены, так как член ошибки

V

$V$ удовлетворяет условию условного среднего нуля. Это означает , что МНК оценки

; из

будет несмещенной, если мы пусть

, и пусть

будет

\hat{β}

$\hat{\beta}$

β

$\beta$

ρ = δ + γ

$\rho=\delta+\gamma$

W = (X, Z)

$W=(X,Z)$

n

$n$ от

(k + 1) + l

$(k+1)+l$ матрицасоставленная из

X

$X$ и

Z

$Z$ , то МНК оценка

β

$\beta$ в

(5)

$(5)$ задаетсяучетом

\begin{aligned} ({\hat{β}}^{T}, {\hat{ρ}}^{T})^{T} & = (W^{T} W)^{- 1} W^{T} Y \\ = (W^{T} W)^{- 1} W^{T} (W (β^{T}, ρ^{T})^{T} + V) \\ = (β^{T}, ρ^{T})^{T} + (W^{T} W)^{- 1} W^{T} V \end{aligned}

$\begin{align}(\hat{\beta}^T,\hat{\rho}^T)^T &=(W^TW)^{-1}W^TY\\ &=(W^TW)^{-1}W^T(W(\beta^T,\rho^T)^T+V)\\ &=(\beta^T,\rho^T)^T+(W^TW)^{-1}W^TV\end{align}$

и , таким образом ,

\begin{aligned} E (({\hat{β}}^{T}, {\hat{ρ}}^{T})^{T} | W) & = (β^{T}, ρ^{T})^{T} + (W^{T} W)^{- 1} W s^{T} E (V | W) \\ = (β^{T}, ρ^{T})^{T} + (W^{T} W)^{- 1} W^{T} 0 \\ = (β^{T}, ρ^{T})^{T}, \end{aligned}

$\begin{align}E((\hat{\beta}^T,\hat{\rho}^T)^T|W)&=(\beta^T,\rho^T)^T+(W^TW)^{-1}Ws^TE(V|W)\\&=(\beta^T,\rho^T)^T+(W^TW)^{-1}W^T\textbf{0}\\&=(\beta^T,\rho^T)^T,\end{align}$ где вторая строка следует из

(*)

$(*)$ . Таким образом

является условно несмещенной оценкой

так как МНК оценкиприведенной для модели

coinicides с учетомчто для модели

. Теперь, по закону полного математического ожидания

\hat{β}

$\hat{\beta}$

β

$\beta$

(1)

$(1)$

(5)

$(5)$

\begin{aligned} E (\hat{β}) & = E (E (\hat{β} | W)) \\ = E (β) \\ = β, \end{aligned}

$\begin{align}E(\hat{\beta})&=E(E(\hat{\beta}|W))\\ &=E(\beta)\\ &=\beta,\end{align}$ итаким образом

является несмещенной оценкой для

\hat{β}

$\hat{\beta}$

β

$\beta$

(Можно отметить , что $E(\hat{\rho})=\rho=\delta+\gamma\neq\delta$ ; , так что коэффициент на $Z$ не обязательно несмещенный.)

Однако в приведенном выше частном случае предполагается, что $U_i$ и $Z_i$ совместно распределены нормально, как я могу доказать утверждение без этого предположения?

Предполагая, что $E(U|Z)=Z\gamma$ всегда достаточно, конечно (ср. $(**)$ ), но я должен вывести результат, используя только $(2)$ и предположение о наименьших квадратах, исключая условие условного среднего нуля (см. ниже).

ОТНОСИТЕЛЬНО ПОСТОЯННОСТИ

Я думаю , можно также видеть , что оценка соответствует для , заметив , что в регрессионной модели все наименьших квадратов предположения удовлетворены, в том числе и в предположении , что (новый) термин ошибка удовлетворяет Условный Mean Нулевой предположение ( ср. и см. ниже). $\hat{\beta}$ $\beta$ $(5)$ $V$ $(*)$

Позже я могу добавить доказательство согласованности, основанное на серии упражнений в разделе Введение в эконометрику, 3-е изд. Джеймсом Х. Стоком и Марком У. Уотсоном, гл. 18. Однако это доказательство довольно длинное. Но дело здесь в том, что приведенное в упражнениях доказательство предполагает $(**)$ , поэтому мне все еще интересно, действительно ли предположение $(2)$ достаточным.

SUBQUERY 1

В Введение в эконометрику, 3-е изд. Джеймсом Х. Стоком и Марком У. Уотсоном, как говорят, на с. 300, что предположение $(**)$ можно «ослабить», используя теорию нелинейной регрессии. Что они могут или могут иметь в виду под этим?

НАИМЕНОВАНИЕ КРУПНЕЙШИХ КВАДРАТОВ

Здесь я исключаю предположение условного среднего нуля, что $E(U|X,Z)=0$ поскольку утверждение, которое мы здесь пытаемся доказать, допускает случаи, когда $E(U|X,Z)\neq 0$ . Они являются , например , случаи , когда $Z$ коррелирует с $U$ . Ср Эконометрика: обзорная сессия экзамена Хонор (PDF) , с. 7.

Предположение наименьших квадратов следующее.

Объединенные распределения $(Y_i,X_i,Z_i)$ , $i=1,2,\ldots,n,$ являются iid, где $Y_i$ - это $i$ й элемент в $Y$ и где $X_i$ и $Z_i$ - это $i$ : го векторов - строк в $X$ и $Z$ .
Большие выбросы маловероятно, то есть для каждого $i$ , $X_i, Z_i$ и $U_i$ имею конечные четвертые моменты, где $U_i$ это $i$ : й элемент в $U$ .
$(X,Z)$ имеет полный ранг столбца (т. Е. Нет совершенной мультиколлинеарности; это обеспечивает обратимость $W^TW$ ).
( Допущения расширенного наименьших квадратов : хотя я не думаю, что это необходимо (и мне сказали, что это не так), мы можем также предположить гомоскедастичность, т.е. $\text{Var}(U_i|X_i,Z_i)=\sigma^2_U$ для каждого $i$ , и что заданное условное распределение $U_i$ $(X_i,Z_i)$ является нормальным для каждого $i$ (т.е. мы имеем нормальные ошибки.))

ПРИМЕЧАНИЕ ПО ТЕРМИНОЛОГИИ

В $(1)$ предположение условного среднего нуля является предположением, что $E(U|X,Z)=0$ . Условное предположение о средней независимости, однако, является предположением, что $E(U|X,Z)=E(U|Z)$ .

Эта терминология используется, например, в Введение в эконометрику, 3-е изд. Джеймсом Х. Стоком и Марком У. Уотсоном, с. 281; и эконометрический анализ данных поперечного сечения и панелей, 1-е изд. Джеффри М. Вулдридж, р. 607. См. Также Условные ограничения независимости: тестирование и оценка для подобных обсуждений.

ДОПОЛНИТЕЛЬНЫЕ МЫСЛИ И ПОДПИСЬ 2

Я думаю, что вопреки Джеймсу Х. Стоку и Марку У. Уотсону, условная средняя независимость не обеспечивает объективную оценку OLS для $\beta$ . Это связано с тем, что $E(U|Z)$ может принимать нелинейные формы, такие как $E(U|Z)=p(Z)$ где $p(Z)$ - многочлен от $Z$ , или $E(U|Z)=\exp( Z\gamma)$ где $\gamma$ это какой-то параметр, который еще предстоит оценить (здесь я использую матричную экспоненту ), а затем, я думаю, нужно применить нелинейную регрессию , что обычно оставляет нам смещенные оценки. Кроме того, оценка OLS в (1) для $\beta$ может даже не совпадать с оценкой OLS для $\beta$ в $(4)$ если $E(U|Z)$ принимает определенные нелинейные формы. (Психологически я также чувствую, что утверждение, сделанное в книге Stock & Watson, слишком хорошо, чтобы быть правдой.)

Таким образом, дополнительный вопрос состоит в том, есть ли какой-нибудь контрпример к предположению, что условная независимость среднего значения приводит к объективной оценке OLS?

SUBQUERY 3

В « Безвредной эконометрике» Angrist & Pischke утверждает в подразделе 3.3, с. 68--91, что при условной независимости (CI), т. Е. $Y$ не зависит от $X$ заданном $W$ (что, я полагаю, является более сильным условием, чем условное предположение о средней независимости, приведенное выше), существует тесная связь между совпадающими оценками влияние $X$ на $Y$ и коэффициентов на $X$ в регрессии $Y$ на $X$ и $W$ что мотивирует это при CI оценкой коэффициента OLS в $X$ в $(1)$ менее предвзятым, чем если бы CI не держался (все остальное равно).

Теперь, можно ли как-то использовать эту идею для ответа на мой главный вопрос здесь?

— Элиас
источник

@ Сиань Что ты имеешь в виду? Это определение условной средней независимости, данное в моем учебнике: Если мы в линейной регрессии

имеем

, то мы говорим, что имеем условную среднюю независимость. Я просто думал, что мой способ написания более общий.

Y_{i} = β_{0} + β_{1} X_{i} + β_{2} Z_{i} + u_{i}

$Y_i=\beta_0+\beta_1X_i+\beta_2Z_i+u_i$

E (u_{i} | X_{i}, Z_{i}) = E (u_{i} | Z_{i})

$E(u_i|X_i,Z_i)=E(u_i|Z_i)$

— Элиас

@ Xi'an Как бы вы определили «условная независимость $ ce» в этом случае? На мой взгляд, «условная независимость» - это понятие, отличное от «условно-независимой независимости». Они могут или не могут быть концептуально связаны.

— Элиас

@ Сиань Вот так я понимаю концепции: условная независимость - это просто

, а условная средняя независимость -

P (A \cap B | C) = P (A | C) P (B | C)

$P(A\cap B|C)=P(A|C)P(B|C)$

E (A | B, C) = E (A | C)

$E(A|B,C)=E(A|C)$

— Элиас

Где Сиань комментарий?

— Майкл Р. Черник

@MichaelChernick Его комментарий был первым. Я думаю, он, должно быть, удалил это. Насколько я помню, он сказал, что

не означает условной независимости, и я ответил.

E (U | X, Z) = E (U | Z)

$E(U|X,Z)=E(U|Z)$

— Элиас

Ответы:

Это ложь. Как вы заметили, если вы внимательно прочитаете Сток и Уотсона, они на самом деле не подтверждают утверждение, что OLS является беспристрастным для при условно средней независимости. Они подтверждают гораздо более слабое утверждение, что OLS несмещен для если . Затем они говорят что-то неопределенное о нелинейных наименьших квадратах. $\beta$ $\beta$ $E(u|x,z)=z\gamma$

Ваше уравнение (4) содержит то, что вам нужно, чтобы убедиться, что утверждение неверно. Оценка уравнения (4) по OLS при исключении переменной приводит к смещению пропущенных переменных. Как вы, вероятно, помните, член смещения из пропущенных переменных (когда пропущенная переменная имеет коэффициент 1) управляется коэффициентами из следующей вспомогательной регрессии: . смещение в исходной регрессии для является $E(u|x,z)$

\begin{aligned} E (u | z) = x α_{1} + z α_{2} + ν \end{aligned}

$\begin{align} E(u|z) = x\alpha_1 + z\alpha_2 + \nu \end{align}$

β

$\beta$

α_{1}

$\alpha_1$ из этой регрессии, и смещение на

является

. Если

коррелируется с

, после линейного управления для

будет отличным от нуля, а коэффициент OLS будет смещен.

γ

$\gamma$

α_{2}

$\alpha_2$

x

$x$

E (u | z)

$E(u|z)$

z

$z$

α_{1}

$\alpha_1$

Вот пример, чтобы доказать свою точку зрения:

\begin{aligned} ξ & \sim F (), ζ \sim G (), ν \sim H () all independent \\ z & = ξ \\ x & = z^{2} + ζ \\ u & = z + z^{2} - E (z + z^{2}) + ν \end{aligned}

$\begin{align} \xi &\sim F(), \; \zeta \sim G(), \; \nu \sim H()\quad \text{all independent}\\ z &=\xi\\ x &= z^2 + \zeta\\ u &= z+z^2-E(z+z^2)+\nu \end{align}$

Глядя на формулу для , ясно, что Глядя на вспомогательную регрессию, ясно, что ( при отсутствии некоторого случайного выбора ) не будет нулевым. $u$ $E(u|x,z)=E(u|z)=z+z^2-E(z+z^2)$ $F,G,H$ $\alpha_1$

Вот очень простой пример, в Rкотором демонстрируется точка:

set.seed(12344321)
z <- runif(n=100000,min=0,max=10)
x <- z^2 + runif(n=100000,min=0,max=20)
u <- z + z^2 - mean(z+z^2) + rnorm(n=100000,mean=0,sd=20)
y <- x + z + u

summary(lm(y~x+z))

# auxiliary regression
summary(lm(z+z^2~x+z))

Обратите внимание, что первая регрессия дает вам коэффициент по который смещен на 0,63, отражая тот факт, что «имеет некоторое в нем», как и . Также обратите внимание, что вспомогательная регрессия дает оценку смещения около 0,63. $x$ $x$ $z^2$ $E(u|z)$

Итак, о чем говорят Сток и Уотсон (и ваш лектор)? Вернемся к вашему уравнению (4):

\begin{aligned} y = x β + z γ + E (u | z) + v \end{aligned}

$\begin{align} y = x\beta + z\gamma + E(u|z) + v \end{align}$

Важно отметить, что пропущенная переменная является только функцией . Кажется, что если бы мы могли действительно хорошо контролировать , этого было бы достаточно, чтобы очистить смещение от регрессии, даже если может коррелировать с . $z$ $z$ $x$ $u$

Предположим, что мы оценили приведенное ниже уравнение, используя либо непараметрический метод для оценки функции либо используя правильную функциональную форму . Если бы мы использовали правильную функциональную форму, мы оценили бы ее нелинейными наименьшими квадратами (объясняя загадочный комментарий о NLS): Это дало бы нам непротиворечивую оценку для $f()$ $f(z)=z\gamma+E(u|z)$

\begin{aligned} y = x β + f (z) + v \end{aligned}

$\begin{align} y = x\beta + f(z) + v \end{align}$

β

$\beta$ потому что больше нет проблемы с пропущенными переменными.

В качестве альтернативы, если бы у нас было достаточно данных, мы могли бы пройти «весь путь» в контроле за . Мы могли бы посмотреть на подмножество данных, где , и просто выполнить регрессию: Это дало бы несмещенные, согласованные оценки для за исключением, конечно, перехвата, который был бы загрязнен . Очевидно, что вы также можете получить (другую) непротиворечивую, несмещенную оценку, запустив эту регрессию только для точек данных, для которых . И еще один для точек, где $z$ $z=1$

\begin{aligned} y = x β + v \end{aligned}

$\begin{align} y = x\beta + v \end{align}$

β

$\beta$

f (1)

$f(1)$

z = 2

$z=2$

z = 3

$z=3$ , И т.д. Тогда у вас будет куча хороших оценщиков, из которых вы сможете сделать отличную оценку, скажем, усредняя их все как-нибудь.

Эта последняя мысль является источником вдохновения для сопоставления оценок. Поскольку у нас обычно недостаточно данных, чтобы буквально выполнить регрессию только для или даже для пар точек, где идентично, вместо этого мы запускаем регрессию для точек, где «достаточно близко» к идентичности. $z=1$ $z$ $z$

— Билл
источник

$(4)$

Y = X β + Z δ + (E (U | Z) + V)

$Y=X\beta+Z\delta+\Big(E(U|Z)+V\Big)$

$M_Z = I - Z(Z'Z)^{-1}Z'$ $M_ZZ = \mathbf 0$

По «разделенным результатам регрессии» мы имеем

{\hat{β}}_{O L S} - β = (X^{'} M_{Z} X)^{- 1} X^{'} M_{Z} Z δ + (X^{'} M_{Z} X)^{- 1} X^{'} M_{Z} E (U ∣ Z) + (X^{'} M_{Z} X)^{- 1} X^{'} M_{Z} V

$\hat \beta_{OLS} - \beta = (X'M_ZX)^{-1}X'M_ZZ\delta + (X'M_ZX)^{-1}X'M_ZE(U\mid Z) + (X'M_ZX)^{-1}X'M_ZV$

Первый член справа уже равен нулю. Принимая ожидаемое значение повсюду, а затем применяя свойство tower для условного ожидания, третий член также будет равен нулю (используя условную независимость среднего значения в более слабой форме). Но это настолько далеко, что это более слабое предположение берет нас, потому что мы останемся с

E ({\hat{β}}_{O L S}) - β = E [(X^{'} M_{Z} X)^{- 1} X^{'} M_{Z} E (U ∣ Z)]

$E\Big(\hat \beta_{OLS} \Big)- \beta = E\Big[(X'M_ZX)^{-1}X'M_ZE(U\mid Z) \Big]$

$E(U\mid Z)$ $Z$ $M_ZZ$
$\beta$

E (U ∣ X, Z) = E (U ∣ Z) = Z γ

$E(U\mid X, Z)=E(U\mid Z)=Z\gamma$

$U$ $Z$

$\hat \beta_{OLS}$

— Алекос Пападопулос
источник

M_{Z}

$M_Z$

M_{z}

$M_z$

Z

$Z$

z

$z$