Предположения для получения оценки МНК

Может кто-нибудь кратко объяснить мне, почему каждое из шести предположений необходимо для вычисления оценки OLS? Я обнаружил только мультиколлинеарность: если она существует, мы не можем инвертировать (X'X) матрицу и, в свою очередь, оценить общую оценку. А как насчет других (например, линейность, средние ошибки и т. Д.)?

least-squares assumptions

— Иева
источник

Связанный: Каков полный список обычных предположений для линейной регрессии?

— gung - Восстановить Монику

Вы ищете концептуальное объяснение или вам нужна математическая демонстрация?

— gung - Восстановить Монику

Обычные наименьшие квадраты - это числовая процедура, вам не нужно много предположений для ее вычисления (кроме обратимости). Предположения необходимы для обоснования вывода на его основе, см. Мой ответ вчера: stats.stackexchange.com/questions/148803/…

— kjetil b halvorsen

На какие именно «шесть предположений» вы ссылаетесь? Вы упоминаете только три.

— whuber

Я имею в виду 1) линейность 2) отсутствие мультиколлинеарности 3) ошибки с нулевым средним 4) сферические ошибки (гомоскедастичность и неавтокорреляция) 5) нестохастические регрессоры и 6) нормальное распределение. Итак, как я понял из ответа ниже, только первые три необходимы для того, чтобы вывести оценщик, а другие нужны только для того, чтобы убедиться, что оценщик СИНИЙ?

— Иева

Ответы:

Вы всегда можете вычислить оценку OLS, за исключением случая, когда у вас есть совершенная мультиколлинеарность. В этом случае у вас есть совершенная мультилинейная зависимость в вашей X-матрице. Следовательно, предположение о полном ранге не выполняется, и вы не можете вычислить оценщик OLS из-за проблем обратимости.

Технически, вам не нужны другие предположения OLS для вычисления оценщика OLS. Однако, согласно теореме Гаусса – Маркова, вам нужно выполнить допущение OLS (допущения clrm), чтобы ваша оценка была СИНИЙ.

Вы можете найти подробное обсуждение теоремы Гаусса – Маркова и ее математического вывода здесь:

http://economictheoryblog.com/2015/02/26/markov_theorem/

Кроме того, если вы ищете обзор допущения OLS, то есть, сколько их, что они требуют и что произойдет, если вы нарушите одно допущение OLS, вы можете найти здесь подробное обсуждение:

http://economictheoryblog.com/2015/04/01/ols_assumptions/

Я надеюсь, что это помогает, ура!

— Саймон Дегонда
источник

Нижеследующее основано на простых сечениях, для временных рядов и панелей оно несколько иное.

В популяции и, следовательно, в выборке модель можно записать так: Это предположение о линейности, которое иногда неправильно понимают. Модель должна быть линейной по параметрам, а именно $\begin{aligned} Y & = β_{0} + β_{1} x_{1} + \dots + β_{k} x_{k} + u \\ = X β + u \end{aligned}$ $\begin{align} \newcommand{\Var}{\rm Var} \newcommand{\Cov}{\rm Cov} Y &= \beta_0 + \beta_1 x_1 + … + \beta_k x_k + u \\ &= X\beta + u \end{align}$ . Вы можете делать всечто вы хотите с сам. Логи, квадраты и т. Д. Если это не так, то модель не может быть оценена с помощью OLS - вам нужен какой-то другой нелинейный оценщик. $\beta_k$ $x_i$
Случайная выборка (для сечений) Это необходимо для вывода и свойств выборки. Это не имеет никакого отношения к чистой механике OLS.
Нет идеальной коллинеарности Это означает, что не может быть идеальных отношений между . Это предположение гарантирует, что неособо, так что $x_i$ $(X’X)$ существует. $(X’X)^{-1}$
Ноль условного среднего: . Это означает, что вы правильно определили модель так, что: пропущенных переменных нет, а оцененная вами функциональная форма верна относительно (неизвестной) модели популяции. Это всегда проблематичное предположение с OLS, поскольку нет способа узнать, действительно ли оно действительно или нет. $E(u|X) = 0$
Дисперсия погрешности является постоянной и зависит от всех : $X_i$ Опять же, это ничего не значит для механики OLS, но гарантирует, что обычные стандартные ошибки верны. $\Var(u|X)=\sigma^2$
нормальность; член ошибок u не зависит от и следует . Опять же, это не имеет отношения к механике OLS, но гарантирует, что выборочное распределение является нормальным, $X_i$ $u \sim N(0,\sigma^2)$ $\beta_k$ . $\hat{\beta_k} \sim N(\beta_k , \Var(\hat{\beta_k}))$

Теперь о последствиях.

Под 1 - 6 (предположения классической линейной модели) OLS - СИНИЙ (лучший линейный несмещенный оценщик), лучший в смысле самой низкой дисперсии. Это также эффективно среди всех линейных оценок, а также всех оценок, которые используют некоторую функцию от x. Что еще более важно при 1 - 6, OLS также является несмещенной оценкой минимальной дисперсии. Это означает, что среди всех несмещенных оценок (не только линейных) OLS имеет наименьшую дисперсию. МНК также соответствует.
Под 1 - 5 (предположения Гаусса-Маркова) OLS является СИНИМ и эффективным (как описано выше).
Под 1 - 4, OLS беспристрастный и последовательный.

На самом деле OLS также непротиворечив, при более слабом предположении, чем а именно: и . Отличие от предположения 4 состоит в том, что при этом предположении вам не нужно идеально закреплять функциональные отношения. $(4)$ $(1)\ E(u) = 0$ $(2)\ \Cov(x_j , u) = 0$

— Repmat
источник

Я думаю, что вы рисуете слишком темную картину о состоянии нулевого среднего. Если бы имелось смещение, то минимизация суммы квадратов отклонений была бы неподходящей вещью, но, с другой стороны, вы можете зафиксировать смещение, сдвинув уравнение регрессии (поглощая смещение в

), а затем вы действительно имеют среднее 0. другими словами, 4 и невозможно , чтобы проверить и легко игнорировать.

β_{0}

$\beta_0$

— user3697176

Извините, но я не согласен. Или, может быть, я просто неправильно тебя понял? Не могли бы вы или выразить свое мнение или дать ссылку.

— Репмат

Я не говорю о намеренно искаженной оценке (такой как регрессия гребня), которая, как мне кажется, не интересовала ФП. Я говорю о модели вида

, в котором --- по неизвестной причине --- остаточного

имеет средний

. В этом случае легко выполнить формальное преобразование в

y = β_{0} + β_{1} x_{1} + \dots + β_{x} x_{n} + ϵ

$y=\beta_0 +\beta_1x_1+\ldots+\beta_x x_n + \epsilon$

ϵ

$\epsilon$

α \neq 0

$\alpha\ne0$

, где среднее значение

равно нулю.

y = α + β_{0} + β_{1} x_{1} + \dots + β_{x} x_{n} + η

$y=\alpha+\beta_0 +\beta_1x_1+\ldots+\beta_x x_n + \eta$

η

$\eta$

— user3697176

@ user3697176 То, что ты пишешь, неверно. Я только что опубликовал ответ, чтобы объяснить, почему.

— Алекос Пападопулос

Если предположение 1 не выполняется, можем ли мы по-прежнему использовать OLS для оценки ковариации населения (даже если мы знаем, что линейных отношений нет)?

— максимум

Комментарий в другом вопросе вызвал сомнения в важности условия , утверждая, что его можно исправить, добавив постоянный член в спецификацию регрессии, и поэтому «его можно легко игнорировать». $E(\mathbf u \mid \mathbf X) =0$

Это не так. Включение постоянного члена в регрессию будет поглощать, возможно, ненулевое условное среднее значение члена ошибки, если мы предположим, что это условное среднее уже является постоянной величиной, а не функцией регрессоров . Это важнейшее предположение, которое должно быть сделано независимо от того, включаем ли мы постоянный термин или нет:

E (u ∣ X) = c o n s t .

$E(\mathbf u \mid \mathbf X) =const.$

Если это так, то ненулевое среднее становится помехой, которую мы можем просто решить, включив постоянный член.

Но если это не выполняется (т. Е. Если условное среднее не является нулевой или ненулевой константой ), включение постоянного члена не решает проблему: то, что он будет «поглощать» в этом случае, является величиной это зависит от конкретной выборки и реализации регрессоров. На самом деле неизвестный коэффициент, связанный с рядом единиц, на самом деле не постоянный, а переменный, зависящий от регрессоров через непостоянное условное среднее значение члена ошибки.

Что это значит? Для упрощения предположим простейший случай, когда ( индексирует наблюдения), но . То есть, термин ошибки является средне-независимым от регрессоров, кроме его современных (в $E(u_i \mid \mathbf X_{-i})=0$ $i$ $E(u_i \mid \mathbf x_{i})=h(\mathbf x_i)$ $\mathbf X$ мы не включаем ряд единиц).

Предположим, что мы указываем регрессию с включением постоянного члена (регрессора из ряда единиц).

y = a + X β + ε

$\mathbf y = \mathbf a + \mathbf X\mathbf β + \mathbf ε$

и компактная запись

y = Z γ + ε

$\mathbf y = \mathbf Z\mathbf γ + \mathbf ε$

где , , , . $\mathbf a = (a,a,a...)'$ $\mathbf Z = [\mathbf 1: \mathbf X]$ $\mathbf γ = (a, \mathbf β)'$ $\mathbf ε = \mathbf u - \mathbf a$

Тогда оценщик OLS будет

\hat{γ} = γ + {(Z^{'} Z)}^{- 1} Z^{'} ε

$\hat {\mathbf γ} = \mathbf γ + \left(\mathbf Z'\mathbf Z\right)^{-1}\mathbf Z'\mathbf ε$

Для непредвзятости нам нужно . Но $E\left[\mathbf ε\mid \mathbf Z\right] =0$

E [ε_{i} ∣ x_{i}] = E [u_{i} - a ∣ x_{i}] = h (x_{i}) - a

$E\left[ ε_i\mid \mathbf x_i\right] = E\left[u_i-a\mid \mathbf x_i\right] = h(\mathbf x_i)-a$

$i$ $h(\mathbf x_i)$ не является постоянной функцией. Так

E [ε ∣ Z] \neq 0 ⟹ E (\hat{γ}) \neq γ

$E\left[\mathbf ε\mid \mathbf Z\right] \neq 0 \implies E(\hat {\mathbf γ}) \neq \mathbf γ$

$E(u_i \mid \mathbf x_{i})=h(\mathbf x_i)\neq h(\mathbf x_j)=E(u_j \mid \mathbf x_{j})$ , then even if we include a constant term in the regression, the OLS estimator will not be unbiased, meaning also that the Gauss-Markov result on efficiency, is lost.

Moreover, the error term $\mathbf ε$ has a different mean for each $i$ , and so also a different variance (i.e. it is conditionally heteroskedastic). So its distribution conditional on the regressors differs across the observations $i$ .

But this means that even if the error term $u_i$ is assumed normal, then the distribution of the sampling error $\hat {\mathbf γ} - \mathbf γ$ will be normal but not zero-mean mormal, and with unknown bias. And the variance will differ. So

If $E(u_i \mid \mathbf x_{i})=h(\mathbf x_i)\neq h(\mathbf x_j)=E(u_j \mid \mathbf x_{j})$ , then even if we include a constant term in the regression, Hypothesis testing is no longer valid.

In other words, "finite-sample" properties are all gone.

We are left only with the option to resort to asymptotically valid inference, for which we will have to make additional assumptions.

So simply put, Strict Exogeneity cannot be "easily ignored".

— Alecos Papadopoulos
источник

I'm not completely sure I understand this. Isn't assuming that the mean is a not a function of the regressors equivalent to assuming homoscedasticity?

— Batman

@Batman To what part of my post are you referring to?

— Alecos Papadopoulos

When you say "The inclusion of a constant term in the regression will absorb the possibly non-zero conditional mean of the error term if we assume that this conditional mean is already a constant and not a function of the regressors. This is the crucial assumption that must be made independently of whether we include a constant term or not." Isn't assuming that the conditional mean isn't a function of the regressors exactly what we're assuming when we assume homoscedasticity?

— Batman

@Batman Homoskedasticity is an assumption about the variance. Assuming mean -independence does not imply that

E (u_{j}^{2} ∣ x)

$E(u^2_j \mid \mathbf x)$ is also a constant, which is also needed for conditional homoskedasticity. In fact, mean-independence,

E (u ∣ x) = c o n s t .

$E(u \mid x) =const.$ together with conditional heteroskedasticity,

E (u^{2} ∣ x) = g (x)

$E(u^2 \mid x) = g(x)$ is a standard model variant.

— Alecos Papadopoulos