Как именно «модель случайных эффектов» в эконометрике относится к смешанным моделям вне эконометрики?

Раньше я думал, что «модель случайных эффектов» в эконометрике соответствует «смешанной модели со случайным перехватом» вне эконометрики, но теперь я не уверен. Является ли?

Эконометрика использует такие термины, как «фиксированные эффекты» и «случайные эффекты», несколько иначе, чем литература по смешанным моделям, и это вызывает печальную путаницу. Рассмотрим простую ситуацию, когда линейно зависит от но с разным пересечением в разных группах измерений:$y$$x$

$$y_{it} = \beta x_{it} + u_i + \epsilon_{it}.$$

Здесь каждая единица / группа наблюдается в разные моменты времени . Эконометрики называют это «панелью данных».$i$$t$

• В терминологии смешанных моделей мы можем рассматривать как фиксированный эффект или как случайный эффект (в данном случае это случайный перехват). Обрабатывать его как фиксированный означает подгонку и для минимизации квадратичной ошибки (т.е. запуск регрессии OLS с фиктивными переменными группы). Рассматривая его как случайный, мы дополнительно предполагаем, что и используем максимальную вероятность для соответствия и вместо того, чтобы подгонять каждый отдельно. Это приводит к эффекту «частичного объединения», когда оценки сжимаются к их среднему значению .$u_i$U я U я ~ N ( U 0 , σ 2 U ) U 0 σ 2 U U я U я U$\hat \beta$$\hat u_i$$u_i\sim\mathcal N(u_0,\sigma^2_u)$$u_0$$\sigma^2_u$$u_i$$\hat u_i$$\hat u_0$

  R formula when treating group as fixed:    y ~ x + group
  R formula when treating group as random:   y ~ x + (1|group)
  

• В терминологии эконометрики мы можем рассматривать всю эту модель как модель с фиксированными эффектами или как модель случайных эффектов. Первый вариант эквивалентен фиксированному эффекту, описанному выше (но у эконометрики есть свой способ оценки в этом случае, называемый ). Раньше я думал, что второй вариант эквивалентен случайному эффекту выше; например, @JiebiaoWang в своем высоко оцененном ответе на вопрос «В чем разница между случайными эффектами, фиксированными эффектами и маргинальной моделью? Говорит, что $\beta$"within" estimator

  В эконометрике модель случайных эффектов может относиться только к модели случайного перехвата, как в биостатистике

Хорошо, давайте проверим правильность этого понимания. Вот некоторые случайные данные, сгенерированные @ChristophHanck в его ответе «В чем разница между моделями с фиксированным, случайным и смешанным эффектами? (Я помещаю данные здесь на pastebin для тех, кто не использует R):

@Christoph делает два подхода, используя эконометрические подходы:

fe <- plm(stackY~stackX, data = paneldata, model = "within")
re <- plm(stackY~stackX, data = paneldata, model = "random")

Первый дает оценку бета, равный -1.0451, второй 0.77031(да, положительный!). Я попытался воспроизвести его с помощью lmи lmer:

l1 = lm(stackY ~ stackX + as.factor(unit), data = paneldata)
l2 = lmer(stackY ~ stackX + (1|as.factor(unit)), data = paneldata)

Первый дает -1.045идеальное согласие с оценкой выше. Здорово. Но второе дает -1.026, что в милях от оценки случайных эффектов. Хех? Что происходит? На самом деле, что plmдаже делает , когда вызывается с model = "random"?

Что бы это ни делало, можно ли как-то понять это с точки зрения смешанных моделей?

И что за интуиция лежит в основе всего, что он делает? Я читал в нескольких эконометрических местах, что оценщик случайных эффектов является средневзвешенным значением между оценщиком фиксированных эффектов и тем, "between" estimatorкоторый является более или менее наклоном регрессии, если мы вообще не включаем групповую идентичность в модель (эта оценка сильно положительна в этом случай, вокруг 4.) Например, @ Энди пишет здесь :

Затем оценщик случайных эффектов использует средневзвешенное значение матрицы вариаций ваших данных. [...] Это делает случайные эффекты более эффективными [.]

Почему? Зачем нам это средневзвешенное значение? И, в частности, почему мы хотим это вместо использования смешанной модели?

Резюме: «модель случайных эффектов» в эконометрике и «смешанная модель случайного перехвата» - это действительно одни и те же модели, но они оцениваются по-разному. Эконометрическим способом является использование FGLS, а смешанным модельным способом является использование ML. Существуют разные алгоритмы создания FGLS, и некоторые из них (в этом наборе данных) дают результаты, очень близкие к ML.

---

1. Различия между методами оценки в plm

Я отвечу с моим тестированием plm(..., model = "random")и lmer()использованием данных, сгенерированных @ChristophHanck.

Согласно руководству по пакету plm , есть четыре варианта random.method: метод оценки компонентов дисперсии в модели случайных эффектов. @amoeba использовал стандартный swar(Swamy and Arora, 1972).

Для моделей со случайными эффектами доступны четыре оценки параметра преобразования, для которого для random.method установлено одно из значений: «swar» (Swamy and Arora (1972)) (по умолчанию), «amemiya» (Amemiya (1971)), «walhus» ( Уоллес и Хуссейн (1969)) или "nerlove" (Нерлов (1971)).

Я протестировал все четыре варианта, используя одни и те же данные, получая ошибкуamemiya и три совершенно разные оценки коэффициента для переменной stackX. Те из использования random.method='nerlove'и 'амемия' почти эквивалентны тем, из lmer()-1.029 и -1.025 против -1.026. Они также не очень отличаются от того, что получено в модели с "фиксированными эффектами", -1.045.

# "amemiya" only works using the most recent version:
# install.packages("plm", repos="http://R-Forge.R-project.org")

re0 <- plm(stackY~stackX, data = paneldata, model = "random") #random.method='swar'
re1 <- plm(stackY~stackX, data = paneldata, model = "random",  random.method='amemiya')
re2 <- plm(stackY~stackX, data = paneldata, model = "random",  random.method='walhus')
re3 <- plm(stackY~stackX, data = paneldata, model = "random",  random.method='nerlove')
l2  <- lmer(stackY~stackX+(1|as.factor(unit)), data = paneldata)

coef(re0)     #    (Intercept)   stackX    18.3458553   0.7703073 
coef(re1)     #    (Intercept)   stackX    30.217721   -1.025186 
coef(re2)     #    (Intercept)   stackX    -1.15584     3.71973 
coef(re3)     #    (Intercept)   stackX    30.243678   -1.029111 
fixef(l2)     #    (Intercept)   stackX    30.226295   -1.026482 

К сожалению, сейчас у меня нет времени, но заинтересованные читатели могут найти четыре ссылки, чтобы проверить свои процедуры оценки. Было бы очень полезно выяснить, почему они имеют такое значение. Я ожидаю, что в некоторых случаях plmпроцедура оценки с использованием lm()преобразованных данных должна быть эквивалентна процедуре максимального правдоподобия, используемой в lmer().

2. Сравнение между GLS и ML

Авторы plmпакета действительно сравнивали два в Разделе 7 своей статьи: Ив Круассан и Джованни Милло, 2008, Эконометрика данных панели в R: Пакет plm .

Эконометрика имеет дело в основном с не экспериментальными данными. Большое внимание уделяется процедурам спецификации и тестам на ошибки. Поэтому спецификации моделей, как правило, очень просты, в то время как большое внимание уделяется вопросам эндогенности регрессоров, структур зависимости в погрешностях и устойчивости оценщиков при отклонениях от нормальности. Предпочтительный подход часто является полупараметрическим или непараметрическим, а методы, согласующиеся с гетероскедастичностью, становятся стандартной практикой как при оценке, так и при тестировании.

По всем этим причинам [...] оценка модели панели в эконометрике в основном осуществляется в обобщенной системе наименьших квадратов, основанной на теореме Эйткена [...]. Напротив, продольные модели данных в nlmeи lme4оцениваются по (ограниченной или неограниченной) максимальной вероятности. [...]

Эконометрический подход GLS имеет аналитические решения в замкнутой форме, вычисляемые по стандартной линейной алгебре, и, хотя последний иногда может быть слишком сложным в вычислительном отношении на машине, выражения для оценок обычно довольно просты. ML-оценка продольных моделей, напротив, основана на численной оптимизации нелинейных функций без замкнутых решений и, таким образом, зависит от приближений и критериев сходимости.

---

3. Обновление на смешанных моделях

Я понимаю , что @ChristophHanck обеспечил полное введение о четырех random.methodиспользуемых в plmи объяснил , почему их оценки настолько различны. По просьбе @amoeba я добавлю некоторые соображения о смешанных моделях (основанных на вероятности) и их связи с GLS.

Метод, основанный на вероятности, обычно предполагает распределение как случайного эффекта, так и члена ошибки. Обычно используется предположение о нормальном распределении, но есть также некоторые исследования, предполагающие ненормальное распределение. Я буду следовать нотациям @ ChristophHanck для модели случайного перехвата и допущу несбалансированные данные, т. Пусть .$T=n_i$

Модель представляет собой с .

$$\begin{equation} y_{it}= \boldsymbol x_{it}^{'}\boldsymbol\beta + \eta_i + \epsilon_{it}\qquad i=1,\ldots,m,\quad t=1,\ldots,n_i \end{equation}$$ $\eta_i \sim N(0,\sigma^2_\eta), \epsilon_{it} \sim N(0,\sigma^2_\epsilon)$

Для каждого , Таким образом, логарифмическая функция правдоподобия$i$

$$\boldsymbol y_i \sim N(\boldsymbol X_{i}\boldsymbol\beta, \boldsymbol\Sigma_i), \qquad\boldsymbol\Sigma_i = \sigma^2_\eta \boldsymbol 1_{n_i} \boldsymbol 1_{n_i}^{'} + \sigma^2_\epsilon \boldsymbol I_{n_i}.$$ $$const -\frac{1}{2} \sum_i\mathrm{log}|\boldsymbol\Sigma_i| - \frac{1}{2} \sum_i(\boldsymbol y_i - \boldsymbol X_{i}\boldsymbol\beta)^{'}\boldsymbol\Sigma_i^{-1}(\boldsymbol y_i - \boldsymbol X_{i}\boldsymbol\beta).$$

Когда все дисперсии известны, как показано в Laird and Ware (1982), MLE является что эквивалентно GLS полученный @ChristophHanck. Таким образом, ключевое отличие заключается в оценке отклонений. Учитывая, что решения в замкнутой форме не существует, существует несколько подходов:

$$\hat{\boldsymbol\beta} = \left(\sum_i\boldsymbol X_i^{'} \boldsymbol\Sigma_i^{-1} \boldsymbol X_i \right)^{-1} \left(\sum_i \boldsymbol X_i^{'} \boldsymbol\Sigma_i^{-1} \boldsymbol y_i \right),$$ $\hat\beta_{RE}$

• непосредственно максимизация функции логарифмического правдоподобия с использованием алгоритмов оптимизации;
• Алгоритм максимизации ожидания (EM): существуют решения в замкнутой форме, но оценка для включает в себя эмпирические байесовские оценки случайного пересечения;$\boldsymbol \beta$
• комбинация двух вышеупомянутых алгоритмов: алгоритм ожидания / условного максимизации (ECME) (Schafer, 1998; пакет R lmm). С другой параметризацией существуют решения в замкнутой форме для (как указано выше) и . Решение для можно записать как где определяется как и может оцениваться в рамках EM.$\boldsymbol \beta$$\sigma^2_\epsilon$$\sigma^2_\epsilon$ $$\sigma^2_\epsilon = \frac{1}{\sum_i n_i}\sum_i(\boldsymbol y_i - \boldsymbol X_{i} \hat{\boldsymbol\beta})^{'}(\hat\xi \boldsymbol 1_{n_i} \boldsymbol 1_{n_i}^{'} + \boldsymbol I_{n_i})^{-1}(\boldsymbol y_i - \boldsymbol X_{i} \hat{\boldsymbol\beta}),$$ $\xi$$\sigma^2_\eta/\sigma^2_\epsilon$

Таким образом, MLE имеет предположения о распределении, и он оценивается в итерационном алгоритме. Ключевое различие между MLE и GLS заключается в оценке отклонений.

Круассан и Милло (2008) указали, что

В то время как в норме гомоскедастичность и отсутствие последовательной корреляции ошибок OLS также являются оценкой максимального правдоподобия, во всех других случаях имеются важные различия.

На мой взгляд, для предположения о распределении, так же как и различие между параметрическим и непараметрическим подходами, MLE будет более эффективным, когда предположение выполнено, а GLS будет более устойчивым.

Этот ответ не комментирует смешанные модели, но я могу объяснить, что делает оценщик случайных эффектов и почему он облажается на этом графике.

Резюме: оценщик случайных эффектов предполагает , что в данном примере неверно.$E[u_i \mid x ] = 0$

---

Что делает оценщик случайных эффектов?

Предположим, у нас есть модель:

$$y_{it} = \beta x_{it} + u_i + \epsilon_{it}$$

У нас есть два измерения вариации: группы и время . Чтобы оценить мы могли бы:$i$$t$$\beta$

1. Используйте только вариации временных рядов внутри группы. Это то, что делает оценщик с фиксированным эффектом (и именно поэтому его также часто называют оценщиком внутри).

2. Если является случайным, мы могли бы использовать только поперечное изменение между средними временными рядами групп. Это называется оценкой между .$u_i$

   В частности, для каждой группы возьмем среднее значение по времени в приведенной выше модели данных панели, чтобы получить:$i$

   $$\bar{y}_{i} = \beta \bar{x}_{i} + v_i \quad \quad \text{ where } v_i = u_i + \bar{\epsilon}_i$$

   Если мы запустим эту регрессию, мы получим промежуточную оценку. Заметьте, что это непротиворечивая оценка, если эффекты представляют собой случайный белый шум, не связанный с ! Если это так, то полное отбрасывание между групповыми вариациями (как мы делаем с оценщиком фиксированных эффектов) неэффективно.$u_i$$x$

Оценщик случайных эффектов в эконометрике объединяет (1) в оценщике (т.е. оценщик с фиксированными эффектами) и (2) оценщик между ними таким образом, чтобы максимизировать эффективность. Это приложение обобщенных наименьших квадратов, и основная идея - обратное взвешивание дисперсии . Чтобы максимизировать эффективность, оценщик случайных эффектов вычисляет как средневзвешенное значение в оценщике внутри и между оценщиком.$\hat \beta$

Что происходит на этом графике ...

Просто взглянув на этот график, вы можете ясно увидеть, что происходит:

• Внутри каждой группы (т.е. точек одного цвета) более высокое значение связано с более низким значением$i$$x_{it}$$y_{it}$
• Группа с более высоким имеет более высокое значение .$i$$\bar{x}_i$$u_i$

Предположение о случайных эффектах явно не выполняется. эффекты не ортогональны (в статистическом смысле), а групповые эффекты имеют четкую положительную связь с .$E[u_i \mid x ] = 0$$u_i$$x$$x$

Оценка между предполагает, что . Оценщик между ними говорит: «Я уверен, что могу наложить , сделав положительным!»$E[u_i \mid x ] = 0$$E[u_i \mid x ] = 0$$\hat \beta$

Затем, в свою очередь, оценщик случайных эффектов выключен, потому что это средневзвешенное значение в оценщике внутри и между оценщиком.

В этом ответе я хотел бы немного подробнее остановиться на ответе Мэтью +1 относительно перспективы GLS в том, что в литературе по эконометрике называется оценщиком случайных эффектов.

Перспектива GLS

Рассмотрим линейную модель Если бы он считал, что мы могли бы просто оценить модель по объединенным OLS , что равносильно игнорированию структуры данных панели и просто объединению всех наблюдений вместе ,

$$\begin{equation} y_{it}=\alpha + X_{it}\beta+u_{it}\qquad i=1,\ldots,m,\quad t=1,\ldots,T \end{equation}$$ $E(u_{it}\vert X_{it})=0$$n=mT$

Мы моделируем с использованием модели компонента ошибки$u_{it}$

$$\begin{equation} u_{it}=\eta_i+\epsilon_{it} \end{equation}$$

В матричной записи модель может быть записана как где и являются векторами с типичными элементы и , а представляет собой матрицу фиктивных переменных (один столбец на единицу). таков, что если строка соответствует наблюдению, принадлежащему единице , то имеет единицу в столбце а еще 0, .

$$\begin{equation} y=\alpha \iota_{mT}+X\beta+D\eta+\epsilon \end{equation}$$ $y$$\epsilon$$n$$y_{it}$$\epsilon_{it}$$D$$n \times m$$D$$i$$D$$i$$i=1,\ldots,m$

Кроме того, мы предполагаем, что

$$E(\epsilon\epsilon^\prime)=\sigma_\epsilon^2I$$

Индивидуальные эффекты должны быть независимыми от . Оценка случайных эффектов, в отличие от оценки фиксированных эффектов (опять же, терминология эконометрики), дополнительно требует более сильного предположения, что При этом предположении объединяется OLS будет беспристрастным, но мы можем получить оценку GLS. Предположим, что - это IID со средним нулем и дисперсией .$\eta$$\epsilon_{it}$

$$\begin{equation} E(\eta_i\vert X)=0 \end{equation}$$ $\eta_i$$\sigma^2_\eta$

Это предположение объясняет термин случайные эффекты . Кроме того, если предположить, что эти два компонента ошибок независимы, легко увидеть, что

$$\begin{align*} \operatorname{Var}(u_{it})&=\sigma^2_\eta+\sigma^2_\epsilon\\ \operatorname{Cov}(u_{it},u_{is})&=\sigma^2_\eta\\ \operatorname{Cov}(u_{it},u_{js})&=0\qquad\text{for all } i\neq j \end{align*}$$

Затем мы получаем следующую дисперсионно-ковариационную матрицу : Здесь с -векторных единиц. Следовательно, мы можем написать Для оценки GLS нас требуется . Для этого пусть ,$n\times n$$\Omega$

$$\Omega= \begin{pmatrix} \Sigma&O&\cdots&O\\ O&\Sigma&\cdots&O\\ \vdots&\vdots&&\vdots\\ O&O&\cdots&\Sigma \end{pmatrix}$$ $$\Sigma=\sigma^2_\eta \iota\iota^\prime+\sigma^2_\epsilon I_T$$ $\iota$$T$ $$\Omega=\sigma^2_\eta (I_m\otimes\iota\iota^\prime)+\sigma^2_\epsilon (I_m\otimes I_T)$$ $$\hat\beta_{RE}=(X'\Omega^{-1}X)^{-1}X'\Omega^{-1}y$$ $\Omega^{-1}$$J_T=\iota\iota^\prime$$\bar J_T=J_T/T$$E_T=I_T-\bar J_T$ . Затем напишите или , собирая члены с одинаковыми матрицами, идемпотентность и позволяют нам показать, что где . $$\Omega=T\sigma^2_\eta (I_m\otimes\bar J_T)+\sigma^2_\epsilon (I_m\otimes E_T)+\sigma^2_\epsilon (I_m\otimes \bar J_T)$$ $$\Omega=(T\sigma^2_\eta+\sigma^2_\epsilon) (I_m\otimes\bar J_T)+\sigma^2_\epsilon (I_m\otimes E_T)$$ $P=I_m\otimes\bar J_T$$Q=I_m\otimes E_T$ $$\Omega^{-1}=\frac{1}{\sigma^2_1}P+\frac{1}{\sigma^2_\epsilon}Q= -\frac{\sigma^2_\eta}{\sigma^2_1\sigma^2_\epsilon}(I_m\otimes\iota\iota^\prime) + \frac{1}{\sigma^2_\epsilon}(I_m\otimes I_T),$$ $\sigma^2_1=T\sigma^2_\eta+\sigma^2_\epsilon$

Затем логика Гаусса-Маркова объясняет, почему оценка случайных эффектов может быть полезной, поскольку она является более эффективной оценкой, чем объединенные OLS или фиксированные эффекты при данных предположениях (при условии, что это очень большое значение, если во многих приложениях с панельными данными, что действительно не с регрессорами). Короче говоря, GLS более эффективен, потому что ковариационная матрица ошибок не гомоскедастична в этой модели.$\eta_i$

Можно показать, что оценку GLS можно получить, запустив OLS для частично униженных данных: где . При можно получить оценку фиксированного эффекта («в пределах»). Для получается оценка "между". Оценщик GLS представляет собой средневзвешенное значение между двумя. (При получается объединенная оценка OLS.)

$$(y_{it}-\theta \bar y_{i\cdot}) = (X_{it} - \theta \bar X_{i\cdot})\beta + (u_{it} - \theta u_{i\cdot}),$$ $\theta = 1-\sigma_\eta/\sigma_1$$\theta=1$$\theta\to -\infty$$\theta=0$

Возможные GLS

Чтобы сделать подход FGLS практичным, нам нужны оценщики и . Балтаги, Эконометрический анализ панельных данных, с. 16 (цитата из 3-го издания), обсуждает следующие варианты действий.$\sigma^2_1$$\sigma^2_\epsilon$

Предположим сначала, что мы наблюдаем . Затем,$u_{it}$

$$\hat\sigma^2_1=T\frac{1}{m}\sum_{i=1}^m\bar{u}_{i\cdot}^2$$ и были бы хорошими оценками их параметров, а - среднее время, соответствующее наблюдениям единицы . $$\hat\sigma^2_\epsilon=\frac{1}{m(T-1)}\sum_{i=1}^m\sum_{t=1}^T\left(u_{it}-\frac{1}{m}\sum_{i=1}^m\bar{u}_{i\cdot}\right)^2$$ $\bar{u}_{i\cdot}$$i$

(1969) Уоллес и Хусейн подход заключается в замене с остатками объединенной регрессии методом наименьших квадратов (который, в конце концов, до сих пор является несмещенной и состоятельной в нынешних предположениях).$u$

(1971) Амэмия подход предполагает использование FE (или LSDV) вместо остатков. В вычислительном отношении мы накладываем ограничение, что чтобы обойти ловушку фиктивной переменной, чтобы иметь возможность получить с обозначающими большие средние по и для остатков LSDV .$\sum_i\eta_i=0$$\hat\alpha=\bar y_{\cdot\cdot}-\bar X_{\cdot\cdot}'\hat\beta_{FE}$$\cdot\cdot$$i$$t$$\hat u=y-\hat\alpha-X\hat\beta_{FE}$

Стандартный подход Swamy and Arora (1972) оценивает и Здесь .

$$\hat\sigma^2_\epsilon=[y'Q(I-X(X'QX)^{-1}X'Q)y]/[m(T-1)-K]$$ $$\hat\sigma^2_1=[y'P(I-Z(Z'PX)^{-1}Z'P)y]/[m-K-1]$$ $Z=(\iota_{mT}\quad X)$

Nerlove (1971) оценивает подход из , где - это манекены из регрессии с фиксированными эффектами, а оценивается из остаточных сумм квадратов из этой регрессии с в знаменателе.$\sigma_\eta^2$$\sum_{i=1}^m(\hat\eta_i-\bar{\hat\eta})^2/(m-1)$$\hat\eta_i$$\hat\sigma^2_\epsilon$$mT$

Я также очень удивлен, что они имеют такое большое значение, как показывают расчеты Ранделя!

РЕДАКТИРОВАТЬ:

Что касается различий, оценки компонентов ошибок могут быть получены в plmпакете и действительно дают совершенно разные результаты, объясняя разницу в точечных оценках для (согласно ответу @ Randel, выдает ошибку, которую я не пытался фикс):$\beta$amemiya

> ercomp(stackY~stackX, data = paneldata, method = "walhus")
                  var std.dev share
idiosyncratic 21.0726  4.5905 0.981
individual     0.4071  0.6380 0.019
theta:  0.06933  
> ercomp(stackY~stackX, data = paneldata, method = "swar")
                 var std.dev share
idiosyncratic 0.6437  0.8023 0.229
individual    2.1732  1.4742 0.771
theta:  0.811  
> ercomp(stackY~stackX, data = paneldata, method = "nerlove")
                   var  std.dev share
idiosyncratic   0.5565   0.7460 0.002
individual    342.2514  18.5000 0.998
theta:  0.9857  

Я подозреваю, что оценки компонентов ошибок также не согласуются в моем примере в сестринском потоке, где я стремлюсь продемонстрировать различия между FE и RE, используя данные, в которых коррелируют отдельные эффекты и(Фактически, они не могут быть такими, потому что в конечном итоге они отклоняют оценку RE от оценки FE согласно тому факту, что RE является средневзвешенным значением FE и между оценкой с весами, определенными оценками компонента ошибки. Таким образом, если RE не является в соответствии с этими оценками.)$X$

Если вы замените «оскорбительную» функцию этого примера,

alpha = runif(n,seq(0,step*n,by=step),seq(step,step*n+step,by=step))

просто скажем,

alpha = runif(n)

Таким образом, случайные эффекты, которые не связаны с , дают точечные оценки RE для очень близкие к истинному значению для всех вариантов оценки компонентов ошибки.$X$$\beta$$\beta=-1$

---

Рекомендации

Амемия Т., 1971, Оценка дисперсий в модели компонент дисперсии , Международный экономический обзор 12, 1–13.

Балтаги, BH, эконометрический анализ панельных данных, Wiley.

Нерлов М., 1971а. Дальнейшие свидетельства оценки динамических экономических отношений по временным рядам сечений , Эконометрика 39, 359–382.

Swamy, PAVB и SS Arora, 1972, Точные свойства конечных выборок оценок коэффициентов в регрессионных моделях компонентов ошибок , Econometrica 40, 261–275.

Уоллес, Т. Д. и А. Хуссейн, 1969, Использование моделей компонентов ошибок при объединении данных поперечного сечения и временных рядов , Econometrica 37, 55–72.

Я не совсем знаком с R, чтобы комментировать ваш код, но простая смешанная модель случайного перехвата должна быть идентична оценке RE MLE и очень близка к оценке RE GLS, за исключением случаев, когда общее мало и данные не сбалансированы. Надеюсь, это будет полезно при диагностике проблемы. Конечно, все это при условии, что оценка RE является подходящей.$N = \sum_i T_i$

Вот некоторые Stata, показывающие эквивалентность (требуется esttabи eststoиз SSC):

set more off
estimates clear
webuse nlswork, clear
eststo, title(mixed): mixed ln_w grade age c.age#c.age ttl_exp tenure c.tenure#c.tenure || id: // Mixed estimator
eststo, title(MLE): xtreg ln_w grade age c.age#c.age ttl_exp tenure c.tenure#c.tenure, i(id) mle // MLE RE estimator 
eststo, title(GLS): xtreg ln_w grade age c.age#c.age ttl_exp tenure c.tenure#c.tenure, i(id) re // GLS RE estimato
esttab *, b(a5) se(a5) mtitle 

Вот вывод последней строки:

. esttab *, b(a5) se(a5) mtitle 

------------------------------------------------------------
                      (1)             (2)             (3)   
                    mixed             MLE             GLS   
------------------------------------------------------------
main                                                        
grade            0.070790***     0.070790***     0.070760***
              (0.0017957)     (0.0017957)     (0.0018336)   

age              0.031844***     0.031844***     0.031906***
              (0.0027201)     (0.0027202)     (0.0027146)   

c.age#c.age   -0.00065130***  -0.00065130***  -0.00065295***
             (0.000044965)    (0.000044971)    (0.000044880)   

ttl_exp          0.035228***     0.035228***     0.035334***
              (0.0011382)     (0.0011392)     (0.0011446)   

tenure           0.037134***     0.037134***     0.037019***
              (0.0015715)     (0.0015723)     (0.0015681)   

c.tenure#c~e   -0.0018382***   -0.0018382***   -0.0018387***
             (0.00010128)    (0.00010128)    (0.00010108)   

_cons             0.14721***      0.14721***      0.14691** 
               (0.044725)      (0.044725)      (0.044928)   
------------------------------------------------------------
lns1_1_1                                                    
_cons            -1.31847***                                
               (0.013546)                                   
------------------------------------------------------------
lnsig_e                                                     
_cons            -1.23024***                                
              (0.0046256)                                   
------------------------------------------------------------
sigma_u                                                     
_cons                             0.26754***                
                              (0.0036240)                   
------------------------------------------------------------
sigma_e                                                     
_cons                             0.29222***                
                              (0.0013517)                   
------------------------------------------------------------
N                   28099           28099           28099   
------------------------------------------------------------
Standard errors in parentheses
* p<0.05, ** p<0.01, *** p<0.001

В ваших данных предположения об использовании оценщика RE не выполняются, поскольку групповой эффект четко коррелирует с x, поэтому вы получаете очень разные оценки. Оценщик GLS RE фактически является оценщиком обобщенного метода моментов (GMM), который представляет собой взвешенное по матрице среднее между оценками между и внутри. С оценкой внутри все будет в порядке, но между ними будет существенное смещение, показывающее большие положительные эффекты X. Таким образом, GLS будет в основном промежуточной оценкой. MLE RE - это MLE, которая максимизирует вероятность модели случайных эффектов. От них больше не ожидается, что они дадут один и тот же ответ. Здесь смешанная оценка дает что-то очень близкое к оценке FE "Within":

. esttab *, b(a5) se(a5) mtitle 

----------------------------------------------------------------------------
                      (1)             (2)             (3)             (4)   
                    mixed             GLS             MLE          Within   
----------------------------------------------------------------------------
main                                                                        
x                -1.02502***      0.77031**       3.37983***     -1.04507***
               (0.092425)       (0.26346)       (0.20635)      (0.093136)   

_cons             30.2166***      18.3459***      0.49507         30.3492***
                (5.12978)       (2.31566)             (.)       (0.62124)   
----------------------------------------------------------------------------
lns1_1_1                                                                    
_cons             2.87024***                                                
                (0.20498)                                                   
----------------------------------------------------------------------------
lnsig_e                                                                     
_cons            -0.22598**                                                 
               (0.077195)                                                   
----------------------------------------------------------------------------
sigma_u                                                                     
_cons                                             2.40363                   
                                                (1.28929)                   
----------------------------------------------------------------------------
sigma_e                                                                     
_cons                                             4.23472***                
                                                (0.37819)                   
----------------------------------------------------------------------------
N                      96              96              96              96   
----------------------------------------------------------------------------
Standard errors in parentheses
* p<0.05, ** p<0.01, *** p<0.001

Вот код Stata для приведенной выше таблицы:

clear
set more off
estimates clear

input int(obs id t) double(y x)
1      1           1  2.669271  0.5866982
2      1           2  1.475540  1.3500454
3      1           3  4.430008  0.6830919
4      1           4  2.162789  0.5845966
5      1           5  2.678108  1.0038879
6      1           6  3.456636  0.5863289
7      1           7  1.769204  2.3375403
8      1           8  3.413790  0.9640034
9      2           1  4.017493  1.5084121
10     2           2  4.218733  2.8982499
11     2           3  4.509530  3.2141335
12     2           4  6.106228  2.0317799
13     2           5  5.161379  2.1231733
14     2           6  2.724643  4.3369017
15     2           7  4.500306  1.9141065
16     2           8  4.119322  2.8667938
17     3           1  9.987779  2.3961969
18     3           2  7.768579  3.5509275
19     3           3  9.379788  3.3284869
20     3           4 10.035937  2.2997389
21     3           5 11.752360  2.8143474
22     3           6  9.500264  2.1825704
23     3           7  8.921687  5.0126462
24     3           8  8.269932  3.4046339
25     4           1 12.101253  3.2928033
26     4           2 11.482337  3.1645218
27     4           3 10.648010  4.8073987
28     4           4  9.687320  5.3394193
29     4           5 12.796925  3.1197431
30     4           6  9.971434  4.6512983
31     4           7 10.239717  4.7709378
32     4           8 12.245207  2.7952426
33     5           1 18.473320  5.8421967
34     5           2 19.097212  4.9425391
35     5           3 19.460495  4.9166172
36     5           4 18.642305  4.9856035
37     5           5 17.723912  5.0594425
38     5           6 16.783248  4.8615618
39     5           7 16.100984  6.2069167
40     5           8 18.851351  3.8856152
41     6           1 19.683171  7.5568816
42     6           2 21.104231  6.7441900
43     6           3 22.115529  6.4486514
44     6           4 22.061362  5.3727434
45     6           5 22.457905  5.8665798
46     6           6 21.424413  6.0578997
47     6           7 23.475946  4.4024323
48     6           8 24.884950  4.1596914
49     7           1 25.809011  7.6756255
50     7           2 25.432828  7.7910756
51     7           3 26.790387  7.3858301
52     7           4 24.640850  8.2090606
53     7           5 26.050086  7.3779219
54     7           6 25.297148  6.8098617
55     7           7 26.551229  7.6694272
56     7           8 26.669760  6.4425772
57     8           1 26.409669  8.3040894
58     8           2 26.570003  8.4686087
59     8           3 29.018818  7.2476785
60     8           4 30.342613  4.5207729
61     8           5 26.819959  8.7935557
62     8           6 27.147711  8.3141224
63     8           7 26.168568  9.0148308
64     8           8 27.653552  8.2081808
65     9           1 34.120485  7.8415520
66     9           2 31.286463  9.7234259
67     9           3 35.763403  6.9202442
68     9           4 31.974599  9.0078286
69     9           5 32.273719  9.4954288
70     9           6 29.666208 10.2525763
71     9           7 30.949857  9.4751679
72     9           8 33.485967  8.1824810
73    10           1 36.183128 10.7891587
74    10           2 37.706116  9.7119548
75    10           3 38.582725  8.6388290
76    10           4 35.876781 10.8259279
77    10           5 37.111179  9.9805046
78    10           6 40.313149  7.7487456
79    10           7 38.606329 10.2891107
80    10           8 37.041938 10.3568765
81    11           1 42.617586 12.1619185
82    11           2 41.787495 11.1420338
83    11           3 43.944968 11.1898730
84    11           4 43.446467 10.8099599
85    11           5 43.420819 11.2696770
86    11           6 42.367318 11.6183869
87    11           7 43.543785 11.1336555
88    11           8 43.750271 12.0311065
89    12           1 46.122429 12.3528733
90    12           2 47.604306 11.4522787
91    12           3 45.568748 13.6906476
92    12           4 48.331177 12.3561907
93    12           5 47.143246 11.7339915
94    12           6 44.461190 13.3898768
95    12           7 46.879044 11.4054972
96    12           8 46.314055 12.3143487
end

eststo, title(mixed): mixed y x || id:, mle // Mixed estimator
eststo, title(GLS): xtreg y x, i(id) re     // GLS RE estimato
eststo, title(MLE): xtreg y x, i(id) mle    // MLE RE estimator 
eststo, title(Within): xtreg y x, i(id) fe  // FE Within estimator 
eststo, title(Between): xtreg y x, i(id) be // Between estimator 

esttab *, b(a5) se(a5) mtitle 

Позвольте мне запутать вещи еще больше:

ЭКОНОМЕТРИКА - ПОДХОД
С ФИКСИРОВАННЫМИ ЭФФЕКТАМИ Подход "фиксированные эффекты" в эконометрике для панельных данных - это способ оценки коэффициентов наклона (бета) путем "обхода" существования отдельной переменной эффектов и, следовательно, не делать какие-либо предположения относительно того, является ли он «фиксированным» или «случайным». Это то, что делают оценки «Первое различие» (используя первые различия данных) и «Внутри» оценки (используя отклонения от средних по времени): им удается оценивать только бета-версии.$\alpha_i$

Для более традиционного подхода, который явно обрабатывает отдельные эффекты («перехватывает») как константы, мы используем Оценщик фиктивной переменной наименьших квадратов (LSDV), который также предоставляет оценки для примечания : в линейной модели три оценки алгебраически совпадают в отношении полученных оценок для бета-версий - но только в линейной модели.$\alpha_i$

Обсуждение (частично взято из заметок)

«Основным преимуществом подхода с фиксированными эффектами является то, что нам не нужно делать какие-либо предположения о природе отдельных эффектов. Мы должны применять его всякий раз, когда мы подозреваем, что последние связаны с одним или несколькими регрессорами, поскольку в этом случае игнорирование наличия такой корреляции и наивное применение OLS к объединенной модели приводит к противоречивым оценкам. Несмотря на свою привлекательность из-за минимальных допущений, которые мы должны сделать в отношении индивидуальных эффектов, подход с фиксированными эффектами имеет определенные ограничения. Во-первых, коэффициенты времени инвариантные регрессоры не могут быть оценены, так как эти переменные отличаются друг от друга наряду с ненаблюдаемыми индивидуальными эффектами.отдельные эффекты (в случае, если мы используем оценщик LSDV) не могут быть оценены последовательно (кроме случаев, когда мы позволим измерению времени перейти в бесконечность) ».

ЭКОНОМЕТРИКА - ПОДХОД СЛУЧАЙНЫХ ЭФФЕКТОВ
В «традиционном» эконометрическом подходе к случайным эффектам мы предполагаем, что отдельные «перехваты» являются «постоянными случайными компонентами», в то время как «обычные» термины ошибок являются «временными» компонентами ошибок.$\alpha_i$

В интересном расширении дополнительная случайность возникает из-за наличия случайного эффекта времени , общего для всех сечений, но изменяющегося во времени , наряду с фиксированным (постоянным) индивидуальным эффектом и членом ошибки. Этот «временной эффект», например, может представлять совокупный шок на уровне всей экономики, который в равной степени затрагивает все домохозяйства. Такие совокупные возмущения действительно наблюдаются, и поэтому представляется реалистичным выбором моделирования.

Здесь оценщик «случайных эффектов» является оценщиком обобщенных наименьших квадратов (GLS) для повышения эффективности.

Теперь еще один задуманный оценщик, «Между», выполняет OLS на усредненных по времени наблюдениях. Что касается алгебры, то было показано, что оценка GLS может быть получена как средневзвешенное значение оценок Inside и Between, где веса не являются произвольными, а относятся к VCV-матрицам двух.

... а также есть варианты моделей "некоррелированные случайные эффекты" и "коррелированные случайные эффекты".

Я надеюсь, что вышеупомянутое поможет сделать контраст с моделями "смешанных эффектов".