Проблемы с фиктивными переменными

Я запускаю большую регрессию OLS, где все независимые переменные (около 400) являются фиктивными переменными. Если все они включены, то существует идеальная мультиколлинеарность (фиктивная переменная ловушка), поэтому я должен опустить одну из переменных перед запуском регрессии.

Мой первый вопрос: какая переменная должна быть опущена? Я читал, что лучше опустить переменную, которая присутствует во многих наблюдениях, а не переменную, которая присутствует только в нескольких (например, если почти все наблюдения являются «мужскими» или «женскими», а лишь некоторые из них «неизвестны»). ", пропустите" мужской "или" женский "). Это оправдано?

После запуска регрессии с пропущенной переменной я могу оценить значение коэффициента пропущенной переменной, потому что я знаю, что общее среднее значение всех моих независимых переменных должно быть 0. Поэтому я использую этот факт для смещения значений коэффициента для всех включенные переменные, и получите оценку для пропущенной переменной. Мой следующий вопрос: есть ли подобный метод, который можно использовать для оценки стандартной ошибки для значения коэффициента пропущенной переменной. Так как это, я должен повторно выполнить регрессию, опуская другую переменную (и включая переменную, которую я пропустил в первой регрессии), чтобы получить стандартную оценку ошибки для коэффициента первоначально опущенной переменной.

Наконец, я замечаю, что оценки коэффициентов, которые я получаю (после повторного центрирования вокруг нуля), немного изменяются в зависимости от того, какая переменная опущена. Теоретически, было бы лучше запустить несколько регрессий, в каждой из которых не указывается другая переменная, а затем усреднить оценки коэффициентов по всем регрессиям?

Вы должны получать «одинаковые» оценки независимо от того, какую переменную вы пропускаете; то коэффициенты могут быть разными, но оценки конкретных величин или ожидания должны быть одинаковыми во всех моделях.

В простом случае пусть для мужчин и 0 для женщин. Тогда у нас есть модель: Теперь пусть для женщин. Тогда Ожидаемое значение для женщин равно а также . Для мужчин это$x_i=1$

$$\begin{align*} E[y_i \mid x_i] &= x_iE[y_i \mid x_i = 1] + (1 - x_i)E[y_i \mid x_i = 0] \\ &= E[y_i \mid x_i=0] + \left[E[y_i \mid x_i= 1] - E[y_i \mid x_i=0]\right]x_i \\ &= \beta_0 + \beta_1 x_i. \end{align*}$$ $z_i=1$ $$\begin{align*} E[y_i \mid z_i] &= z_iE[y_i \mid z_i = 1] + (1 - z_i)E[y_i \mid z_i = 0] \\ &= E[y_i \mid z_i=0] + \left[E[y_i \mid z_i= 1] - E[y_i \mid z_i=0]\right]z_i \\ &= \gamma_0 + \gamma_1 z_i . \end{align*}$$ $y$$\beta_0$$\gamma_0 + \gamma_1$$\beta_0 + \beta_1$и .$\gamma_0$

Эти результаты показывают, как связаны коэффициенты из двух моделей. Например, . Аналогичное упражнение с использованием ваших данных должно показать, что «разные» коэффициенты, которые вы получаете, представляют собой просто суммы и различия друг от друга.$\beta_1 = -\gamma_1$

Джеймс, прежде всего, почему регрессионный анализ, а не ANOVA (есть много специалистов в этом виде анализа, которые могут вам помочь)? В плюсах для ANOVA, что все , что вы на самом деле заинтересованы в различии в средствах различных групп , описанных комбинациями фиктивных переменных (уникальные категории или профили). Что ж, если вы изучаете влияние каждой из категориальных переменных, которые вы включаете, вы также можете запустить регрессию.

Я думаю, что тип данных, которые вы здесь имеете, описан в смысле совместного анализа : многие атрибуты объекта (пол, возраст, образование и т. Д.) Имеют несколько категорий, поэтому вы пропускаете весь самый большой профиль, а не только одна фиктивная переменная. Обычной практикой является кодирование категорий в атрибуте следующим образом (эта ссылка может быть полезна, вы, вероятно, здесь не проводите совместный анализ, но кодирование аналогично): предположим, у вас есть категорий (три, как вы предложили, мужской, женский) (неизвестно), затем первые два кодируются, как обычно, вы включаете двух манекенов (мужской, женский), давая если мужской, если женский, и$n$$(1, 0)$$(0, 1)$$(-1, -1)$если неизвестно. Таким образом, результаты действительно будут размещены вокруг срока перехвата. Однако вы можете кодировать по-другому, но потеряете указанное преимущество интерпретации. Подводя итог, вы отбрасываете одну категорию из каждой категории и кодируете свои наблюдения описанным способом. Вы также включаете термин перехват.

Хорошо, если я пропущу самые большие категории профиля, мне кажется, что это хорошо, хотя и не так важно, по крайней мере, это не пусто, я думаю. Поскольку вы кодируете переменные особым образом, совокупная статистическая значимость включенных фиктивных переменных (как мужчин, так и женщин, может быть проверена с помощью F-теста) подразумевает значимость пропущенной.

Может случиться так, что результаты немного отличаются, но может быть, это неправильное кодирование, которое влияет на это?

Не зная точного характера вашего анализа, рассматривали ли вы кодирование эффектов? Таким образом, каждая переменная будет представлять эффект этой черты / атрибута по отношению к общему среднему значению, а не к какой-то конкретной пропущенной категории. Я полагаю, что вам все еще не хватает коэффициента для одной из категорий / атрибутов - той, которой вы назначаете -1. Тем не менее, с таким количеством манекенов, я бы подумал, что большое среднее значение сделало бы более значимую группу сравнения, чем любая конкретная пропущенная категория.