Опущенное переменное смещение в логистической регрессии по сравнению с пропущенным переменным смещением в обычной регрессии наименьших квадратов

У меня есть вопрос об опущенном переменном смещении в логистической и линейной регрессии.

Скажем, я опускаю некоторые переменные из модели линейной регрессии. Сделайте вид, что эти пропущенные переменные не связаны с переменными, которые я включил в мою модель. Эти пропущенные переменные не смещают коэффициенты в моей модели.

Но в логистической регрессии я только что узнал, что это не так. Пропущенные переменные будут смещать коэффициенты включенных переменных, даже если пропущенные переменные не связаны с включенными переменными. Я нашел статью на эту тему, но я не могу сделать из этого ни головы, ни хвоста.

Вот бумага и несколько слайдов PowerPoint.

Смещение, по-видимому, всегда к нулю. Кто-нибудь может объяснить, как это работает?

— ConfusedEconometricsUndergrad
источник

Вы знакомы с тем, как модель логистической регрессии возникает из базовой модели линейной регрессии с «скрытой переменной»?

— Алекос Пападопулос

@AlecosPapadopoulos Я, например, нет. Что за блюдо?

— Алексис

Есть другие статьи, которые обсуждают это, но та, на которую вы ссылаетесь, самая простая, которую я знаю. Поэтому я не думаю, что смогу улучшить это.

— Мартен Буис

Уважаемый г-н Пападопулос, я прочитал идею о латентных переменных. Почему ты спрашиваешь?

— ConfusedEconometricsUndergrad

@ Alexis Смотрите, например, этот пост, stats.stackexchange.com/questions/80611/… , и статью в Википедии, en.wikipedia.org/wiki/… . Этот подход также проясняет, что это допущение, которое мы делаем для члена ошибки базовой модели, определяет, какую модель мы получим на уровне вероятностей. Для другого примера, если мы предположим, что основная ошибка следует за униформой, мы получим линейную вероятностную модель, см. Stats.stackexchange.com/questions/81789

— Alecos Papadopoulos

Случай «смещения ослабления» может быть более четко представлен, если мы рассмотрим «пробитную» модель, но результат переносится и на логистическую регрессию.

Под моделями условной вероятности (модели логистики (логит), «пробит» и «линейная вероятность») мы можем постулировать модель скрытой (ненаблюдаемой) линейной регрессии:

Y^{*} знак равно Икс β + U

$y^* = X\beta + u$

где - непрерывная ненаблюдаемая переменная (а - матрица регрессора). Предполагается, что погрешность не зависит от регрессоров и соответствует распределению, плотность которого симметрична относительно нуля , и в нашем случае стандартное нормальное распределение . $y^*$ $X$ $F_U(u)= \Phi(u)$

Мы предполагаем, что то, что мы наблюдаем, то есть двоичная переменная , является функцией-индикатором ненаблюдаемой : $y$ $y^*$

Y знак равно 1 если Y^{*} > 0, Y знак равно 0 если Y^{*} \leq 0

$y = 1 \;\;\text{if} \;\;y^*>0,\qquad y = 0 \;\;\text{if}\;\; y^*\le 0$

Затем мы спрашиваем "какова вероятность того, что примет значение учетом регрессоров?" (т.е. мы смотрим на условную вероятность). Это $y$ $1$

P (y = 1 ∣ X) = P (y^{*} > 0 ∣ X) = P (X β + u > 0 ∣ X) = P (u > - X β ∣ X) = 1 - Φ (- Χ β) = Φ (X β)

$P(y =1\mid X ) = P(y^*>0\mid X) = P(X\beta + u>0\mid X) = P(u> - X\beta\mid X) \\= 1- \Phi (-Χ\beta) = \Phi (X\beta)$

последнее равенство обусловлено «отражающим» свойством стандартной кумулятивной функции распределения, которая исходит из симметрии функции плотности около нуля. Обратите внимание, что, хотя мы и предположили, что не зависит от , необходимо кондиционирование на , чтобы рассматривать величину как неслучайную. $u$ $X$ $X$ $X\beta$

Если предположить, что , то мы получим теоретическую модель $X\beta = b_0+b_1X_1 + b_2X_2$

\begin{matrix} (1) & P (y = 1 ∣ X) = Φ (b_{0} + b_{1} X_{1} + b_{2} X_{2}) \end{matrix}

$P(y =1\mid X ) = \Phi (b_0+b_1X_1 + b_2X_2) \tag{1}$

Пусть теперь не зависит от и ошибочно исключен из спецификации базовой регрессии. Итак, мы указываем $X_2$ $X_1$

y^{*} = b_{0} + b_{1} X_{1} + ϵ

$y^* = b_0+b_1X_1 + \epsilon$ Предположим далее, что также является нормальной случайной величиной . Но это означает, что

X_{2}

$X_2$

X_{2} \sim N (μ_{2}, σ_{2}^{2})

$X_2 \sim N(\mu_2,\sigma_2^2)$

ϵ = u + b_{2} X_{2} \sim N (b_{2} μ_{2}, 1 + b_{2}^{2} σ_{2}^{2})

$\epsilon = u + b_2X_2 \sim N(b_2\mu_2, 1+b_2^2\sigma_2^2)$

из-за замыкания при сложении нормального распределения (и предположения о независимости). Применяя ту же логику, что и раньше, здесь мы имеем

P (y = 1 ∣ X_{1}) = P (y^{*} > 0 ∣ X_{1}) = P (b_{0} + b_{1} X_{1} + ϵ > 0 ∣ X_{1}) = P (ϵ > - b_{0} - b_{1} X_{1} ∣ X_{1})

$P(y =1\mid X_1 ) = P(y^*>0\mid X_1) = P(b_0+b_1X_1 + \epsilon>0\mid X_1) = P(\epsilon> - b_0-b_1X_1\mid X_1)$

Стандартизация переменной мы имеем $\epsilon$

P (y = 1 ∣ X_{1}) = 1 - P (\frac{ϵ - b_{2} μ_{2}}{\sqrt{1 + b_{2}^{2} σ_{2}^{2}}} \leq - \frac{(b_{0} + b_{2} μ_{2})}{\sqrt{1 + b_{2}^{2} σ_{2}^{2}}} - \frac{b_{1}}{\sqrt{1 + b_{2}^{2} σ_{2}^{2}}} X_{1} ∣ X_{1})

$P(y =1\mid X_1 )= 1- P\left(\frac{\epsilon-b_2\mu_2}{\sqrt {1+b_2^2\sigma_2^2}}\leq - \frac {(b_0 + b_2\mu_2)}{\sqrt {1+b_2^2\sigma_2^2}}- \frac {b_1}{\sqrt {1+b_2^2\sigma_2^2}}X_1\mid X_1\right)$

\begin{matrix} (2) & \Rightarrow P (y = 1 ∣ X_{1}) = Φ (\frac{(b_{0} + b_{2} μ_{2})}{\sqrt{1 + b_{2}^{2} σ_{2}^{2}}} + \frac{b_{1}}{\sqrt{1 + b_{2}^{2} σ_{2}^{2}}} X_{1}) \end{matrix}

$\Rightarrow P(y =1\mid X_1) = \Phi\left(\frac {(b_0 + b_2\mu_2)}{\sqrt {1+b_2^2\sigma_2^2}}+ \frac {b_1}{\sqrt {1+b_2^2\sigma_2^2}}X_1\right) \tag{2}$

и можно сравнить модели и . $(1)$ $(2)$

Приведенное выше теоретическое выражение говорит нам, где собирается сходиться наша оценка максимального правдоподобия , поскольку она остается последовательной оценкой, в том смысле, что она будет сходиться к теоретической величине, которая действительно существует в модели (и, конечно, не в ощущение, что он найдет «правду» в любом случае) $b_1$

{\hat{b}}_{1} \overset{p}{\to} \frac{b_{1}}{\sqrt{1 + b_{2}^{2} σ_{2}^{2}}} ⟹ | {\hat{b}}_{1} | < | b_{1} |

$\hat b_1 \xrightarrow{p} \frac {b_1}{\sqrt {1+b_2^2\sigma_2^2}} \implies |\hat b_1|< |b_1|$

что является результатом «смещения к нулю».

Мы использовали пробитную модель, а не логит (логистическая регрессия), потому что только при нормальных условиях мы можем получить распределение . Логистическое распределение не закрыто при добавлении. Это означает, что если мы опускаем соответствующую переменную в логистической регрессии, мы также создаем неправильную спецификацию распределения, поскольку термин ошибки (который теперь включает пропущенную переменную) больше не следует за логистическим распределением. Но это не меняет результат смещения (см. Сноску 6 в статье, на которую ссылается OP). $\epsilon$

— Алекос Пападопулос
источник