Допущения остаточного распределения регрессии

12

Почему необходимо сделать предположение о распределении ошибок, т.е.

$y_i = X\beta + \epsilon_{i}$ , с . $\epsilon_{i} \sim \mathcal{N}(0,\sigma^{2})$

Почему бы не написать

$y_i = X\beta + \epsilon_{i}$ , с , $y_i \sim \mathcal{N}(X\hat{\beta},\sigma^{2})$

где в любом случае . Я видел, как подчеркивалось, что предположения о распределении делаются на ошибках, а не на данных, но без объяснения причин. $\epsilon_i = y_i - \hat{y}$

Я не совсем понимаю разницу между этими двумя формулировками. В некоторых местах я вижу, что на данные помещаются предположения о распределении (Байесовское освещение. В основном это кажется), но в большинстве случаев предположения делаются на ошибки.

При моделировании, почему / следует выбрать, чтобы начать с предположений о том или ином?

— bill_e
источник

Во-первых, это не «необходимо», это зависит от того, что вы собираетесь делать. Есть несколько хороших ответов, но я думаю, что суть лежит в основе предположения о причинности в смысле X, «вызывающих» y, и если вы посмотрите на это так, вы увидите, что распределение y «вызвано» распределение прав, то есть X и ошибок (если есть). Вы можете сделать много эконометрики с очень ограниченными распределительными допущениями и, в частности, без нормальности. Слава Богу.

— PatrickT

3

\hat{y}

$\hat y$ - это не , а среднее значение не совпадает с выборочной оценкой. Это означает, что второе на самом деле не то же самое, что первое, но если вы замените его на его ожидание ( ), эти два значения будут эквивалентны.

X β

$X\beta$

y

$y$

E (\hat{y}) = E (y) = X β

$E(\hat y) = E(y) = X\beta$

— Glen_b

Что такое ? И если зависит от , почему меняется? Пожалуйста, решите, какую нотацию вы хотите использовать, вектор или матрицу. Теперь, если мы предположим, что ваша запись больше, чем bizzare: y_i т.е. вы определяете распределение в терминах самого себя и всех других наблюдений !

\hat{y}

$\hat{y}$

y_{i}

$y_i$

i

$i$

X β

$X\beta$

\hat{y} = X \hat{β}

$\hat{y}=X\hat\beta$

y_{i} \sim N (x_{i}^{'} (\sum x_{j} x_{j}^{'})^{- 1} \sum x_{j} y_{j}, σ^{2})

$y_i\sim N(x_i'(\sum x_jx_j')^{-1}\sum x_jy_j,\sigma^2)$

y_{i}

$y_i$

y_{j}

$y_j$

— mpiktas

1

Я отклонил вопрос, потому что я думаю, что запись сбивает с толку, и это уже привело к нескольким слегка противоречивым ответам.

— mpiktas

9

В условиях линейной регрессии обычно проводят анализ и выводят результаты, зависящие от , то есть от «данных». Таким образом, вам нужно, чтобы был нормальным, то есть вам нужно чтобы быть нормальным. Как показывает пример Питера Флома, можно иметь нормальность не имея нормальности , и, следовательно, так как вам нужна нормальность , это разумное предположение. $X$ $y\mid X$ $\epsilon$ $\epsilon$ $y$ $\epsilon$

— ekvall
источник

9

Я бы написал второе определение как

$y_i \sim \mathcal{N}(X_i\beta, \sigma^2)$

или (как Карл Оскар предлагает +1)

$y_i|X_i \sim \mathcal{N}(X_i\beta, \sigma^2)$

то есть предположение моделирования состоит в том, что переменная отклика обычно распределена вокруг линии регрессии (которая является оценкой условного среднего) с постоянной дисперсией . Это не то же самое, что предположить, что обычно распределены, потому что среднее значение распределения зависит от . $\sigma^2$ $y_i$ $X_i$

Я думаю, что видел подобные формулировки в литературе по машинному обучению; насколько я вижу, это эквивалентно первому определению, все, что я сделал, это перефразировал вторую формулировку немного по-другому, чтобы исключить 's и . $\epsilon_i$ $\hat{y}$

— Дикран Сумчатый
источник

3

Разницу проще всего проиллюстрировать на примере. Вот простой:

Предположим, что Y бимодально, причем модальность учитывается независимой переменной. Например, предположим, что Y - рост, а ваш образец (по любой причине) состоит из жокеев и баскетболистов. например, вR

set.seed(123)
tall <- rnorm(100, 78, 3)
short <- rnorm(100, 60, 3)

height <- c(tall, short)
sport <- c(rep("B", 100), rep("H",100))

plot(density(height))

m1 <- lm(height~sport)
plot(m1)

первая плотность очень ненормальная. Но остатки от модели очень близки к нормальным.

Относительно того, почему ограничения установлены таким образом - я позволю кому-то еще ответить на этот вопрос.

— Питер Флом - Восстановить Монику
источник

1

Спасибо! Я понимаю, что вы имеете в виду с бимодальным распределением. Последующий вопрос: Что, если дисперсия данных различна (гетероскедастичность?) Скажи ... все жокеи маленькие, правда, но высота баскетболистов сильно варьируется. Может быть, для них высокий <- rnorm (100,78,10). Как такая ситуация меняет ваши предположения относительно или ?

y_{i}

$y_i$

ϵ_{i}

$\epsilon_i$

— bill_e

В этом случае гетероскедастичность была бы проблемой, и вам нужно было бы использовать какую-то другую форму регрессии или, возможно, какое-то преобразование, или вы могли бы добавить другую переменную (в этом глупом примере позиция, сыгранная в баскетболе, могла бы это сделать).

— Питер Флом - Восстановить Монику

Я не уверен, что формулировка предназначена для того, чтобы предположить, что ys распределены нормально, просто они имеют нормальное условное распределение.

— Дикран Marsupial

2

Вам нужно добавить подозрительный i к вашей второй формулировке: потому что должна иметь возможность изменяться вместе с .

y_{i} \sim N ({\hat{y}}_{i}, σ_{ε}^{2})

$y_i\sim\mathcal N(\hat y_i,\sigma^2_\varepsilon)$

\hat{y}

$\hat y$

x_{i}

$\bf x_i$

Что было отмечено, что такое ? Это . Это приводит к формулировке @DikranMarsupial: Стоит признать, что это точно так же, как ваш первый формулировка, потому что оба предусматривают нормальные распределения и ожидаемые значения равны. То есть: (И, очевидно, различия равны.) Другими словами, это $\hat y_i$ $\bf x_i\boldsymbol{\hat\beta}$

y_{i} \sim N (x_{i} \hat{β}, σ_{ε}^{2})

$y_i\sim\mathcal N({\bf x_i}\boldsymbol{\hat\beta},\sigma^2_\varepsilon)$

\begin{aligned} E [x_{i} \hat{β}] & = E [x_{i} \hat{β} + E [N (0, σ_{ε}^{2})]] \\ = E [x_{i} \hat{β} + 0] \\ = E [x_{i} \hat{β}] \end{aligned}

$\begin{align} E[{\bf x_i}\boldsymbol{\hat\beta}] &= E[{\bf x_i}\boldsymbol{\hat\beta} + E[\mathcal N(0, \sigma^2_\varepsilon)]] \\ &= E[{\bf x_i}\boldsymbol{\hat\beta} + 0] \\ &= E[{\bf x_i}\boldsymbol{\hat\beta}] \end{align}$ не разница в допущениях, а просто нотационная разница.

Таким образом, возникает вопрос, есть ли причина предпочитать представлять идею, используя первую формулировку?

Я думаю, что ответ " да" по двум причинам:

Люди часто путают, должны ли исходные данные нормально распределяться (т. ), или если данные, зависящие от /, должны нормально распределяться ошибки (т. / ), например, см. : Что если остатки нормально распределены, а у нет? $Y$ $\bf X$ $Y|\bf X$ $\varepsilon$
Люди также часто путают то, что должно быть независимым, необработанные данные или ошибки. Более того, мы часто упоминаем тот факт, что что-то должно быть внутри (независимым и одинаково распределенным); если вы думаете с точки зрения это может быть еще одним потенциальным источником путаницы, так как может быть независимым, но не может быть одинаково распределенным, если не выполняется нулевая гипотеза (поскольку среднее значение будет меняться). $Y|\bf X$ $Y|\bf X$

Я полагаю, что эти путаницы, скорее всего, используют вторую формулировку, чем первую.

— Gung - Восстановить Монику
источник

1

@Glen_b, я не слежу за вашим комментарием. Я утверждаю, что не равен , а скорее что равен . Индексируемый индексированный наблюдений является актуальным. Идея состоит в том, что прогнозируемое значение для данного наблюдения равно . Это не имеет никакого отношения к ж / среднее популяции . (Похоже, что я забыл добавить шляпы в свои бета-версии; сейчас я это исправил.)

\hat{y}

$\hat y$

X β

$X\beta$

{\hat{y}}_{i}

$\hat y_i$

x_{i} \hat{β}

$\bf x_i\boldsymbol{\hat\beta}$

_{i}

$_i$

{\hat{y}}_{i}

$\hat y_i$

x_{i} \hat{β}

$\bf x_i\boldsymbol{\hat\beta}$

Y

$Y$

— gung - Восстановить Монику

@Glen_b, если бы это был образец, это означало бы а не . Сначала я обнаружил, что обозначения также сбивают с толку, но тот факт, что следует из утверждений, что и . Чтобы обе эти вещи были правдой, может быть только .

\bar{y}

$\bar{y}$

\hat{y}

$\hat{y}$

\hat{y} = X β

$\hat{y} = X\beta$

y_{i} = X β + ϵ_{i}

$y_i = X\beta + \epsilon_i$

ϵ_{i} = y_{i} - \hat{y}

$\epsilon_i = y_i - \hat{y}$

\hat{y}

$\hat{y}$

X β

$X\beta$

— Дикран Marsupial