Что на самом деле вычисляет формула y ~ x + 0 в R?

Какова статистическая разница между выполнением линейной регрессии в R с formulaнабором y ~ x + 0вместо y ~ x? Как мне интерпретировать эти два разных результата?

multiple-regression generalized-linear-model intercept

— JimBoy
источник

Ответы:

Добавление +0(или -1) к модельной формуле (например, в lm()) в R подавляет перехват. Обычно это считается плохой вещью; видеть:

Предполагаемый наклон рассчитывается по-разному в зависимости от того, оценивается ли пересечение, а именно:

\begin{aligned} (with intercept) & {\hat{β}}_{1} & = \frac{\sum x_{i} y_{i} - \frac{(\sum x_{i}) (\sum y_{i})}{N}}{\sum x_{i}^{2} - \frac{(\sum x_{i})^{2}}{N}} \\ (without intercept) & {\hat{β}}_{1} & = \frac{\sum x_{i} y_{i}}{\sum x_{i}^{2}} \end{aligned}

$\begin{align} \hat\beta_1 &= \frac{\sum x_iy_i - \frac{\big(\sum x_i\big)\big(\sum y_i\big)}{N}}{\sum x_i^2 - \frac{\big(\sum x_i\big)^2}{N}} \tag{with intercept} \\[15pt] \hat\beta_1 &= \frac{\sum x_iy_i}{\sum x_i^2} \tag{without intercept} \end{align}$

$0$

$R^2$

Вот основные формулы:

\begin{aligned} (with intercept) & R^{2} & = 1 - \frac{\sum (y_{i} - {\hat{y}}_{i})^{2}}{\sum (y_{i} - \bar{y})^{2}} \\ (without intercept) & R^{2} & = 1 - \frac{\sum (y_{i} - {\hat{y}}_{i})^{2}}{\sum y_{i}^{2}} \end{aligned}

$\begin{align} R^2 &= 1 - \frac{\sum (y_i - \hat y_i)^2}{\sum (y_i - \bar y)^2} \tag{with intercept} \\[15pt] R^2 &= 1 - \frac{\sum (y_i - \hat y_i)^2}{\sum y_i^2} \tag{without intercept} \end{align}$

— Gung - Восстановить Монику
источник

Спасибо, блин! Если я подавляю перехват, мой множественный R-квадрат внезапно улучшается. Вы можете помочь мне здесь?

— ДжимБой

Не существует согласованного способа вычисления r в квадрате без перехвата. Квадрат не имеет своей обычной интерпретации. Выполнение регрессии без перехвата почти всегда является ОЧЕНЬ плохой идеей

— Repmat

@Repmat: смотри также stats.stackexchange.com/questions/171240/...

@JimBoy: см stats.stackexchange.com/questions/171240/...

Это зависит от контекста (конечно), в lm(...)команде в R он будет подавлять перехват. То есть вы делаете регресс, хотя происхождение.

Обратите внимание, что большинство учебников по предмету регрессии скажут вам, что форсирование перехвата (с любым значением) - плохая идея.

Интерпретация x не меняется, но значение (по сравнению с и без перехвата) изменится, иногда очень значительно.

— Repmat
источник

Спасибо, Репмат! Я получаю очень разные оценки, если я подавляю перехват по сравнению с тем, когда я не делаю. Кроме того, все t-тесты становятся очень значимыми. Ты знаешь почему это?

— ДжимБой,

Перехват будет поглощать любые переменные, отличные от 0, не содержащиеся в модели. С прекращением перехвата, дисперсия должна куда-то уходить. Вот почему в большинстве книг, как правило, говорится, что регрессия без перехвата всегда неверна. Таким образом, в этом случае OLS всегда является предвзятым и непротиворечивым (за некоторыми исключениями).

— Repmat