Почему R's lm () возвращает оценки коэффициентов, отличные от моего учебника?

Фон

Я пытаюсь понять первый пример в курсе по подгонке моделей (так что это может показаться до смешного простым). Я сделал вычисления вручную, и они соответствуют примеру, но когда я повторяю их в R, коэффициенты модели отключены. Я думал, что разница может быть связана с тем, что в учебнике используется дисперсия совокупности ( $\sigma^2$ ), тогда как R может использовать выборочную дисперсию ( $S^2$ ), но я не вижу, где они используются в расчетах. Например, если где-то lm()используется var(), раздел справки по var()заметкам:

Используется знаменатель n - 1, который дает несмещенную оценку (со) дисперсии для наблюдений iid.

Я рассмотрел код для обоих, lm()и lm.fit()ни один из них не использует var(), но lm.fit()передает эти данные в скомпилированный код C ( z <- .Call(C_Cdqrls, x, y, tol, FALSE)), к которому у меня нет доступа.

Вопрос

Кто-нибудь может объяснить, почему R дает разные результаты? Даже если есть разница в использовании выборки против дисперсии населения, почему оценки коэффициентов отличаются?

Данные

Установите линию, чтобы предсказать размер обуви от класса в школе.

# model data
mod.dat <- read.table(
    text = 'grade shoe
                1    1
                2    5
                4    9'
    , header = T);

# mean
mod.mu  <- mean(mod.dat$shoe);
# variability 
mod.var <- sum((mod.dat$shoe - mod.mu)^2)

# model coefficients from textbook
mod.m  <- 8/3;
mod.b  <- -1;

# predicted values  ( 1.666667 4.333333 9.666667 )
mod.man.pred       <- mod.dat$grade * mod.m + mod.b;
# residuals         ( -0.6666667  0.6666667 -0.6666667 )
mod.man.resid      <- (mod.dat$shoe - mod.man.pred)
# residual variance ( 1.333333 )
mod.man.unexpl.var <- sum(mod.man.resid^2);
# r^2               ( 0.9583333 )
mod.man.expl.var   <- 1 - mod.man.unexpl.var / mod.var;

# but lm() gives different results:
summary(lm(shoe ~ grade, data = mod.dat))

Call:
lm(formula = shoe ~ grade, data = mod.dat)

Residuals:
      1       2       3 
-0.5714  0.8571 -0.2857 

Coefficients:
            Estimate Std. Error t value Pr(>|t|)
(Intercept)  -1.0000     1.3093  -0.764    0.585
grade         2.5714     0.4949   5.196    0.121

Residual standard error: 1.069 on 1 degrees of freedom
Multiple R-squared:  0.9643,    Adjusted R-squared:  0.9286 
F-statistic:    27 on 1 and 1 DF,  p-value: 0.121

редактировать

Как показал Бен Болкер , учителя иногда делают ошибки. Кажется, что R расчеты верны. Мораль истории: не верьте чему-то только потому, что учитель говорит, что это правда. Проверьте это сами!

Похоже, автор где-то допустил математическую ошибку.

Если вы расширяете отклонение суммы квадратов

$$S = ((b+m)-1)^2+ ((b+2m)-5)^2 + ((b+4m)-9)^2$$ $$\begin{split} S = & b^2+2 b m+ m^2 + 1 - 2 b - 2 m \\ + & b^2+4 b m+ 4 m^2 + 25 - 10 b -20 m \\ + & b^2+8 b m+16 m^2 + 81 - 18 b -72 m \end{split}$$

$$3 b^2 + 14 b m + 21 m^2 + 107 - 30 b - 94 m$$ что совпадает с выражением автора, за исключением постоянного члена, который в любом случае не имеет значения).

$S$$b$$m$

$$dS/db = 6 b + 14 m -30 \to 3 b +7 m-15 = 0$$ $$dS/dm = 14 b +42 m -94 \to 7 b + 21 m -47 = 0$$

Решить

$$\begin{split} b & = (15-7m)/3 \\ 0 & = 7 (15-7m)/3 + 21 m-47 \\ 47 - 35 & = (-49/3 + 21) m \\ m & = (47-35)/(21-49/3) = 18/7 \end{split}$$

R says this is indeed 2.571429 ...

Based on this link this seems to be from a Coursera course ... ? Maybe there was a mis-transcription of the data somewhere?

The other, independent way to do this calculation is to know that the estimated regression slope is equal to the sum of cross products ($\sum (y-\bar y) (x-\bar x)$) divided by the sum of squares ($\sum (x-\bar x)^2$).

g <- c(1,2,4)
g0 <- g - mean(g)
s <- c(1,5,9)
s0 <- s- mean(s)
sum(g0*s0)/(sum(g0^2))
## [1] 2.571429

If think if the shoe sizes were $\{1,11/3,9\}$ instead of $\{1,5,9\}$ then the slope would come out to 8/3 ...