Расчет АПК «вручную» в R

Я попытался вычислить AIC линейной регрессии в R, но без использования AICфункции, например:

lm_mtcars <- lm(mpg ~ drat, mtcars)

nrow(mtcars)*(log((sum(lm_mtcars$residuals^2)/nrow(mtcars))))+(length(lm_mtcars$coefficients)*2)
[1] 97.98786

Тем не менее, AICдает другое значение:

AIC(lm_mtcars)
[1] 190.7999

Может кто-нибудь сказать мне, что я делаю не так?

r aic information-theory

— Лучиано
источник

(пока не проверяя свой ответ): вы не обязательно делаете что-то не так, поскольку вероятность определяется только с точностью до мультипликативной константы; два человека могут рассчитать логарифмическую вероятность и получить разные числа (но различия в логарифмической вероятности одинаковы).

— Glen_b

Я думаю, что ответ Hong Oois связан с этим вопросом. Формула, функция AICиспользует это -2*as.numeric(logLik(lm_mtcars))+2*(length(lm_mtcars$coefficients)+1).

— COOLSerdash

luciano: «+1» в этой формуле @COOLSerdash указывает на результат, возникающий из члена параметра дисперсии. Отметим также , что функция logLikговорит , что для lmмоделей включает в себя «все константы» ... так что там будет log(2*pi)где - то там

— Glen_b -Reinstate Монике

@Glen_b: Почему говорят, что вероятность определяется только с точностью до мультипликативной константы? В конце концов, сравнивая не вложенные модели из разных семейств распределения (например, с AIC или с тестом Кокса), вы должны помнить эту константу.

— Scortchi - Восстановить Монику

@ Scortchi определение не мое! Вам придется обсудить это с RAFisher. Я думаю, что так было с самого начала (1921). То, что он по-прежнему определен таким образом, по крайней мере, в непрерывном случае, см. Здесь , например, в начале предложения «Точнее».

— Glen_b

Ответы:

Обратите внимание, что справка по функции logLikв R говорит, что для lmмоделей она включает в себя «все константы» ... так log(2*pi)что где-то там будет и другой постоянный член для показателя степени вероятности. Также нельзя забывать считать тот факт, что является параметром. $\sigma^2$

$\cal L(\hat\mu,\hat\sigma)=(\frac{1}{\sqrt{2\pi s_n^2}})^n\exp({-\frac{1}{2}\sum_i (e_i^2/s_n^2)})$

$-2\log \cal{L} = n\log(2\pi)+n\log{s_n^2}+\sum_i (e_i^2/s_n^2)$

$= n[\log(2\pi)+\log{s_n^2}+1]$

$\text{AIC} = 2p -2\log \cal{L}$

но учтите, что для модели с 1 независимой переменной p = 3 (x-коэффициент, постоянная и ) $\sigma^2$

Что означает, что вы получите ответ так:

nrow(mtcars)*(log(2*pi)+1+log((sum(lm_mtcars$residuals^2)/nrow(mtcars))))
       +((length(lm_mtcars$coefficients)+1)*2)

— Glen_b - Восстановить Монику
источник

Почему при расчете

вы делите только на

а не на

s^{2}

$s^2$

n

$n$

n - p

$n-p$

— Люк Торберн

См определение АИК:

, где вектор параметров,

оцениваются в максимуме (то есть все элементы &

являются ОМП); например, см. информационный критерий Википедии Акаике: Определение . Если вы не деля на

есть в вычислении

, вы не вычисляя ОМП

и так на самом деле не вычисления AIC - в действительности вы бы регулировочного дважды для эффекта установленных параметров. (Да, многие люди делают это неправильно)

- 2 \log L (\hat{θ}) + 2 p

$-2\log\mathcal{L}(\hat\theta)+2p$

θ

$\theta$

\hat{θ}

$\hat\theta$

n

$n$

{\hat{σ}}^{2}

$\hat{\sigma}^2$

σ^{2}

$\sigma^2$

— Glen_b - Восстановить Монику

Есть ли опечатка во втором уравнении? Должна ли она быть

Хорошо , я вижу, вы используете

- 2 \log L = n \log (2 π) + n \log s_{n} + \sum_{i} (e_{i}^{2} / s_{n}^{2})

$-2\log \cal{L} = n\log(2\pi)+n\log{s_n}+\sum_i (e_i^2/s_n^2)$

\sqrt{2 π s_{n}^{2}}

$\sqrt{2\pi s^2_n}$

— Rhody

AIC $2k -2 \log L$ $L$ $k$ $n \log \frac{S_{\mathrm{r}}}{n} + 2(k-1)$ $S_{\mathrm{r}}$ $n$

— Scortchi - Восстановить Монику
источник