Я покажу результат для любой множественной линейной регрессии, независимо от того, являются ли регрессоры полиномами от или нет. На самом деле, он показывает немного больше, чем вы просили, потому что он показывает, что каждый остаток LOOCV идентичен соответствующему взвешенному остатку из полной регрессии, а не только тому, что вы можете получить ошибку LOOCV, как в (5.2) (там Могут быть и другие способы, которыми средние значения совпадают, даже если не каждый термин в среднем одинаков).ИксT
Позвольте мне позволить себе использовать слегка адаптированные обозначения.
Сначала мы покажем, что
где - оценка, использующая все данные, и оценка при выходе из , наблюдение . Пусть определяется как вектор строки, такой что . - остатки.(А) & beta ; & beta ; (т)Х(т)тХт у т=Хт & beta ; у т
β^- β^( т )= ( ты^T1 - чT) ( X'Икс)- 1Икс'T,(А)
β^β^( т )Икс( т )TИксTY^T= XTβ^U^T
В доказательстве используется следующий матричный алгебраический результат.
Пусть - неособая матрица, - вектор и - скаляр. Если
Тогда
b λ λAбλ (A+λbb')-1
λ≠ - 1б'A- 1б
( A + λ b b')- 1= A- 1- ( λ1 + λ b'A- 1б) А- 1б б'A- 1(В)
Доказательство (B) следует непосредственно из проверки
{ A- 1- ( λ1 + λ b'A- 1б) А- 1б б'A- 1} (A+λb b') = Я,
Следующий результат полезен для доказательства (A)
( X'( т )Икс( т ))- 1Икс'T= ( 11 - чT) ( X'Икс)- 1Икс'T, (С)
Доказательство (C): По (B) мы имеем, используя ,
Таким образом, мы находим
( X ′ ( t ) X ( t ) ) - 1ΣTт = 1Икс'TИксT= X'Икс(X ′ ( t ) X(t))-1X ′ t
( X'( т )Икс( т ))- 1= ( X'Икс- Х'TИксT)- 1=(X'Икс)- 1+ ( X'Икс)- 1Икс'TИксT( X'Икс)- 11 - ХT( X'Икс)- 1Икс'T,
( X'( т )Икс( т ))- 1Икс'T= ( X'Икс)- 1Икс'T+ ( X'Икс)- 1Икс'T( XT( X'Икс)- 1Икс'T1 - ХT( X'Икс)- 1Икс'T)= ( 11 - чT) ( X'Икс)- 1Икс'T,
Доказательство (A) теперь следует из (C): так как
мы имеем
или
Итак,
где последнее равенство следует из (С).( Х ' ( т ) Х ( т ) + Х ' т Х т ) β
Икс'Иксβ^= X'Y,
( X'( т )Икс( т )+ X'TИксT) β^= X'( т )Y( т )+ X'TYT,
{ ЯК+ ( X'( т )Икс( т ))- 1Икс'TИксT} β^= β^( т )+ ( X'( т )Икс( т ))- 1Икс'T( XTβ^+ ты^T) .
β^= β^( т )+ ( X'( т )Икс( т ))- 1Икс'TU^T= β^( т )+ ( X'Икс)- 1Икс'TU^T1 - чT,
Теперь обратите внимание на . Умножьте в (A) на , добавьте с обеих сторон и переставьте, чтобы получить остатки, полученные в результате использования ( ),
или
часT= XT( X'Икс)- 1Икс'TИксTYTU^( т )β^( т )YT- ХTβ^( т )
U^( т )= ты^T+ ( ты^T1 - чT) чT
U^( т )= ты^T( 1 - чT) + ты^TчасT1 - чT= ты^T1 - чT