Разница между прогнозами «в выборке» и «псевдо вне выборки»

Есть ли явная разница между прогнозами в выборке и псевдо прогнозами вне выборки . И то, и другое подразумевается в контексте оценки и сравнения моделей прогнозирования.

Предположим , у вас есть данные , где ч ∈ { 1 , 2 , ... } , и ваша цель состоит в том, чтобы построить модель (скажем, е ( Х т - ч ) ) для прогнозирования Y t с учетом X t - h . Для конкретности предположим, что данные являются ежедневными, а T соответствует сегодняшнему дню.$\{Y_t,X_{t-h}\}_{t=h+1}^T$$h \in \{1,2,\ldots\},$$\hat f(X_{t-h})$$Y_t$$X_{t-h}$$T$

Под анализом выборки подразумевается оценка модели с использованием всех доступных данных до включительно , а затем сравнение подгоночных значений модели с фактическими реализациями. Однако известно, что эта процедура рисует чрезмерно оптимистичную картину способности прогнозирования модели, поскольку общие алгоритмы подбора (например, с использованием квадратов ошибок или критериев вероятности), как правило, стараются избежать больших ошибок прогнозирования и, таким образом, подвержены переобучению - ошибочному шуму. для сигнала в данных.$T$

$Y_{T+1}$$e_{T+1} \equiv Y_{T+1} - \hat f(X_{T+1-h}),$$Y_{T+2}$$\{e_{T+l}\}_{l=1}^L$

$T_0 < T$$T$$\{e_t\}_{t=T_0+1}^T$

Обратите внимание, что псевдо-анализ вне выборки не единственный способ оценить производительность модели вне выборки. Альтернативы включают перекрестную проверку и информационные критерии.

Очень хорошее обсуждение всех этих вопросов приводится в главе 7

http://www.stanford.edu/~hastie/local.ftp/Springer/OLD/ESLII_print4.pdf