Следует ли использовать повторную перекрестную проверку для оценки прогностических моделей?

Я наткнулся на эту статью 2012 года, написанную Гитте Ванвинкеленом и Хендриком Блокелом, в которой ставится под сомнение полезность повторной перекрестной проверки, которая стала популярным методом уменьшения дисперсии перекрестной проверки.

Авторы продемонстрировали, что, хотя повторная перекрестная проверка действительно уменьшает дисперсию предсказаний модели, поскольку для того же набора данных выборки проводится повторная выборка, среднее значение оценок повторной выборки перекрестной проверки сходится к смещенной оценке истинной точности прогноза и, следовательно, бесполезно.

Следует ли использовать повторную перекрестную проверку, несмотря на эти ограничения?

cross-validation

— RobertF
источник

По моему опыту, перекрестная проверка (повторная или нет) не дает очень хорошей оценки точности прогнозирования. Но это очень полезно для сравнения прогностической эффективности различных моделей. Это хороший способ выбора между моделями, но не хороший способ оценить производительность отдельной модели.

— Камбала

@Flounderer Это хороший момент. Моя интерпретация статьи заключается в том, что мы не можем сделать значимые сравнения моделей, основанных на повторной перекрестной проверке и неповторной перекрестной проверке. Вы пытаетесь выжать из данных необоснованное количество информации. Или это неправильно?

— RobertF

Аргумент, который, кажется, приводит газета, кажется мне странным.

Согласно этому документу, целью CV является оценка , ожидаемой предсказательной производительности модели на новых данных, учитывая , что модель была обучена на наблюдаемом наборе данных . Когда мы проводим кратной CV, мы получаем оценку из этого числа. Из-за случайного разбиения в складок, это случайная величина , со средним и дисперсия $\alpha_2$ $S$ $k$ $\hat A$ $S$ $k$ $\hat A \sim f(A)$ $\mu_k$ . Напротив, кратное повторение CV дает оценку с тем же средним $\sigma^2_k$ $n$ но меньшая дисперсия . $\mu_k$ $\sigma^2_k/n$

Очевидно, . Этот уклон - это то, что мы должны принять. $\alpha_2\ne \mu_k$

Тем не менее, ожидаемая ошибка будет больше при меньших , и будет наибольшим для , по крайней мере , при разумных предположениях о , например , когда . Другими словами, повторное CV позволяет получить более точную оценку $\mathbb E\big[|\alpha_2-\hat A|^2\big]$ $n$ $n=1$ $f(A)$ $\hat A\mathrel{\dot\sim} \mathcal N(\mu_k,\sigma^2_k/n)$ $\mu_k$ и это хорошо, потому что дает более точную оценку . $\alpha_2$

Следовательно, повторное резюме является строго более точным, чем повторное резюме.

Авторы не спорят с этим! Вместо этого они утверждают, на основе моделирования, что

уменьшение дисперсии [путем повторения CV] во многих случаях не очень полезно и, по сути, является пустой тратой вычислительных ресурсов.

Это просто означает, что в их моделировании было довольно низким; и , действительно, самый низкий размер выборки они использовали , который, вероятно , является достаточно большим , чтобы получить небольшие . (Разница в оценках, полученных с неповторяющимся CV и 30-кратным повторением CV, всегда мала.) При меньших размерах выборки можно ожидать большей дисперсии между повторениями. $\sigma^2_k$ $200$ $\sigma^2_k$

ПРЕДУПРЕЖДЕНИЕ: доверительные интервалы!

Другой момент, который авторы делают, заключается в том, что

сообщение о доверительных интервалах [при повторной перекрестной проверке] вводит в заблуждение.

$\mu_k$ $\alpha_2$

$k$

adult $\mu_k$

БОЛЬШЕ ОБЩЕЙ ПРОБЛЕМЫ: дисперсия CV.

Вы написали, что повторили резюме

стала популярной техникой для уменьшения дисперсии перекрестной проверки.

$\mu_k$ $k=N$ $k$

$\alpha_1$ $S$

— амеба говорит восстановить монику
источник

Я надеюсь, что @cbeleites заметит эту ветку и прокомментирует здесь или оставит свой собственный ответ: я знаю, что она (или использовала) многократное CV много раз, и я думаю, что выступает за вычисление изменчивости по повторам как некоторый показатель стабильности модели. Но я не думаю, что она вычислила бы CI по повторениям.

— говорит амеба, восстанови Монику

μ_{k}

$\mu_k$

α_{2}

$\alpha_2$

μ_{k}

$\mu_k$

α_{2}

$\alpha_2$

μ_{k}

$\mu_k$

@RobertF: я говорил (следуя статье V & B) об оценке производительности модели. Мой тезис состоит в том, что повторное CV является более точным, чем неповторяющееся CV, и я думаю, что это несомненно (V & R утверждает, что разница в точности, как правило, не так важна на практике). Сравнение двух моделей гораздо сложнее, потому что, скажем, вы запускаете CV и получаете 70% для одной модели и 71% для другой модели. Это «существенная» разница? Ну, это сложная проблема без однозначного ответа. И это не зависит от повторяющихся / неповторяющихся проблем.

— говорит амеба, восстанови Монику

Пища для размышления: applypredictivemodeling.com/blog/2014/11/27/…

— shadowtalker

σ_{k}

$\sigma_k$