Сколько раз мы должны повторять K-кратное резюме?

Я наткнулся на эту тему, глядя на различия между начальной загрузкой и перекрестной проверкой - кстати, отличный ответ и ссылки. Что меня сейчас интересует, так это то, что если я должен был выполнить повторное 10-кратное CV, скажем, чтобы вычислить точность классификатора, сколько раз n я должен повторить это?

Имеет ли п зависит от количества складок? На размер выборки? Есть ли какое-то правило для этого?

(В моем случае у меня есть выборки размером до 5000, и если я выберу что-то большее, чем n = 20, мой компьютер займет слишком много времени для выполнения расчета.)

Влияющим фактором является то, насколько стабильна ваша модель - или, точнее, предсказания суррогатов.

Если модели полностью стабильны, все суррогатные модели будут давать одно и то же предсказание для одного и того же контрольного примера. В этом случае итерации / повторения не нужны, и они не дают никаких улучшений.

Как вы можете измерить стабильность прогнозов, вот что я сделаю:

• Настройте всю процедуру таким образом, чтобы сохранить результаты каждого повторения / итерации перекрестной проверки, например, на жесткий диск
• Начните с большого количества итераций
• После нескольких итераций извлеките предварительные результаты и посмотрите на стабильность / вариацию результатов для каждого прогона.

• Затем решите, сколько дальнейших итераций вы хотите уточнить результаты.

• Конечно, вы можете решить, скажем, выполнить 5 итераций, а затем принять решение о конечном числе итераций, которые вы хотите выполнить.

(Примечание: я обычно использую> около 1000 суррогатных моделей, поэтому типичное количество повторений / итераций не будет около 100 - 125).

Задайте статистику любой вопрос, и его ответом будет некая форма «это зависит».

Это зависит . Помимо типа модели (хорошие точки cbeleites!), Количество обучающих заданных точек и количество предикторов? Если модель предназначена для классификации, большой дисбаланс классов может привести к увеличению числа повторений. Кроме того, если я пересэмплирую процедуру выбора функции, я буду склоняться к большему количеству повторных выборок.

Для любого метода повторной выборки, используемого в этом контексте, помните, что (в отличие от классической начальной загрузки) вам нужно только достаточно итераций, чтобы получить «достаточно точную» оценку среднего распределения. Это субъективно, но любой ответ будет.

Придерживаясь классификации с двумя классами на секунду, предположим, что вы ожидаете / надеетесь, что точность модели будет около 0,80. Поскольку процесс передискретизации является выборка оценки точности (скажем p), стандартная ошибка будет , sqrt[p*(1-p)]/sqrt(B)где Bэто количество передискретизирует. Ведь B = 10стандартная ошибка точности составляет около 0,13, а с B = 100ней - около 0,04. Вы можете использовать эту формулу в качестве приблизительного руководства для этого конкретного случая.

Также учтите, что в этом примере дисперсия точности максимизируется по мере приближения к 0,50, поэтому точная модель должна требовать меньшего количества повторений, поскольку стандартная ошибка должна быть ниже, чем у моделей с низким уровнем обучаемости.

НТН,

Максимум