Понимание начальной загрузки для проверки и выбора модели

Мне кажется, я понимаю, как работают основы самозагрузки , но я не уверен, что понимаю, как я могу использовать самозагрузку для выбора модели или чтобы избежать переобучения.

Например, для выбора модели вы бы просто выбрали модель, которая дает наименьшую ошибку (может быть, дисперсию?) Во всех выборках начальной загрузки?

Существуют ли какие-либо тексты, в которых обсуждается, как использовать начальную загрузку для выбора или проверки модели?

РЕДАКТИРОВАТЬ: см. Эту ветку, и ответ @ mark999 для большего контекста позади этого вопроса.

model-selection cross-validation bootstrap

— Амелио Васкес-Рейна
источник

@suncoolsu Если у меня есть модели A, B и C на выбор, я бы обычно использовал перекрестную проверку или начальную загрузку для выбора модели, когда 1) меня интересует точность / ранжирование прогноза и 2) у меня недостаточно данных для удержания проверочный набор. Почему это не будет хорошей идеей (и я знаю, что вложенная проверка важна для выбора функций и т. Д.).

— B_Miner

Ответ @ mark999 в этой теме предлагает проверку начальной загрузки в качестве решения для изучения модели по полному набору данных при одновременном преодолении переобучения. Этот ответ во многом вдохновил этот вопрос, и оригинальный вопрос в этой ветке также должен добавить контекст к этому вопросу.

— Амелио Васкес-Рейна

Я извиняюсь - возможно, я статистик - но я думаю, что перекрестная проверка и начальная загрузка - это две разные вещи. Перекрестная проверка хороша и должна быть сделана (и начальная загрузка также). Но если вы находитесь в таких ситуациях, как выбор между A, B, C (только три модели), BIC может быть лучшим выбором. Как я уже сказал, решение зависит от имеющейся проблемы, и могут быть подходящими несколько подходов.

— Suncoolsu

AIC обычно дает меньше недостаточного оснащения, чем BIC.

— Фрэнк Харрелл

Ответы:

Сначала вы должны решить, действительно ли вам нужен выбор модели, или вам просто нужно моделировать. В большинстве ситуаций, в зависимости от размерности, предпочтение отдается гибкой комплексной модели.

Начальная загрузка - отличный способ оценить производительность модели. Самая простая вещь для оценки - дисперсия. Более того, программа начальной загрузки может оценить вероятную будущую производительность данной процедуры моделирования на новых данных, которые еще не реализованы.

При использовании повторной выборки (начальной загрузки или перекрестной проверки) для выбора параметров настройки модели и для оценки модели вам потребуется двойная предварительная проверка или перекрестная проверка с вложением.

В общем случае для начальной загрузки требуется меньше подгонок модели (часто около 300), чем для перекрестной проверки (10-кратная перекрестная проверка должна повторяться 50-100 раз для стабильности).

Некоторые исследования моделирования могут быть найдены в http://biostat.mc.vanderbilt.edu/rms

— Фрэнк Харрелл
источник

Вау, я не знал, что 10-кратное резюме нужно повторять 50-100 раз! Мне придется пересмотреть мой последний проект и попробовать вместо этого начальное тестирование. Люблю этот сайт: я чему-то учусь каждый день!

— Уэйн

Спасибо @Frank! Скажем, у меня есть набор моделей-кандидатов с одним и тем же числом параметров. Являются ли модели с более низкой дисперсией в оценках начальной загрузки лучшими кандидатами (при условии, что общая потеря или риск для всех них были одинаковыми) для борьбы с переобучением?

— Амелио Васкес-Рейна

Я бы не предполагал это, но это возможно.

— Фрэнк Харрелл

Отличный ответ, спасибо! Я не знал, что начальная загрузка может также использоваться для проверки модели, и перекрестную проверку нужно повторять много раз. Я вижу еще одно преимущество этого метода: перекрестная проверка требует, чтобы количество сгибов было определено (субъективно) заранее, обычно 10, что является более или менее эвристическим, а не оптимальным. Но хотя это отличный метод, почему он не так популярен, как перекрестная проверка?

— SiXUlm

Проверка модели начальной загрузки довольно популярна, но перекрестная проверка существует дольше. Но, как вы сказали, есть некоторый произвол в выборе # сгибов в cv.

— Фрэнк Харрелл

Подумайте об использовании начальной загрузки для усреднения модели .

Приведенный ниже документ может помочь, поскольку он сравнивает подход усреднения бутстраповой модели с (более часто используемым?) Усреднением байесовского моделирования и излагает рецепт для выполнения усреднения модели.

Усредненная модель начальной загрузки в исследованиях временных рядов загрязнения воздуха и взвешенных частиц

— Джош Хеманн
источник

Я бы не рекомендовал бутстрап для усреднения модели в большинстве случаев. Загрузчик лучше всего расскажет вам о том, как выполняется одна процедура моделирования, а не о том, как создать новую процедуру. Однако есть и исключения.

— Фрэнк Харрелл

@ Фрэнк Харрелл - Согласен. Документ, на который я ссылаюсь, относится к области, в которой я иногда работаю, и я использовал загрузчик для сценария, который вы указали: оценка изменчивости конкретной модели из-за ошибки выборки. Но неопределенность, обусловленную самим выбором модели , еще сложнее оценить, и подход усреднения начальной модели может быть полезен в качестве помощи, особенно для таких практиков, как я, которым не хватает опыта / опыта для переформулирования проблем для усреднения байесовской модели.

— Джош Хеманн

Нет, я бы сказал, что бутстрап отлично подходит для оценки ущерба, вызванного незнанием модели заранее. Это не означает, что вы должны обязательно использовать загрузчик для улучшения, например, усреднения по набору неопределенных моделей. Если вы должны использовать загрузчик таким образом, вам понадобится двойной загрузчик, чтобы получить честную оценку производительности усредненной модели. Я должен отметить, что случайные леса являются формой усреднения модели с использованием начальной загрузки.

— Фрэнк Харрелл

Хороший вопрос о двойной загрузке. Авторы статьи, на которую я ссылался, имеют следующую статью об этом: Усреднение модели Bootstrap-after-Bootstrap для уменьшения неопределенности модели при выборе модели для исследований смертности от загрязнения воздуха

— Джош Хеманн

Хорошо. Просто помните, что это часто перебор. Часто лучше представить полную модель, основанную на предмете, и использовать усадку (штраф), если она выходит за рамки; но это все еще одна модель.

— Фрэнк Харрелл