Что делать, если высокая точность проверки, но низкая точность испытаний в исследованиях?

У меня есть конкретный вопрос о проверке в исследованиях машинного обучения.

Как мы знаем, режим машинного обучения требует от исследователей обучать свои модели данным обучения, выбирать модели-кандидаты по набору проверок и сообщать о точности на наборе испытаний. В очень строгом исследовании тестовый набор может использоваться только один раз. Тем не менее, это никогда не может быть сценарием исследования, потому что мы должны улучшить нашу производительность, пока точность теста не станет лучше, чем современные результаты, прежде чем мы сможем опубликовать (или даже представить) документ.

Теперь приходит проблема. Скажем, 50% - это самый современный результат, и моя модель может в целом достичь точности 50–51, что в среднем лучше.

Тем не менее, моя лучшая точность проверки (52%) дает очень низкую точность теста, например, 49%. Затем я должен сообщить о 49% своей общей производительности, если я не смогу еще больше улучшить валидацию, что, я думаю, не дает никакой надежды. Это действительно мешает мне изучить проблему, но это не имеет значения для моих сверстников, потому что они не видят 52%, что, я думаю, является выбросом.

Итак, как люди обычно делают в своих исследованиях?

ps k-кратная проверка не поможет, потому что та же самая ситуация все еще может случиться.

По определению, когда точность обучения (или какой-либо показатель, который вы используете) выше, чем ваше тестирование, у вас есть модель сверхнабора . По сути, ваша модель выучила особенности, которые помогают ей лучше работать в ваших данных обучения, которые не применимы к большему количеству данных и, следовательно, приводят к ухудшению производительности.

Я не уверен, почему вы говорите, что k-кратная проверка не будет полезна. Его цель - помочь избежать переоснащения ваших моделей. Возможно, вам не хватает данных? Такое утверждение важно, особенно если вы собираетесь защищать любое исследование, когда такие методы перекрестной проверки настоятельно рекомендуются.

Вы говорите, что не можете использовать тестовый набор только один раз (опять же, я полагаю, меньший размер выборки?). По моему опыту, наиболее распространенным путем является перекрестная проверка вашей модели в k-кратном порядке. Давайте возьмем пример с 10-кратным CV для выборки размером 100 и предположим, что ваша задача классификации является двоичной, чтобы сделать вычисления простыми. Поэтому я разделил свои данные на 10 разных сгибов . Затем я подгоняю свою модель к 9/10 сгибам и затем прогнозирую 1/10, которую я пропустил Для этого первого запуска полученная матрица путаницы:

    0  1
0   4  1
1   2  3

Затем я повторяю этот анализ снова, оставив следующую 1/10 кратной, и тренируюсь на другой 9/10. И получите мою следующую матрицу путаницы. После завершения у меня есть 10 матриц путаницы. Затем я суммировал бы эти матрицы (таким образом, у меня были предсказаны все 100 выборок) и затем сообщал свою статистику (Точность, PPV, оценка F1, Каппа и т. Д.). Если ваша точность не там, где вы хотите, есть много других возможностей.

1. Ваша модель должна быть улучшена (изменить параметры)
2. Возможно, вам придется попробовать другой алгоритм машинного обучения (не все алгоритмы созданы равными)
3. Вам нужно больше данных (трудно найти тонкие отношения)
4. Возможно, вам придется попробовать преобразовать ваши данные (в зависимости от используемого алгоритма)
5. Может не быть никакой связи между вашими зависимыми и независимыми переменными

В том-то и дело, что более низкий показатель тестирования (например, точность), чем у вашего обучения, свидетельствует о том, что вы подходите к своей модели, а не к тому, чего вы хотите, когда пытаетесь создать новую прогностическую модель.