Как сообщается матрица путаницы из K-кратной перекрестной проверки?

Предположим, я делаю перекрестную проверку в K-кратном порядке с K = 10-кратным. Там будет одна матрица путаницы для каждого сгиба. Когда я сообщаю о результатах, я должен вычислить, какова средняя матрица путаницы, или просто суммировать матрицы путаницы?

machine-learning cross-validation accuracy

— дер
источник

Если вы тестируете производительность модели (то есть не оптимизируете параметры), обычно вы суммируете матрицы путаницы. Представьте себе, что вы разбили свои данные на 10 различных сгибов или «тестовых» наборов. Вы тренируете свою модель на 9/10 сгибов, проверяете первый сгиб и получаете матрицу путаницы. Эта запутанная матрица представляет собой классификацию 1/10 данных. Вы повторяете анализ снова со следующим набором «тест» и получаете еще одну матрицу путаницы, представляющую еще 1/10 данных. Добавление новой матрицы путаницы к первой теперь составляет 20% ваших данных. Вы продолжаете, пока не выполните все свои сгибы, суммируете все свои матрицы путаницы, и окончательная матрица путаницы представляет производительность этой модели для всех данных., Вы могли бы усреднить матрицы путаницы, но это не дает никакой дополнительной информации из совокупной матрицы и может быть предвзятым, если ваши сгибы не все одинакового размера.

Примечание. Это предполагает не повторную выборку ваших данных. Я не совсем уверен, если это будет отличаться для повторной выборки. Будет ли обновление, если я узнаю что-то или кто-то рекомендует метод.

— cdeterman
источник

Спасибо, cdeterman. А как насчет выбора модели (т.е. оптимизации параметров настройки)?

— Джон М

@JohnM, тогда вы смотрите на каждый фолд независимо, чтобы получить представление о том, какими должны быть лучшие параметры для полной модели. Возможно, вы захотите посмотреть на вложенное резюме, если хотите объединить оба.

— cdeterman