Выбор функции и перекрестная проверка

Недавно я много читал на этом сайте (@Aniko, @Dikran Marsupial, @Erik) и в других местах о проблеме переоснащения, возникающего при перекрестной проверке (Smialowski et al 2010, Биоинформатика, Hastie, Элементы статистического обучения). Предполагается, что любой контролируемый выбор признаков (с использованием корреляции с метками классов), выполненный вне оценки производительности модели с использованием перекрестной проверки (или другого метода оценки модели, такого как начальная загрузка), может привести к переобучению.

Это кажется мне не интуитивным - конечно, если вы выберете набор функций, а затем оцените свою модель, используя только выбранные функции, используя перекрестную проверку, тогда вы получите объективную оценку обобщенной производительности модели по этим функциям (предполагается, что исследуемый образец является репрезентативным населения)?

С помощью этой процедуры, конечно, нельзя претендовать на оптимальный набор функций, но можно ли сообщить, что эффективность выбранного набора функций на невидимых данных является действительной?

Я принимаю, что выбор функций на основе всего набора данных может привести к некоторой утечке данных между тестовым набором и набором поездов. Но если набор функций является статическим после первоначального выбора, и никакие другие настройки не выполняются, то действительно ли уместно сообщить о перекрестно проверенных показателях производительности?

В моем случае у меня есть 56 функций и 259 случаев и так #cases> #features. Особенности получены из данных датчика.

Извиняюсь, если мой вопрос кажется производным, но это важный момент для прояснения.

Редактировать: При реализации выбора функций в рамках перекрестной проверки на наборе данных, подробно описанном выше (благодаря ответам ниже), я могу подтвердить, что выбор функций перед перекрестной проверкой в ​​этом наборе данных привел к значительномусмещение. Это смещение / переоснащение было наибольшим при использовании для состава с 3 классами по сравнению с составом с 2 классами. Я думаю, что тот факт, что я использовал ступенчатую регрессию для выбора признаков, увеличил это переоснащение; для сравнения в другом, но связанном наборе данных я сравнил процедуру последовательного прямого выбора признаков, выполненную до перекрестной проверки, с результатами, которые я ранее получил, с выбором признаков в CV. Результаты между обоими методами резко не отличались. Это может означать, что ступенчатая регрессия более склонна к переоснащению, чем последовательная ФС, или может быть причудой этого набора данных.

Если вы выполняете выбор признаков для всех данных, а затем проводите перекрестную проверку, то данные испытаний в каждом цикле процедуры перекрестной проверки также использовались для выбора функций, и это то, что смещает анализ производительности.

Рассмотрим этот пример. Мы генерируем некоторые целевые данные, подбрасывая монету 10 раз и записывая, идет ли она в виде головы или хвоста. Затем мы генерируем 20 функций, подбрасывая монету 10 раз для каждой функции и записывая, что мы получаем. Затем мы выполняем выбор функции, выбирая функцию, которая максимально соответствует целевым данным, и используем ее в качестве нашего прогноза. Если мы затем проведем перекрестную проверку, мы получим ожидаемую частоту ошибок чуть ниже 0,5. Это связано с тем, что мы выбрали эту функцию на основе корреляции как обучающего набора, так и тестового набора в каждом цикле процедуры перекрестной проверки. Однако истинный коэффициент ошибок будет 0,5, поскольку целевые данные просто случайны. Если вы выполняете выбор функции независимо в каждом сгибе перекрестной проверки, ожидаемое значение частоты ошибок равно 0.

Ключевая идея заключается в том, что перекрестная проверка является способом оценки производительности процесса построения модели, поэтому вам нужно повторять весь процесс в каждом цикле. В противном случае вы получите смещенную оценку или заниженную оценку дисперсии оценки (или обеих).

НТН

Вот некоторый код MATLAB, который выполняет симуляцию Монте-Карло этого набора, с 56 функциями и 259 случаями, чтобы соответствовать вашему примеру, вывод, который он дает:

Смещенная оценка: erate = 0,429210 (0,397683 - 0,451737)

Несмещенная оценка: erate = 0,499689 (0,397683 - 0,590734)

Смещенная оценка - это та, где выбор признака выполняется перед перекрестной проверкой, а смещенная оценка - это та, где выбор признака выполняется независимо в каждом сгибе перекрестной проверки. Это говорит о том, что в этом случае смещение может быть довольно серьезным, в зависимости от характера учебной задачи.

NF    = 56;
NC    = 259;
NFOLD = 10;
NMC   = 1e+4;

% perform Monte-Carlo simulation of biased estimator

erate = zeros(NMC,1);

for i=1:NMC

   y = randn(NC,1)  >= 0;
   x = randn(NC,NF) >= 0;

   % perform feature selection

   err       = mean(repmat(y,1,NF) ~= x);
   [err,idx] = min(err);

   % perform cross-validation

   partition = mod(1:NC, NFOLD)+1;
   y_xval    = zeros(size(y));

   for j=1:NFOLD

      y_xval(partition==j) = x(partition==j,idx(1));

   end

   erate(i) = mean(y_xval ~= y);

   plot(erate);
   drawnow;

end

erate = sort(erate);

fprintf(1, '  Biased estimator: erate = %f (%f - %f)\n', mean(erate), erate(ceil(0.025*end)), erate(floor(0.975*end)));

% perform Monte-Carlo simulation of unbiased estimator

erate = zeros(NMC,1);

for i=1:NMC

   y = randn(NC,1)  >= 0;
   x = randn(NC,NF) >= 0;

   % perform cross-validation

   partition = mod(1:NC, NFOLD)+1;
   y_xval    = zeros(size(y));

   for j=1:NFOLD

      % perform feature selection

      err       = mean(repmat(y(partition~=j),1,NF) ~= x(partition~=j,:));
      [err,idx] = min(err);

      y_xval(partition==j) = x(partition==j,idx(1));

   end

   erate(i) = mean(y_xval ~= y);

   plot(erate);
   drawnow;

end

erate = sort(erate);

fprintf(1, 'Unbiased estimator: erate = %f (%f - %f)\n', mean(erate), erate(ceil(0.025*end)), erate(floor(0.975*end)));

Чтобы добавить немного другое и более общее описание проблемы:

Если вы выполняете какую-либо предварительную обработку на основе данных , например,

1. Оптимизация параметров, управляемая перекрестной проверкой / отсутствием начальной загрузки
2. уменьшение размерности с помощью таких методов, как PCA или PLS, для создания входных данных для модели (например, PLS-LDA, PCA-LDA)
3. ...

и для того, чтобы оценить эффективность окончательной модели и использовать перекрестную проверку / проверку без загрузки (/ продержаться), предварительная обработка на основе данных должна быть выполнена на суррогатных обучающих данных, т. е. отдельно для каждой суррогатной модели.

Если управляемая данными предварительная обработка относится к типу 1., это приводит к «двойной» или «вложенной» перекрестной проверке: оценка параметров выполняется в перекрестной проверке с использованием только обучающего набора «внешней» перекрестной проверки. У ElemStatLearn есть иллюстрация ( https://web.stanford.edu/~hastie/Papers/ESLII.pdf Page 222 из печати 5).

Вы можете сказать, что предварительная обработка действительно является частью построения модели. только предварительная обработка, которая сделана

• независимо для каждого случая или
• независимо от фактического набора данных

может быть извлечен из цикла проверки для сохранения вычислений.

И наоборот: если ваша модель полностью построена на знаниях, внешних по отношению к конкретному набору данных (например, вы заранее решили, что ваши экспертные знания не позволяют решить проблему с помощью измерительных каналов 63–79, вы, конечно, можете исключить эти каналы Постройте модель и проведите перекрестную проверку. То же самое, если вы выполните регрессию PLS и на своем опыте решите, что 3 латентные переменные являются разумным выбором (но не решаете, дают ли 2 или 5 лв лучшие результаты), тогда вы можете продолжайте обычную проверку из начальной загрузки / перекрестной проверки.

Давайте попробуем сделать это немного интуитивно понятным. Рассмотрим этот пример: у вас есть двоичный зависимый и два двоичных предиктора. Вы хотите модель только с одним предиктором. Оба предиктора имеют шанс, скажем, 95% быть равными зависимому, и шанс 5% не согласиться с зависимым.

Теперь случайно по вашим данным один предиктор равен зависимости от целых данных в 97% времени, а другой - только в 93% времени. Вы выберете предиктор с 97% и построите свои модели. В каждом сечении перекрестной проверки у вас будет модель зависящий = предиктор, потому что это почти всегда верно. Таким образом, вы получите кросс-прогнозируемую производительность 97%.

Теперь вы можете сказать, хорошо, это просто невезение. Но если предикторы построены, как указано выше, то у вас есть шанс, что по крайней мере один из них будет иметь точность> 95% для всего набора данных, и именно этот вы выберете. Таким образом, у вас есть шанс на 75% переоценить производительность.

На практике оценить эффект совсем не тривиально. Вполне возможно, что ваш выбор объектов будет выбирать те же функции в каждом сгибе, как если бы вы делали это для всего набора данных, и тогда смещения не будет. Эффект также становится меньше, если у вас есть гораздо больше образцов, но функций. Возможно, было бы полезно использовать оба способа с вашими данными и посмотреть, как отличаются результаты.

Вы также можете выделить количество данных (скажем, 20%), использовать как свой, так и правильный способ получения оценок производительности путем перекрестной проверки на 80% и посмотреть, какой прогноз производительности окажется более точным, когда вы перенесете свою модель в модель. % данных отложено. Обратите внимание, что для того, чтобы это работало, ваш выбор функций до CV также должен быть сделан только на 80% данных. В противном случае он не будет имитировать перенос вашей модели в данные вне вашего образца.