Воспроизведение таблицы 18.1 из «Элементы статистического обучения»

Таблица 18.1 в Элементах статистического обучения суммирует эффективность нескольких классификаторов в наборе данных 14 классов. Я сравниваю новый алгоритм с лассо и эластичной сеткой для таких задач мультиклассовой классификации.

Используя glmnetверсию 1.5.3 (R 2.13.0), я не могу воспроизвести пункт 7. ( многочлен с пенизированным ) в таблице, где количество используемых генов составляет 269, а ошибка теста составляет 13 из 54. Используемые данные - это набор данных микрочипов с 14 раками . Что бы я ни пытался, я получаю модель с лучшими характеристиками, использующую 170-180 генов с ошибкой теста 16 из 54. $L_1$

Обратите внимание, что в начале Раздела 18.3 на странице 654 описана некоторая предварительная обработка данных.

Я связался с авторами - пока без ответа - и спрашиваю, может ли кто-либо подтвердить, что существует проблема с воспроизведением таблицы, или предложить решение о том, как воспроизвести таблицу.

classification lasso glmnet

— NRH
источник

В последнее время glmnet претерпел немало изменений и в прошлом имел некоторые проблемы с числами. Возможно ли это из-за этого? Как давно вы связались с авторами? Я вижу, что текущая версия 1.7 и была загружена в CRAN только около недели назад.

— кардинал

@cardinal, прошло около четырех недель с тех пор, как я провел последние эксперименты с glmnet, но у нас также есть другая реализация, которая дает аналогичные результаты, не совместимые с таблицей в ESL. Таблица определенно старше, поэтому я предполагаю, что таблица неверна, но было бы неплохо знать наверняка.

— NRH

Я очень кратко просмотрел эти разделы, и один вопрос, который возник у меня в голове, состоял в том, как была проведена перекрестная проверка для выбора параметра сжатия в (18.19) на стр. 661 (третья печать). Любая идея? Может быть, я пропустил это или это описано в другом месте? Это кажется вероятным местом, где ваши попытки воссоздать их анализ могут быть чувствительны к различиям в подходе.

— кардинал

@cardinal, во-первых, спасибо за проявленный интерес к этому. Это правильно, что резюме может иметь значение, но у авторов на самом деле есть подмножества (индексы), используемые для резюме на веб-странице вместе с данными. В любом случае, CV используется только для выбора оптимального лямбда-параметра штрафа, тогда весь набор обучающих данных используется для соответствия модели, которая затем оценивается по тестовым данным. Следовательно, даже если шаг CV выбирает другую лямбду, эта лямбда находится на пути решения для обучающих данных, и мы не можем ее найти ...

— NRH

Вы проверили пакет R книги? он содержит все наборы данных, функции и большинство сценариев, используемых там ...

— user603
источник

хорошая попытка Да, я проверил пакет, но утверждать, что он содержит все данные, функции и большинство сценариев, является преувеличением. Он не является полным и не содержит данных, о которых идет речь.

— NRH