Ультрасовременный алгоритм обучения ансамбля в задачах распознавания образов?


14

Структура этого вопроса следующая: сначала я представляю концепцию обучения ансамблям , далее я даю список задач распознавания образов , затем я привожу примеры алгоритмов обучения ансамблям и, наконец, представляю свой вопрос. Те, кому не нужна вся дополнительная информация, могут просто посмотреть на заголовки и перейти прямо к моему вопросу.


Что такое обучение ансамблю?

Согласно статье в Википедии :

В статистике и машинном обучении методы ансамбля используют несколько алгоритмов обучения, чтобы получить лучшую прогностическую эффективность, чем можно было бы получить с помощью любого из составляющих алгоритмов обучения. В отличие от статистического ансамбля в статистической механике, который обычно бесконечен, ансамбль машинного обучения относится только к конкретному конечному набору альтернативных моделей, но, как правило, допускает наличие гораздо более гибкой структуры среди этих альтернатив.


Примеры задач распознавания образов:


Примеры ансамблевых алгоритмов обучения:

Следующие алгоритмы обучения ансамбля, используемые для задач PR (согласно Wiki):

Алгоритмы обучения ансамбля (контролируемые мета-алгоритмы для объединения нескольких алгоритмов обучения):


Разные реализации

  • Ансамбли нейронных сетей (набор моделей нейронных сетей, принимающих решение путем усреднения результатов отдельных моделей).
  • Случайный лес (ансамблевый метод обучения для классификации, регрессии и других задач, который работает путем построения множествадеревьев решенийво время обучения и вывода класса, который являетсярежимомклассов (классификация) или средним прогнозом (регрессия) индивида деревья).
  • AdaBoost (выходные данные других алгоритмов обучения («слабые учащиеся») объединяются во взвешенную сумму, которая представляет окончательный результат повышенного классификатора).

Дополнительно:

  • Методы, которые используют одну нейронную сеть для объединения разных классификаторов
  • Метод сфер компетенции

Мой вопрос

Какой из алгоритмов обучения ансамбля считается современным и в настоящее время используется на практике (для обнаружения лиц, распознавания номерных знаков транспортных средств, оптического распознавания символов и т. Д.) Предприятиями и организациями? Предполагается, что использование алгоритмов обучения ансамбля повысит точность распознавания и приведет к лучшей вычислительной эффективности. Но так ли обстоят дела в реальности?

Какой метод ансамбля потенциально может показать лучшую точность классификации и производительность в задачах распознавания образов? Возможно, некоторые из методов уже устарели или оказались неэффективными. Также возможно, что ансамблевые методы теперь, как правило, больше не используются в силу некоторых новых алгоритмов. Те, кто имеет опыт работы в этой области или обладает достаточными знаниями в этой области, можете ли вы помочь прояснить вопросы?


Недавно я услышал, что люди любят XGBoost, и он показал действительно впечатляющую производительность на нескольких соревнованиях Kaggle.
Sangwoong Yoon

Ответ короткий: тот, который дает лучшую оценку CV. Обычно это укладка
Алексей Григорьев

Успех и неудача ансамблевой модели - это функция моделей-членов ансамбля и характера данных. Ансамбль работает, потому что модели участников дают степень разнообразия. Ваш вопрос, вероятно, не может быть решен без специфики обеих моделей, которые вы добавили в свой ансамбль, и соответствующего набора данных.
ГорацийT

Ответы:


9

Современные алгоритмы могут отличаться от используемых в промышленности. Кроме того, последние могут инвестировать в тонкую настройку более базовых (и зачастую более понятных) подходов, чтобы они работали лучше, чем академики.

Пример 1: Согласно TechCrunch , Nuance начнет использовать «технологию глубокого обучения» в своих продуктах распознавания речи Dragon в сентябре этого года.

Пример 2: Читикариу, Лаура, Юняо Ли и Фредерик Р. Рейсс. «Извлечение информации на основе правил устарело! Да здравствует система извлечения информации на основе правил!». В EMNLP нет. Октябрь, стр. 827-832. 2013. https://scholar.google.com/scholar?cluster=12856773132046965379&hl=en&as_sdt=0,22 ; http://www.aclweb.org/website/old_anthology/D/D13/D13-1079.pdf

введите описание изображения здесь

С этим, как говорится:

Какой из алгоритмов обучения ансамбля считается современным в настоящее время

Одна из самых современных систем классификации изображений получает хороший ансамбль (как и большинство других известных мне систем): он, Кайминг, Сянъюй Чжан, Шаоцин Рен и Цзянь Сан. «Глубокое остаточное обучение для распознавания изображений». Препринт arXiv arXiv: 1512.03385 (2015). https://scholar.google.com/scholar?cluster=17704431389020559554&hl=en&as_sdt=0,22 ; https://arxiv.org/pdf/1512.03385v1.pdf

введите описание изображения здесь


3

Я думаю, можно сказать, что глубокое обучение в значительной степени является современным в большинстве областей компьютерного зрения (классификация, обнаружение, суперразрешение, обнаружение краев, ...) за исключением очень специфической задачи, такой как SLAM, где глубокое обучение еще не наравне с существующими методами.

Часто, чтобы получить несколько дополнительных процентов, чтобы выиграть в конкурентной борьбе, используется усреднение сетей, но сети становятся настолько хорошими, что это уже не имеет большого значения.

В производстве это совершенно другое. Большие компании, как правило, полагаются на старые алгоритмы, которые доказали свою эффективность, и что у существующих экспертов есть знания и многолетний опыт их использования.
Плюс интеграция нового алгоритма в цепочку поставок требует много времени. Я думаю, что некоторые компании по производству камер все еще используют детектор Viola Jones для обнаружения лица, и я точно знаю, что SIFT интенсивно используется во многих приложениях в промышленности.

Они также все еще немного скептически относятся к методам глубокого обучения, которые считаются опасными черными ящиками.
Но впечатляющие результаты этих алгоритмов медленно заставляют людей передумать об этом.

Стартапы более охотно используют такие решения, поскольку для их финансирования им нужны инновационные решения.

Я бы сказал, что через двадцать лет большинство продуктов, основанных на компьютерном зрении, будут использовать глубокое обучение, даже если между ними будет обнаружено что-то более эффективное.
Чтобы добавить к ответу Франка, глубокое обучение меняется настолько быстро, что ResNets of Kaiming. Он больше не является современным. Плотно соединенные сверточные сети, а широкие и глубокие сети с перезапуском SGD теперь являются SOTA на EDIT CIFAR и SVHN и, вероятно, тоже Imagenet и даже этим может измениться через несколько дней с результатами ILSVRC 2016 16 сентября.

Если вас интересуют более современные результаты по MS-COCO, самый сложный из существующих наборов данных обнаружения будет выпущен на ECCV в октябре.


1
Фактически, после двойной проверки в цитируемых мной статьях не упоминаются их результаты на Imagenet! Так что это моя ошибка! но так как они намного лучше в CIFAR и SVHN, я думаю, что это должно быть то же самое в Imagenet, но вы никогда не знаете. Думаю, они не упомянули об этом, чтобы дождаться результатов ILSVRC, но я могу ошибаться!
Жан

1
@FranckDernoncourt это безумие результатов очень захватывающее, но также может оказать большое давление на людей, которые хотят публиковать в этой области, что может привести к ошибкам, таким как эта ныне печально известная статья SARM, которую автор отозвал сегодня из NIPS.
Жан

Спасибо, да, я действительно это видел, но у меня не было возможности проверить эту статью ... У меня проблема с очисткой моего списка для чтения со всеми этими новыми файлами ANN: /
Франк Дернонкур

Этот инцидент с выводом SARM заставляет меня переосмыслить кризис воспроизводимости в статистике. Сколько деталей реализации должно потребоваться в процессе проверки, сколько слишком мало и т. Д.
horaceT

2

Есть много вопросов, связанных с вашим вопросом, и, как правило, поиск лучшей модели предполагает проверку большинства из них на данных. Тот факт, что теоретически модель может давать более точные результаты, не означает, что она всегда будет давать модель с наименьшей ошибкой.

При этом ... Нейронные сети могут быть очень точными, если вы можете принять черный ящик. Изменение как количества узлов, так и количества слоев может покрывать большие различия в данных, с учетом этого множества факторов моделирования может быть легко переписать данные.

Случайные леса редко дают наиболее точные результаты, но улучшенные деревья могут моделировать сложные отношения, как в задачах ИИ, которые вы обсуждали, без особого риска переобучения.

Казалось бы, почему бы не объединить все эти модели вместе, но эта модель ставит под угрозу возможные сильные стороны отдельных моделей. Опять же, это может привести к некоторым проблемам с переоснащением.

Модели, которые являются вычислительно эффективными, это другое дело, и я бы не стал начинать с очень сложной нейронной сети. Используя нейронную сеть в качестве эталона, по моему опыту, это было наиболее эффективно при использовании повышенных деревьев.

Это основано на моем опыте и разумном понимании теории, лежащей в основе каждого из обсуждаемых типов моделирования.

Используя наш сайт, вы подтверждаете, что прочитали и поняли нашу Политику в отношении файлов cookie и Политику конфиденциальности.
Licensed under cc by-sa 3.0 with attribution required.