Глубокое обучение убивает обработку изображений / компьютерное зрение?

Я с нетерпением жду регистрации в магистратуре по обработке сигналов и изображений, или, возможно, Computer Vision (я еще не решил), и этот вопрос возник.

Меня беспокоит то, что, поскольку глубокое обучение не требует извлечения признаков и почти не требует предварительной обработки ввода, это убивает обработку изображений (или обработку сигналов в целом)?

Я не специалист по глубокому обучению, но, похоже, он очень хорошо справляется с задачами распознавания и классификации, берущими изображения напрямую, а не вектором признаков, как другие методы.

Есть ли какой-нибудь случай, в котором традиционный подход извлечения признаков + классификации был бы лучше, используя методы обработки изображений, или это умирает из-за глубокого обучения?

Этот пост был обновлен много. Вверху вы можете увидеть ссылку обновления. Ниже приведены варианты исходного ответа. Для краткости: успехи сверточных нейронных сетей и глубокого обучения выглядят как своего рода галилеевская революция. С практической точки зрения классическая обработка сигналов или компьютерное зрение мертвы ... при условии, что у вас достаточно помеченных данных, мало заботятся о явных ошибках классификации ( глубокие изъяны ), есть бесконечная энергия для запуска тестов, не думая об углеродном следе , и не беспокойтесь о рациональных объяснениях. Что касается других, это заставило нас переосмыслить все, что мы делали раньше: извлечение функций, оптимизация (см. Мою коллегу Ж.-К. Песке, работающую над структурами глубоких нейронных сетей, решающими вариационные неравенства), инвариантность, количественная оценка и т. д. Из этого вытекает действительно интересное исследование, которое, мы надеемся, догонит твердо обоснованные принципы и аналогичные показатели.

Обновленные ссылки:

• 2019/07/19: Грани: Если вы можете определить, что на этих изображениях, вы умнее, чем ИИ , или вы видите крушение корабля или насекомых на мертвом листе?
• 2019/07/16: Препринт: Природные состязательные примеры

Мы вводим естественные противоборствующие примеры - реальные, неизмененные и встречающиеся в природе примеры, которые приводят к значительному снижению точности классификатора. Мы курируем 7500 естественных состязательных примеров и выпускаем их в тестовом наборе классификаторов ImageNet, который мы называем ImageNet-A. Этот набор данных служит новым способом измерения надежности классификатора. Как и альтернативные примеры l_p, примеры ImageNet-A успешно переносятся в невидимые или черные ящики-классификаторы. Например, в ImageNet-A DenseNet-121 имеет точность около 2%, падение точности примерно на 90%. Восстановить эту точность непросто, потому что примеры ImageNet-A используют глубокие недостатки в существующих классификаторах, включая их чрезмерную зависимость от цвета, текстуры и фоновых сигналов. Мы наблюдаем, что популярные методы обучения для повышения устойчивости имеют небольшой эффект, но мы показываем, что некоторые архитектурные изменения могут повысить устойчивость к естественным состязательным примерам. Дальнейшие исследования необходимы, чтобы обеспечить надежное обобщение этого жесткого набора тестов ImageNet.

• 2019/05/03: глубокое обучение: последний рубеж для обработки сигналов и анализа временных рядов? «В этой статье я хочу показать несколько областей, где сигналы или временные ряды имеют жизненно важное значение»
• 2018/04/23: Я только что вернулся с ежегодной международной конференции по акустике, обработке речи и сигналов, ICASSP 2018 . Меня поразило количество статей, в некоторой степени опирающихся на глубокое обучение, глубокие сети и т. Д. Два мольба из четырех (Алекс Асеро и Янн ЛеКун) были посвящены такой теме. В то же время большинство исследователей, с которыми я встречался, шутили по этому поводу («Извините, мой плакат посвящен банкам фильтров, а не углубленному обучению», «Мне не нравится это, у меня есть небольшие наборы данных») намеревались получить 0,5% на грандиозные испытания и потерять интерес к моделированию физики или статистических априоров.
• 2018/01/14: Может ли глубокая сеть увидеть кошку? от "абстрактного кота" до "лучшего кота", перевернутого, нарисованного и т. д. и как-то удивительно, результаты на эскизах
• 2017/11/02: добавлены ссылки на рассеивающие преобразования / сети
• 2017/10/21: Обзор сверточных нейронных сетей для обратных задач в изображении
• Глубокое обучение и его приложения к обработке сигналов и информации , журнал IEEE Signal Processing, январь 2011 г.

Глубокие справочные материалы «шагая» по стандартной обработке сигналов / изображений можно найти внизу. Майкл Элад только что написал « Глубокая, глубокая проблема: влияние глубокого обучения на обработку изображений, математику и человечество» (SIAM News, 2017/05), выдержка:

Затем нейронные сети внезапно вернулись и с удвоенной силой.

Эта трибуна представляет интерес, поскольку демонстрирует переход от традиционной «обработки изображений», пытаясь смоделировать / понять данные, к области правильности без особого понимания.

Этот домен развивается довольно быстро. Это не означает, что оно развивается в каком-то преднамеренном или постоянном направлении. Ни правильно, ни неправильно. Но сегодня утром я услышал следующее высказывание (или это шутка?):

плохой алгоритм с огромным набором данных можно сделать лучше , чем умный алгоритм с pauce данных.

Это была моя очень короткая попытка: глубокое обучение может дать самые современные результаты, но не всегда понятно, почему , и часть нашей работы ученого остается в объяснении, почему что-то работает, каково содержание фрагмента данных , и т.д.

Глубокое обучение требует (огромных) хорошо помеченных баз данных. Каждый раз, когда вы выполняете ручную работу над одиночными или единичными изображениями (т.е. без огромной базы данных), особенно в местах, где вряд ли получатся «бесплатные помеченные изображениями пользователей» (в дополнительном наборе из набора « забавные кошки, играющие в игры и лица ») Вы можете придерживаться традиционной обработки изображений на некоторое время и для получения прибыли. Недавно твит резюмирует , что:

(много) помеченных данных (без пропущенных переменных) является условием прерывания сделки (и не нужно) для многих доменов

Если их убивают (в чем я сомневаюсь в кратчайшие сроки), они еще не мертвы. Поэтому любые навыки, которые вы приобретете в обработке сигналов, анализе изображений, компьютерном зрении, помогут вам в будущем. Это, например, обсуждается в блоге: мы забыли о геометрии в компьютерном зрении? Алекс Кендалл:

Глубокое обучение революционизировало компьютерное зрение. Сегодня не так много проблем, в которых наилучшее решение не основано на сквозной модели глубокого обучения. В частности, популярны сверточные нейронные сети, поскольку они, как правило, работают достаточно хорошо из коробки. Тем не менее, эти модели в основном большие черные ящики. Есть много вещей, которые мы не понимаем о них.

Конкретным примером может быть следующее: пара очень темных (например, видеонаблюдения) изображений из одного и того же места, для которых необходимо оценить, содержит ли одно из них конкретное изменение, которое должно быть обнаружено, потенциально является вопросом традиционной обработки изображений, более чем Глубокое обучение (на сегодняшний день).

С другой стороны, столь же успешный, как и глубокое обучение в больших масштабах, это может привести к неправильной классификации небольших наборов данных, что может быть безвредным «в среднем» для некоторых приложений. Два изображения, которые немного отличаются от человеческого глаза, могут быть классифицированы по-разному с помощью DL. Или случайные изображения могут быть установлены для определенного класса. См., Например, Глубокие нейронные сети легко обмануть: высоконадежные прогнозы для неузнаваемых изображений (Нгуен А., Йосински Дж., Клюн Дж. Proc. Computer Vision и Pattern Recognition 2015), или у глубокого обучения есть глубокие недостатки? На состязательных негативах:

Сеть может неправильно классифицировать изображение после того, как исследователи применили некоторое незаметное возмущение. Возмущения находят путем корректировки значений пикселей, чтобы максимизировать ошибку прогнозирования.

При всем уважении к «глубокому обучению», подумайте о «массовом производстве, отвечающем зарегистрированному, известному, пригодному для массового использования или ожидаемому поведению», а не «единственном произведении искусства». Ни один не лучше (пока) в единой шкале индекса. Оба, возможно, должны сосуществовать некоторое время.

Тем не менее, глубокое обучение проникает во многие новые области, как описано в ссылках ниже.

• Глубокое обучение для сжатия изображений
  • Адаптивное сжатие изображений в реальном времени , ICML 2017
  • Сжатие изображений с полным разрешением с помощью рекуррентных нейронных сетей
  • Сквозное оптимизированное сжатие изображений , ICRL 2017
• Глубокое обучение для сжатия видео
  • Можно ли применять глубокое обучение к сжатию видео?
• Глубокое обучение для удаления шума, реставрации, удаления артефактов
  • CAS-CNN: глубоко сверточная нейронная сеть для подавления артефактов сжатия изображения
  • Сверхразрешение с глубокой сверточной статистикой

К счастью, некоторые люди пытаются найти математическое обоснование глубокого обучения, примером которого являются рассеивающие сети или преобразования, предложенные Стефаном Маллатом и соавторами, см. Сайт ENS для рассеяния . Гармонический анализ и нелинейные операторы, функции Липшица, инвариантность перемещения / вращения, лучше для среднего человека, обрабатывающего сигнал. См. Например, Понимание Глубоких Сверточных Сетей .

Во-первых, нет ничего плохого в том, чтобы выполнять дипломную работу по обработке изображений или компьютерному зрению и использовать глубокое обучение. Глубокое обучение не убивает обработку изображений и компьютерное зрение, это всего лишь актуальная тема исследований в этих областях.

Во-вторых, глубокое обучение в основном используется при распознавании категорий объектов. Но это только одна из многих областей компьютерного зрения. Существуют и другие области, такие как обнаружение объектов, отслеживание, 3D-реконструкция и т. Д., Многие из которых по-прежнему зависят от «созданных вручную» функций.

Никакое глубокое обучение не убивает обработку изображений. Вам нужны огромные наборы данных и много вычислительных ресурсов для глубокого обучения. Существует множество приложений, в которых желательно иметь возможность выполнять обработку изображений с меньшей вычислительной нагрузкой и меньшими объемами памяти и без доступа к огромным базам данных. Некоторые примеры - мобильные телефоны, планшеты, мобильные камеры, автомобили, квадрокоптеры. Глубокое обучение в настоящее время очень раскручено, поскольку существуют некоторые очень впечатляющие результаты классификации.

Классификация - это одна из многих проблем, с которыми сталкивается Обработка изображений, поэтому, даже если бы это было правдой, глубокое обучение решило бы все проблемы классификации, было бы еще много других типов Обработки изображений. Шумоподавление, регистрация изображений, расчеты движения, морфинг / наложение, повышение резкости, оптические коррекции и преобразования, расчет геометрии, трехмерная оценка, трехмерные модели движения + время, стереозрение, сжатие и кодирование данных, сегментация, размытие, стабилизация движения, компьютерная графика, все виды рендеринга.

Сегодня у нас была беседа с моим другом. Здесь, в Мюнхене, был дождливый день, в то время как большая часть Европы имела вид солнечной атмосферы. Люди делились фотографиями в социальных сетях, где они были в красивых летних платьях, бродили по морям. Она была недовольна этой ситуацией, повернулась ко мне и спросила: «Не могли бы вы написать программное обеспечение для блокировки фотографий в социальных сетях, которые включают такие милые фотографии лета, когда погода здесь такая плохая?». Я сказал, почему нет. Все, что вам нужно сделать, это собрать огромный набор летних изображений и негативных примеров, передать его через сеть, которая выполняет бинарную классификацию на уровне «Блок» или «Нет блока». Обучите и настройте сеть. Вот и все.

Затем я повернулся к себе: действительно ли я знаю, как написать простой алгоритм, чтобы решить, хорошая погода или нет, не позволяя машине думать за меня? Едва ... Может быть ... Для любопытного читателя, вот некоторые функции, которые вы могли бы разработать, если вы попытаетесь пойти на это:

Двухклассная классификация погоды, Cewu Lu§ Di Lin, Jiaya Jia, Chi-Keung Tang , CVPR 2014

Очевидно, что в настоящее время я не буду беспокоиться об этой публикации CVPR и просто углублюсь. Итак, насколько мне нравится глубокое обучение для его надежной работы во многих сценариях, я также использую его осторожно. Даже если это не убьет мои знания об обработке изображений, это приведет к снижению знаний о предметной области, которые мне требуются. Интеллектуально это не очень элегантно.

Как только человек решит держать себя на пути и получит выгоду от обоих миров, он / она будет в безопасности.

Короткий ответ: нет. DL может распознать кружку на фотографии, но это в любом случае не убивает обработку сигнала. Тем не менее, ваш вопрос весьма актуален в эти смутные дни. Существует панель хорошая дискуссия на эту тему, показывая Стефан Маллат и т.д., здесь .

Техника данных по-прежнему используется в машинном обучении для предварительной обработки и выбора данных, передаваемых в DNN, для улучшения их времени обучения и эффективности оценки. Обработка изображений (данные между датчиком камеры и растровыми изображениями RGB и т. Д., Подаваемыми на DNN), форма обработки данных, все еще необходима.

Глубокое понимание обработки сигналов (наряду с линейной алгеброй, векторным исчислением, математической статистикой и т. Д.) Крайне необходимо для нетривиальной работы в области глубокого обучения, особенно в области компьютерного зрения.

Некоторые из документов с высокой отдачей в глубоком обучении (теперь, когда была отобрана большая часть низко висящих фруктов) демонстрируют хорошее понимание концепций обработки сигналов.

Несколько мотивационных концепций:

• Расширенные извилины : проверьте этот пост . Одним из первых уравнений было бы то, что нужно человеку с глубокими познаниями (ха) в концепциях обработки сигналов. Это также тесно связано с алгоритмом trous, найденным в классической обработке вейвлет-сигналов.
• Транспонированные сверточные слои / Deconv слои. Опять же, основные концепции обработки сигналов.
• Формирование конвекторных фильтров - необходимо хорошее представление о нормах оператора и сопоставлении сокращений. Обычно это можно найти либо в выпускном курсе EE по теории сигналов или системам управления, либо в математических курсах по анализу (реальный или функциональный).
• Состязательные примеры : одна из первых работ по исследованию этого ( «Интригующие свойства ...» ) формализовала это в терминах возмущений и использовала константы Липшица различных слоев и нелинейностей в нейронной сети для оценки чувствительности к верхней границе. такие возмущения. Согласитесь, анализ был очень предварительным, но, опять же, я считаю, что это доказывает тот факт, что для достижения нетривиального прогресса во всем, включая глубокое обучение, требуется нетривиальное понимание теории.

Список можно продолжить. Таким образом, даже если вы в конечном итоге будете работать с компьютерным зрением и применять глубокое обучение к своим проблемам, фон обработки сигналов облегчит вам задачу.

Я действительно мало занимаюсь обработкой изображений, но я работал в организации (ВМС США), которая проводила и финансировала исследования в области классификации сигналов в последний раз, когда нейронные сети были горячей темой, с середины до конца 80-х годов. Я должен был пройти через большое количество маркетинговых материалов. Аргументы были такими:

• Это Нейронный, как ваш мозг, и, поскольку он превзошел линейный классификатор, он превосходит статистические методы. Я на самом деле знаю некоторых людей, чьи документы были отклонены, потому что они использовали статистику для оценки эффективности.
• Нейронные сети являются индуктивными, они могут правильно классифицировать вещи, если ни одного или нескольких примеров не было в их обучающих наборах.
• DARPA финансирует работу, и мы все знаем, что все, что делает DARPA, является победителем. (Google еще не было)
• Разве производительность не замечательна, не нужна матрица путаницы, не нужны классовые приоры, я могу просто сказать, какова моя вероятность ошибки. Не нужно никаких границ, я просто сделаю трюки на вынос и переподготовку.
• Выберите некоторые функции и воспользуйтесь этим, это черный ящик, масштабирование, выравнивание данных, отказ от беспорядка, плохие метки, появление нескольких классов, не моя проблема.
• Математический туман, машины Больцмана
• Давайте добавим SVD и, возможно, фрактальное измерение.
• Под надзором / без присмотра приманкой и переключателем я найду все ваши скрытые паттерны. Разве эта ассоциативная память не глубока?

Книга Бишопа понадобилась, чтобы смягчить мой цинизм.

В более чем нескольких приложениях оптимальный алгоритм обработки сигналов потребует исчерпывающего поиска по перечислению по большому пространству параметров, которое быстро становится неразрешимым. Большая ферма серверов может увеличить это достижимое пространство поиска, но в какой-то момент вам нужно найти эвристику. DL, кажется, может найти некоторые из этих эвристик, но это не решает сложную оптимизацию NP.

С точки зрения университета, многие люди, которые занимаются обработкой сигналов, были немного враждебны по отношению к ОД, я подозреваю, потому что они чувствовали угрозу, что это покушается на их область. Но в последнее время было проведено много исследований преимуществ комплексных глубоких нейронных сетей, что может свидетельствовать о том, что золотой билет действительно является хорошим пониманием обеих дисциплин.

Ну да. Точно так же, как разработка на языках программирования более высокого уровня, таких как C ++ и Python, «убила» ассемблерное программирование. Это не означает, что изучать ассемблер при обучении на курсе CS не имеет значения. Он дает отличное представление о том, как работает компьютер, что происходит за кулисами языков более высокого уровня, каковы основные принципы языка программирования и т. Д. Но теперь никто в здравом уме не будет программировать настольное приложение в сборке.