Насколько верен этот слайд о глубоком обучении, утверждающий, что все усовершенствования 1980-х годов связаны только с большим объемом данных и более быстрыми компьютерами?

Я слушал разговор и увидел этот слайд:

Насколько это правда?

Я просматривал AI StackExchange и наткнулся на очень похожий вопрос: что отличает «глубокое обучение» от других нейронных сетей?

Поскольку AI StackExchange закроется завтра (снова), я скопирую два главных ответа здесь (вклады пользователей, лицензируемые по cc by-sa 3.0 с обязательным указанием авторства):

Автор: mommi84less

Две хорошо цитированные работы 2006 года вернули научный интерес к глубокому изучению. В «Алгоритме быстрого обучения для сетей с глубокими убеждениями» авторы определяют сеть с глубокими убеждениями как:

[...] плотно связанные сети убеждений, которые имеют много скрытых слоев.

Мы находим почти такое же описание для глубоких сетей в " Greedy Layer-Wise Training of Deep Networks" :

Глубокие многослойные нейронные сети имеют много уровней нелинейности [...]

Затем в обзорном документе «Репрезентативное обучение: обзор и новые перспективы» глубокое обучение используется для охвата всех методов (см. Также этот доклад ) и определяется как:

[...] построение нескольких уровней представления или изучение иерархии функций.

Прилагательное «глубокий», таким образом, использовалось авторами выше, чтобы подчеркнуть использование нескольких нелинейных скрытых слоев .

Автор: lejlot

Просто чтобы добавить в ответ @ mommi84.

Глубокое обучение не ограничивается нейронными сетями. Это более широкое понятие, чем просто DBN Хинтона и т. Д. Глубокие знания о

построение нескольких уровней представления или изучение иерархии функций.

Так что это название для алгоритмов обучения иерархического представления . Существуют глубокие модели, основанные на скрытых марковских моделях, условных случайных полях, машинах опорных векторов и т. Д. Единственная распространенная вещь состоит в том, что вместо (популярной в 90-х) разработки функций , где исследователи пытались создать набор функций, то есть лучше всего подходит для решения какой - либо задачи классификации - эти машины могут работать свое собственное представление от исходных данных, В частности - применительно к распознаванию изображений (необработанные изображения) они создают многоуровневое представление, состоящее из пикселей, затем линий, элементов лица (если мы работаем с лицами), таких как носы, глаза и, наконец, обобщенные лица. Применительно к обработке естественного языка - они создают языковую модель, которая соединяет слова в куски, куски в предложения и т. Д.

Еще один интересный слайд:

источник

Говорят, что отсев из Хинтона в 2006 году стал величайшим улучшением в углубленном изучении за последние 10 лет, потому что оно значительно снижает переоснащение.

Это, безусловно, вопрос, который вызовет споры.

Когда нейронные сети используются в глубоком обучении, они обычно обучаются способами, которые не использовались в 1980-х годах. В частности, утверждается, что стратегии, предусматривающие предварительную подготовку отдельных слоев нейронной сети для распознавания функций на разных уровнях, облегчают обучение сетей с несколькими уровнями. Это, безусловно, новая разработка с 1980-х годов.

Ключом является слово «глубоко» в глубоком обучении. Кто - то (забыл исх) в 80 - е годы доказали , что все нелинейные функции могут быть аппроксимированы одной однослойной нейронной сети с, конечно, достаточно большое число скрытых блоков. Я думаю, что этот результат, вероятно, отговаривал людей искать более глубокую сеть в более раннюю эпоху.

Но глубина сети - это то, что оказалось ключевым элементом в иерархическом представлении, который определяет успех многих современных приложений.

Не совсем, ANN начинается в 50-х годах. Посмотрите слайды одной из рок-звезд ML Янна ЛеКуна, чтобы увидеть подлинное и всеобъемлющее вступление. http://www.cs.nyu.edu/~yann/talks/lecun-ranzato-icml2013.pdf