Основы глубокого обучения

Я ищу статью, подробно описывающую основы глубокого обучения. Идеально, как курс Эндрю Нг для глубокого обучения. Вы знаете, где я могу найти это?

Эта ссылка содержит удивительное количество глубокой учебной литературы. Подводя итог здесь (в том порядке, в котором должен быть новичок) - ПРИМЕЧАНИЕ. Все эти ресурсы в основном используют python.

1) Прежде всего, необходимы базовые знания по машинному обучению. Я нашел Caltech's Learning from data идеальным для всех курсов машинного обучения, доступных в сети.

Курс Эндрю Нг также очень хорош.

2) Для нейронных сетей никто не объясняет это лучше, чем доктор Патрик Уинстон . Задания должны быть опробованы для лучшего понимания. Они в питоне.

3) Для лучшего понимания нейронных сетей, Майкл Нильсен следует пройти курс (по предложению Алексея). Это довольно простой, но это работает.

4) Для глубоких нейронных сетей и более быстрой их реализации на графических процессорах доступно несколько сред, таких как Theano , Caffe , Pybrain , Torch и т. Д. Из них Theano обеспечивает лучшую функциональность низкого уровня, которая позволяет его пользователю создавать собственные NN. Это библиотека Python, так что возможность использовать numpy, scikit-learn, matplotlib, scipy вместе с этим является большим плюсом. Глубокое изучение учебника написанного Lisa Lab должен быть опробован для лучшего понимания Theano.

5) Для сверточных нейронных сетей следуйте учебнику Андрея Карпати .

6) Для обучения без учителя, следуйте здесь и здесь .

7) Для пересечения глубокого обучения и НЛП, следуйте классу Ричарда Сошера .

8) Для LSTM читайте Hochreiter S. & Schmidhuber J. (1997). Долгосрочная кратковременная память. Нейронные вычисления, 9 (8), 1735-1780 и Graves, Alex. Контролируемая последовательность маркировки с помощью рекуррентных нейронных сетей. Том 385. Springer, 2012 .

Вот код LSTM Theano .

Тема новая, поэтому большая часть мудрости разбросана по бумагам, но вот две последние книги:

• Глубокое обучение , Йошуа Бенжио, Йен Дж. Гудфеллоу, Аарон Курвилл.
• Глубокое обучение: методы и приложения , Ли Дэн и Донг Ю.

И некоторые практические материалы: http://deeplearning.net/tutorial/

• Учебное пособие по ACL 2012 + NAACL 2013: глубокое обучение для НЛП (без магии)

Нейронные сети и глубокое обучение Майкл Нильсен. Книга все еще находится в стадии разработки, но выглядит довольно интересно и многообещающе. И это бесплатно! Вот ссылка: http://neuralnetworksanddeeplearning.com/

Пока есть только 5 глав, и большинство из них говорят об обычных нейронных сетях, но все же стоит взглянуть.

Обновление: книга была закончена!

Основные ссылки:

Курсы по глубокому обучению:

• Курс Эндрю Нг по машинному обучению имеет хороший вводный раздел по нейронным сетям.
• Курс Джеффри Хинтона: Coursera Нейронные сети для машинного обучения (осень 2012)
• Бесплатная книга Майкла Нильсена « Нейронные сети и глубокое обучение»
• Йошуа Бенжио, Йен Гудфеллоу и Аарон Курвилл написали книгу о глубоком обучении
• Курс Уго Ларошеля (видео + слайды) в Университете Шербрука
• Учебник Стэнфорда (Эндрю Нг и др.) По неконтролируемому обучению и глубокому обучению
• Оксфордский курс МЛ 2014-2015
• Курс глубокого обучения NVIDIA (лето 2015)
• Курс глубокого обучения Google по Udacity (январь 2016 г.)

НЛП-ориентированные:

• Stanford CS224d: глубокое обучение для обработки естественного языка (весна 2015), Ричард Сошер
• Учебное пособие, данное на NAACL HLT 2013: глубокое обучение обработке естественного языка (без магии) (видео + слайды)

Vision-ориентированные:

• CS231n Сверточные нейронные сети для визуального распознавания от Andrej Karpathy (предыдущая версия, короче и менее отточенная: руководство хакера по нейронным сетям ).

Учебные пособия для конкретного инструментария:

• DL4J (Java): http://deeplearning4j.org/documentation.html
• Theano (Python, Y. Bengio): http://deeplearning.net/
• Машинное обучение с помощью Torch7 (Lua, LeCun): http://code.madbits.com/wiki/doku.php
• H2O Deep Learning (Java): http://0xdata.com/product/deep-learning/
• Кофе (C ++, UCB): http://caffe.berkeleyvision.org/
• Курс глубокого обучения Nervana

Есть также недавняя докторская диссертация Ричарда Сошера о пересечении НЛП и глубоком обучении: рекурсивное глубокое обучение для обработки естественного языка и компьютерного зрения

Для понимания происхождения алгоритма обратного распространения, я предлагаю Ryan Harris YouTube видео, которое является менее пугающим. Вы также можете найти второе видео.