Вот интересная книга Neural Networks: Tricks of the Trade , обновленная версия книги 2012 года. Много статей от некоторых пионеров нейронных сетей.
ypx прекрасно затронул множество практических вопросов, связанных с обучением, поэтому затрону другие затронутые вами вопросы: многие элитные промышленные лаборатории все еще публикуют свои результаты. Например, команда Microsoft Research только что выиграла ImageNet 2015 и выпустила технический отчет, описывающий их новый модуль Deep Net: Deep Residual Learning для распознавания изображений , команда Google также опубликовала свою начальную архитектуру Going Deeper with Convolutions . В нетривиальной степени все еще существует культура в машинном обучении (пока) обмена большими инновациями. Возможно, потому что ключом является доступ к данным. Google и Facebook просто имеют доступ к данным, которых у нас нет. Трудно сказать, сколько кредитов идет на необработанные алгоритмические инновации и сколько идет на огромные объемы данных.
Что касается того, что будет в будущем? Тяжело сказать. Это вопрос, который многие люди поднимают, учитывая, насколько ценными стали эти компании, управляемые данными, и насколько конкурентоспособен рынок. Но на данный момент, я думаю, есть достаточно хороший баланс того, что разделяют и не разделяют промышленные исследовательские лаборатории. Я понимаю их, не разделяя их точную реализацию кода. Но они делятся некоторыми очень новыми инновациями.
Найдите исследователей, которые публикуют важные результаты и читают, читают, читают. Я верю в АМА Янна ЛеКуна на Reddit, он упомянул, что он ненасытный читатель. Я считаю, что это самое главное. И насколько это возможно, попытайтесь воссоздать их тесты или примените их метод к набору данных, который находится в пределах вашего бюджета.
Я думаю, что независимо от того, где вы находитесь и чем занимаетесь в жизни, это лучший способ оставаться в форме и продолжать развивать свои навыки. Будь ненасытным читателем, реализуй вещи и развивай интуицию. Лично у меня нет ресурсов для участия в конкурсах ImageNet, но мне очень помогло прочтение всех наиболее успешных статей группы ImageNet.