Уменьшаются ли недостатки нейронных сетей?

Проработав с нейронными сетями около полугода, я на собственном опыте испытал то, что часто называют их основными недостатками, то есть переоснащение и застревание в локальных минимумах. Однако с помощью оптимизации гиперпараметров и некоторых недавно изобретенных подходов они были преодолены для моих сценариев. Из моих собственных экспериментов:

• Dropout, кажется, очень хороший метод регуляризации (также псевдо-ансамбль?),
• Пакетная нормализация облегчает обучение и поддерживает постоянную мощность сигнала на многих уровнях.
• Adadelta постоянно достигает очень хороших оптимизмов

Я экспериментировал с реализацией SVM в SciKit-learns наряду с моими экспериментами с нейронными сетями, но я считаю, что производительность по сравнению с ней очень низкая, даже после выполнения поиска по сетке для гиперпараметров. Я понимаю, что существует множество других методов, и что SVM можно считать подклассом NN, но все же.

Итак, на мой вопрос:

Со всеми более новыми методами, исследованными для нейронных сетей, они медленно - или они - станут "превосходящими" по сравнению с другими методами? Нейронные сети имеют свои недостатки, как и другие, но со всеми новыми методами, были ли эти недостатки смягчены до состояния незначительности?

Я понимаю, что часто «меньше значит больше» с точки зрения сложности модели, но это также может быть спроектировано для нейронных сетей. Идея «бесплатного обеда» запрещает нам предполагать, что один подход всегда будет превосходить нас. Просто мои собственные эксперименты - наряду с бесчисленными документами о потрясающих выступлениях разных NN - указывают на то, что, по крайней мере, может быть очень дешевый обед.

У нейронных сетей есть и другие недостатки.

1. Обучение нейронной сети занимает гораздо больше времени и ресурсов, чем что-то вроде случайного леса. Поэтому, если вам нужна скорость обучения или ресурсы ограничены, вам, вероятно, не стоит сначала смотреть на нейронные сети. Оценка обученного глубокого NN может быть намного дороже, чем конкурирующие методы тоже.
2. Усилия, вовлеченные в изучение того, как спроектировать и обучить NN, все еще намного выше, чем конкурирующие методы, такие как SVM. Люди, которые только начинают изучать Data Science, вероятно, должны использовать другие методы, чтобы узнать о нюансах подбора данных, прежде чем подключаться к нейронным сетям. И хотя простые NN с одним или двумя гиперпараметрами часто доступны во многих библиотеках науки о данных, они не работают лучше, чем другие методы, поэтому на самом деле это просто еще один метод ML черного ящика.
3. Хотя мы добились большого прогресса в понимании того, как нейронные сети делают свое волшебство, они все еще менее доступны и уязвимы, чем большинство конкурирующих методов. Таким образом, хотя NN могут решить эту проблему, они могут не дать вам так много понимания, как другие методы.

С нетерпением жду того, что другие люди скажут здесь.

Просто чтобы добавить к тому, что было сказано в блестящем ответе @ MikeWise,

• При прочих равных, модели глубокого обучения обычно имеют превосходство по сравнению с другими алгоритмами по мере увеличения размера набора данных:

  

• Как и все, все сводится к имеющемуся набору данных, нейронные сети хороши для других наборов данных, но в то же время они будут плохими для других наборов данных. Когда дело доходит до неструктурированных проблем (например, визуальных, текстовых, звуковых ), в настоящее время нейронные сети кажутся лучшим алгоритмом. Тем не менее, когда дело доходит до структурированных данных, быстрое сканирование типа алгоритма, используемого для победы в онлайн-соревнованиях по науке о данных, показывает, что так называемые алгоритмы машинного обучения, такие как XGboost, имеют высший ранг.

• Когда дело доходит до других моделей, разработка функций играет большую роль в эффективности алгоритма. Feature Engineering - это, как правило, сложная вещь, которую нужно сделать и сделать правильно. Алгоритмы глубокого обучения не требуют такого большого количества функциональных возможностей (если они вообще есть) по сравнению с другими алгоритмами, фактически они изучают функции самостоятельно .

• Если ребята из Google говорят, что не ожидают глубокого изучения, кто исключает возможность появления какого-то так называемого алгоритма машинного обучения, который штурмом захватывает мир?

• Вот опрос о том, что ученый, отвечающий на данные, сказал, когда его спросили: соответствует ли глубокое обучение обману в реальных приложениях? ,

• Даже некоторые популярные приложения глубокого обучения, такие как AlphaGo от Google, не на 100% глубокое обучение , а скорее частично углубленное изучение, отчасти старое доброе «машинное обучение». Мой 2 цента, может быть, мы не должны пока исключать другие алгоритмы машинного обучения.