Ответы:
Это идет в обратном направлении, но это отчасти следует логике аргументов.
С точки зрения эффективности, я вижу несколько серьезных проблем с классическими нейронными сетями.
Большие нейронные сети требуют много данных для обучения. Сумма может варьироваться в зависимости от размера сети и сложности задачи, но, как правило, она пропорциональна количеству весов. Для некоторых контролируемых учебных задач просто недостаточно качественных помеченных данных. Сбор большого количества данных специальной подготовки может занять месяцы или даже годы, а маркировка может быть громоздкой и ненадежной. Это может быть частично смягчено увеличением данных, что означает «синтез» большего количества примеров из тех, которые у вас уже есть, но это не панацея.
Скорость обучения, как правило, довольно мала, поэтому процесс обучения идет медленно. Большую модель, которая может занять несколько недель для обучения на настольном процессоре, можно обучить, скажем, за два часа, используя кластер GPU, который потребляет несколько киловатт энергии. Это фундаментальный компромисс из-за характера процедуры обучения. Тем не менее, графические процессоры становятся все более эффективными - например, новая архитектура GPU nVidia Volta допускает 15,7 TFLOP при потреблении менее 300 Вт.
В настоящее время практически каждая отдельная проблема требует разработки, обучения и развертывания настраиваемой нейронной сети. В то время как решение часто работает, это своего рода заперли в эту проблему. Например, AlphaGo великолепен в Go, но он будет безнадежен при управлении автомобилем или предоставлении музыкальных рекомендаций - он просто не предназначен для таких задач. Эта подавляющая избыточность, на мой взгляд, является серьезным недостатком нейронных сетей, а также серьезным препятствием на пути развития нейронных сетей в целом. Существует целая область исследований, которая называется трансферным обучением.который занимается поиском способов применения сети, обученной одной задаче, к другой задаче. Часто это связано с тем, что для второй задачи может быть недостаточно данных для обучения сети с нуля, поэтому возможность использовать предварительно обученную модель с некоторой дополнительной настройкой очень привлекательна.
Первая часть вопроса более сложная. Оставляя в стороне чисто статистические модели, я не видел ни одного выдающегося подхода к машинному обучению, который бы радикально отличался от нейронных сетей. Тем не менее, есть некоторые интересные разработки, о которых стоит упомянуть, поскольку они направлены на устранение некоторых из перечисленных выше недостатков.
Сначала немного предыстории.
Всплеск нейронных сетей имеет огромный потенциал с точки зрения вычислительной мощности. Фактически, было доказано, что они строго более мощные, чем классические нейронные сети с сигмовидной активацией.
В добавок к этому, всплывшие нейронные сети обладают внутренним пониманием времени, что является серьезным препятствием для классических сетей с момента их создания. Мало того, но шипящие сети управляются событиями , что означает, что нейроны работают только при наличии входящего сигнала. Это отличается от классических сетей, где каждый нейрон оценивается независимо от его входных данных (опять же, это всего лишь следствие процедуры оценки, обычно реализуемой как умножение двух плотных матриц). Таким образом, в разветвленных сетях используется разреженная схема кодирования, что означает, что в любой момент времени активна только небольшая часть нейронов.
Теперь разреженное основанное на скачках кодирование и управляемая событиями операция подходят для аппаратных реализаций скачкообразных сетей, называемых нейроморфными чипами . Например, чип IBM TrueNorth может имитировать 1 миллион нейронов и 256 миллионов соединений, потребляя в среднем всего около 100 мВт . Это на несколько порядков эффективнее, чем современные графические процессоры nVidia. Нейроморфные чипы могут быть решением проблемы компромисса между временем и энергией, о котором я говорил выше.
Кроме того, мемристоры являются относительно новым, но очень многообещающим развитием. По сути, мемристор - это элемент фундаментальной цепи, очень похожий на резистор, но с переменным сопротивлением, пропорциональным общему количеству тока, прошедшего через него в течение всего срока службы. По сути, это означает, что он сохраняет «память» о количестве тока, прошедшего через него. Одним из захватывающих потенциальных применений мемристоров является чрезвычайно эффективное моделирование синапсов в аппаратном обеспечении.
Я думаю, что это стоит упомянуть, потому что они являются многообещающими кандидатами для решения проблемы непередачи. Они не ограничиваются нейронными сетями - будучи ориентированными на вознаграждение, RL и эволюция теоретически применимы в общих условиях к любой задаче, где можно определить вознаграждение или цель, которую должен достичь агент. Это не обязательно тривиально, но гораздо более универсально, чем обычный подход, основанный на ошибках, когда обучающий агент пытается минимизировать разницу между его результатами и истинностью. Основной момент здесь касается передачи обучения: в идеале, применение обученного агента для другой задачи должно быть таким же простым, как изменение цели или вознаграждения (хотя они еще не совсем на этом уровне ...).
In particular it is shown that networks of spiking neurons are, with regard to the number of neurons that are needed, computationally more powerful than these other neural network models.
max(0, x)) очень сильно в опасности застрять x < 0, в результате чего мертвые нейроны. В любом случае, речь идет о вычислительной мощности шипующих сетей и их ультраэффективной аппаратной реализации с точки зрения энергопотребления.
Замена нейронных сетей
Могут существовать новые алгоритмы, которые могут заменить нейронные сети. Однако одной из характеристик нейронных сетей является то, что в них используются простые элементы, каждый из которых требует небольших вычислительных ресурсов в геометрических узорах.
Искусственные нейроны могут быть запущены параллельно (без разделения процессорного времени или зацикливания), отображая вычисления на устройства DSP или другое оборудование для параллельных вычислений. То, что многие нейроны по сути одинаковы, является, таким образом, сильным преимуществом.
Что бы мы заменили?
Когда мы рассматриваем алгоритмические замены нейронных сетей, мы подразумеваем, что дизайн нейронной сети является алгоритмом. Не то.
Нейронная сеть - это подход к сближению в схеме реального времени для выполнения нелинейного преобразования входных данных в выходные, основанный на некоторой формулировке того, что является оптимальным. Такая формулировка может быть минимизацией меры ошибки или несоответствия некоторому определенному идеалу. Это может быть мерой хорошего самочувствия, которая должна быть максимальной.
Источник определения пригодности для любого данного поведения сети может быть внутренним. Мы называем это обучением без присмотра. Он может быть внешним, который мы называем контролируемым, когда внешняя информация о пригодности связана с входными векторами в форме желаемых выходных значений, которые мы называем метками.
Пригодность может также возникать извне как скаляр или вектор, не связанный с входными данными, а скорее в реальном времени, который мы называем подкреплением. Такое требует повторяющихся алгоритмов обучения. Чистая поведенческая приспособленность может альтернативно оцениваться другими сетями в системе, в случае суммированных сетей или других конфигураций, таких как лапласианские иерархии.
Выбор алгоритмов не имеет ничего общего со сравнительным интеллектом после выбора математических и технологических схем. Разработка алгоритма напрямую связана с минимизацией требований к вычислительным ресурсам и сокращением затрат времени. Эта минимизация зависит также от оборудования и операционной системы.
Указана ли замена?
Конечно. Было бы лучше, если бы сети были больше похожи на нейроны млекопитающих.
Под региональной передачей сигналов подразумевается множество химических сигналов, выходящих за пределы передачи сигналов через синапсы.
Мы можем даже рассмотреть выход за пределы неврологии млекопитающих.
Эффективность нейронной сети
Эффективность не может быть определена количественно в некоторой универсальной шкале, поскольку температура может быть определена количественно в градусах Кельвина. Эффективность может быть количественно оценена как отношение некоторого измеренного значения к некоторому теоретическому идеалу. Обратите внимание, что это идеал, а не максимум в знаменателе. В термодинамических двигателях такой идеальной является скорость ввода энергии, которая никогда не может быть полностью передана на выход.
Точно так же нейронные сети никогда не могут учиться в нулевое время. Нейронная сеть также не может достичь нулевой ошибки за произвольно длительное время производства. Поэтому информация в некотором роде похожа на энергию, концепцию, исследованную Клодом Шенноном из Bell Labs на заре цифровой автоматизации, и связь между информационной энтропией и термодинамической энтропией в настоящее время является важной частью теоретической физики.
Не может быть плохой эффективности обучения или хорошей эффективности обучения. Не может быть ни плохой производительности, ни хорошей производительности, если мы хотим думать логически и с научной точки зрения - только относительное улучшение конфигурации системы по сравнению с другой конфигурацией системы для очень специфического набора сценариев производительности.
Следовательно, без однозначной спецификации двух конфигураций аппаратного обеспечения, операционной системы и программного обеспечения и полностью определенного набора тестов, используемых для относительной оценки, эффективность не имеет смысла.
У нас есть некоторая надежда, скрывающаяся на этом фронте. На данный момент у нас есть капсульные сети Дж. Хинтона, которые используют другую нелинейную активацию, называемую функцией «сквош».
Сами капсульные сети имеют некоторые недостатки. Таким образом, была работа в направлении взгляда за пределы нейронных сетей. Вы можете прочитать этот блог для лучшего понимания, прежде чем читать статью Дж. Хинтона.
Нейронные сети требуют много данных и обучения. Для большинства наборов данных в табличном формате гораздо лучше использовать модели на основе дерева решений. В большинстве случаев простых моделей достаточно для обеспечения хорошей точности. Однако нейронные сети прошли проверку временем. Прошло всего пять-шесть лет с тех пор, как началась революция глубокого обучения, поэтому мы до сих пор не знаем истинную силу глубокого обучения.