Геометрия и ИИ
Матрицы, кубы, слои, стеки и иерархии - это то, что мы можем точно назвать топологиями . В этом контексте рассмотрим топологию более высокого уровня геометрического проектирования системы обучения.
По мере роста сложности часто бывает полезно представить эти топологии в виде структур ориентированных графов. Диаграммы состояний и работы Маркова по теории игр - это два места, где обычно используются ориентированные графы. Направленные графы имеют вершины (часто визуализируются как замкнутые фигуры), а ребра часто визуализируются как стрелки, соединяющие фигуры.
Мы также можем представить GAN в виде ориентированного графа, где выходные данные каждой сети управляют обучением другой в состязательной форме. GAN топологически напоминают полосу Мебиуса.
Мы не можем открывать новые проекты и архитектуры, не понимая не только математику сходимости по оптимальному решению или отслеживания одного, но также и топологии сетевых соединений, которые могут поддерживать такую конвергенцию. Это все равно что сначала разрабатывать процессор, представляя, что потребуется операционной системе, прежде чем писать операционную систему.
Чтобы увидеть, какие топологии мы еще НЕ рассматривали, давайте сначала посмотрим, какие из них были.
Шаг первый - Экструзия во втором измерении
В 1980-х годах успех был достигнут благодаря расширению оригинальной конструкции персептрона. Исследователи добавили второе измерение для создания многослойной нейронной сети. Разумная конвергенция была достигнута за счет обратного распространения градиента функции ошибки через градиенты функций активации, ослабленных скоростями обучения и ослабленных другими мета-параметрами.
Шаг второй - добавление размеров к дискретному входному сигналу
Мы видим появление сверточных сетей, основанных на существующих вручную настроенных методах свертки изображений, которые вводят размеры для сетевого входа: вертикальное положение, цветовые компоненты и кадр. Это последнее измерение имеет решающее значение для компьютерной графики, замены лица и других морфологических методов в современном кинопроизводстве. Без этого у нас есть генерация изображения, категоризация и удаление шума.
Шаг третий - стеки сетей
Мы видим, что стопки нейронных сетей появились в конце 1990-х, когда обучение одной сети контролируется другой. Это введение концептуальных слоев, ни в смысле последовательных слоев нейронов, ни в смысле слоев цвета в изображении. Этот тип наложения также не является рекурсией. Это больше похоже на мир природы, где одна структура - это орган внутри другой совершенно другой структуры.
Шаг четвертый - иерархии сетей
Мы видим иерархию нейронных сетей, часто появляющуюся в исследованиях 2000-х и начала 2010-х годов (Laplacian и др.), Которые продолжают взаимодействие между нейронными сетями и продолжают аналогию с мозгом млекопитающих. Теперь мы видим мета-структуру, где целые сети становятся вершинами в ориентированном графе, представляющем топологию.
Шаг пятый - Mdash; Вылеты из картезианской ориентации
Некартово систематически повторяющиеся расположения клеток и связи между ними начали появляться в литературе. Например, калибровочные эквивариантные сверточные сети и икосаэдрический CNN (Тако С. Коэн, Морис Вейлер, Беркай Киканаоглу, Макс Веллинг, 2019) исследует использование схемы, основанной на выпуклом регулярном икосаэдре.
Подведение итогов
Слои имеют обычные функции активации для вершин и матриц затухания, сопоставленные с исчерпывающим набором направленных ребер между соседними слоями [1]. Слои свертки изображения часто находятся в двухмерных вершинных расположениях с кубами ослабления, отображенными в сокращенный набор направленных ребер между соседними слоями [2]. Стеки имеют целые многослойные сети в виде вершин в мета-ориентированном графе, и эти метавершины связаны в последовательности, причем каждое ребро является либо обучающим мета-параметром, либо сигналом подкрепления (обратной связи в реальном времени), либо каким-либо другим элементом управления обучением. , Иерархии сетей отражают идею о том, что можно объединять несколько элементов управления и направлять обучение на более низком уровне, или случай, когда несколькими элементами обучения можно управлять с помощью одной сети супервизора более высокого уровня.
Анализ тенденций в топологиях обучения
Мы можем анализировать тенденции в архитектуре машинного обучения. У нас есть три топологических направления.
Глубина в измерении причинности - Слои для обработки сигнала, где выход одного уровня активаций подается через матрицу ослабляющих параметров (весов) на вход следующего слоя. По мере установления большего контроля, начиная только с базового градиентного спуска в задней части распространения, можно достичь большей глубины.
Размерность входного сигнала - от скалярного ввода до гиперкубов (видео имеет горизонтальное, вертикальное, глубину цвета, включая прозрачность, и кадр). Обратите внимание, что это не то же самое, что число входов в смысле персептрона.
Топологическое развитие. Вышеупомянутые два имеют декартову природу. Размеры добавляются под прямым углом к существующему размеру. Поскольку сети соединены в иерархии (как в лапласовых иерархиях) и полоски Мебиуса в виде кругов (как в GAN), тренды являются топографическими и лучше всего представляются ориентированными графами, где вершины являются не нейронами, а их более мелкими сетями.
Какие топологии отсутствуют?
Этот раздел раскрывает значение заглавного вопроса.
- Есть ли какая-либо причина, по которой несколько метавершин, каждая из которых представляет нейронную сеть, могут быть организованы таким образом, чтобы несколько метавершин супервизора, вместе, могли контролировать несколько метавершин сотрудников?
- Почему обратное распространение сигнала ошибки является единственным нелинейным эквивалентом отрицательной обратной связи?
- Разве нельзя использовать сотрудничество между мета-вершинами, а не надзором, где есть два обратных ребра, представляющих элементы управления?
- Поскольку нейронные сети используются в основном для изучения нелинейных явлений, почему запрещается использование других типов замкнутых путей при проектировании сетей или их взаимосвязи?
- Есть ли причина, по которой звук не может быть добавлен к изображению, чтобы видеоклипы можно было автоматически классифицировать? Если это так, является ли сценарий возможным извлечением фильма и может ли использоваться состязательная архитектура для создания сценариев и производства фильмов без системы киностудии? Как эта топология будет выглядеть как ориентированный граф?
- Хотя ортогонально расположенные ячейки могут имитировать произвольную правильную компоновку неортогональных вершин и ребер, эффективно ли это делать в компьютерном зрении, где угол наклона камеры, отличный от плюс или минус 90 градусов, является обычным явлением?
- Эффективно ли размещать отдельные ячейки в сетях или сети ячеек в системах ИИ, ортогонально в обучающих системах, которые нацелены на понимание и сборку естественного языка или искусственное познание?
Заметки
Искусственные ячейки в MLP используют арифметические передаточные функции с плавающей или фиксированной запятой, а не электрохимические импульсные передачи, основанные на пороге, основанном на амплитуде и близости. Они не являются реалистичными симуляциями нейронов, поэтому называть вершины нейронами было бы неправильно для такого анализа.
Корреляция характеристик изображения и относительных изменений между пикселями в непосредственной близости намного выше, чем у удаленных пикселей.