Иконические (игрушечные) модели нейронных сетей

Мои профессора физики в аспирантуре, а также благородный лауреат Фейнман всегда представляли то, что они называли игрушечными моделями, чтобы проиллюстрировать основные понятия и методы в физике, такие как гармонический осциллятор, маятник, волчок и черный ящик.

Какие модели игрушек используются для иллюстрации основных концепций и методов, лежащих в основе применения нейронных сетей? (Ссылки, пожалуйста.)

Под игрушечной моделью я подразумеваю особенно простую сеть минимального размера, применяемую для решения весьма сложной задачи, с помощью которой можно представить основные методы и проверить и улучшить свое понимание посредством фактической реализации, то есть построения базового кода и, предпочтительно, в определенной степени, выполняющего / проверка базовой математики вручную или с помощью символического математического приложения.

Одним из самых классических является Персептрон в двух измерениях, который восходит к 1950-м годам. Это хороший пример, потому что это стартовая площадка для более современных методов:

1) Не все является линейно отделимым (отсюда необходимость нелинейных активаций или методов ядра, нескольких слоев и т. Д.).

2) Персептрон не будет сходиться, если данные не являются линейно разделяемыми (непрерывные меры разделения, такие как softmax, затухание скорости обучения и т. Д.).

3) Несмотря на то, что существует бесконечно много решений для разделения данных, ясно, что некоторые из них более желательны, чем другие (максимальное разделение границ, SVM и т. Д.)

Для многослойных нейронных сетей вам могут понравиться примеры классификации игрушек, которые поставляются с этой визуализацией .

Для сверточных нейронных сетей MNIST - это классический золотой стандарт, с симпатичной визуализацией здесь и здесь .

Для RNN очень простая задача, которую они могут решить, - это двоичное сложение , для которого необходимо запомнить 4 шаблона.

1. Проблема XOR, вероятно, является канонической проблемой ANN игрушки.

   Ричард Блэнд, июнь 1998 года, Университет Стерлинга, факультет компьютерных наук и математики. Компьютерный технический доклад " Изучение XOR: исследование пространства классической задачи "

2. TensorFlow площадка представляет собой интерактивный интерфейс для нескольких игрушек нейронных сетей, в том числе и XOR Джеллиролл.

3. Вычисление наибольшего собственного значения симметричной матрицы фиксированного размера (2x2 или 3x3) я использую в демонстрациях в классе.

   A. Cichocki и R. Unbehauen. « Нейронные сети для вычисления собственных значений и собственных векторов » Биологическая кибернетика декабрь 1992 г., том 68, выпуск 2, стр. 155–164

Такие проблемы, как MNIST, безусловно, каноничны, но их нелегко проверить вручную - если только у вас не так много свободного времени. И при этом кодекс не является особенно основным.

Что касается задач НЛП, Penn Tree Bank - это очень стандартный набор данных для эталонных тестов, который используется, например, в Войцехе Зарембе, Илье Суцкевере, Oriol Vinyals « Регулярная рекуррентная нейронная сеть » и, вероятно, в сотнях других работ.

Я не знаю физической игрушки, но лучший пример, который я знаю, - это многослойный ИИ, сгенерированный с помощью генетического алгоритма для игры в Super Mario Brothers. Исходный код есть в описании видео.

MarI / O - машинное обучение для видеоигр: https://www.youtube.com/watch?v=qv6UVOQ0F44