Что такое вектор активности в нейронных сетях?

Я читал новую статью Хинтона «Динамическая маршрутизация между капсулами» и не понимал термин «вектор активности» в аннотации.

Капсула - это группа нейронов, вектор активности которых представляет параметры реализации объекта определенного типа, такого как объект или часть объекта. Мы используем длину вектора активности для представления вероятности существования сущности и ее ориентации для представления параметров реализации. Активные капсулы на одном уровне с помощью матриц преобразования предсказывают параметры реализации капсул более высокого уровня. Когда несколько предсказаний согласуются, капсула более высокого уровня становится активной. Мы показываем, что многослойная капсульная система с отличительной подготовкой обеспечивает самые современные характеристики MNIST и значительно лучше, чем сверточная сеть, для распознавания сильно перекрывающихся цифр. Для достижения этих результатов мы используем итеративный механизм маршрутизации по соглашению:

https://arxiv.org/pdf/1710.09829.pdf

Я думал, что вектор похож на массив данных, которые вы запускаете по сети.

Я начал работать над курсом глубокого обучения Эндрю Нга, но это все новое, и термины у меня в голове.

В традиционной нейронной сети вершины сетей являются нейронами, а выход одного нейрона представляет собой одно значение (« скаляр »). Этот номер называется его активацией . Слой нейронов в сети выводит вектор активаций. Мы не должны путать это с векторами активности в Капсульной сети.

Капсульные сети различны, поскольку вершины сети представляют собой капсулы, а не нейроны. Они являются многомерными: выходные данные капсулы представляют собой не скаляр, а вектор, представляющий группу параметров, связанных с входными данными. Отсюда и название вектора активации .

мотивация

В нейронной сети нет внутренней структуры между скалярными выходами нейронов, это то, чему должны научиться следующие слои. В Капсульных сетях выход капсулы представляет все параметры, связанные с этим, в векторе, включая прогноз активации капсул более глубокого уровня. Это добавляет полезную локальную структуру.

Например, рассмотрим распознавание лиц. Если у вас есть капсула, которая знает, как распознать глаза, она может вывести вектор активности, представляющий, например, «так как я распознала положение глаза (x, y) с вероятностью p = 0,97, я предсказываю, что параметры для всего лица будут (f1, ... фн) ".

Как объясняется в статье « Динамическая маршрутизация между капсулами», которую вы ссылаетесь на эту информацию, затем используется способ, которым капсулы в более ранних слоях (части: глаз, рот, нос) предсказывают активацию более глубоких слоев (лица). Например, распознаватель лица будет активирован только тогда, когда существует согласие между распознавателем глаза, носа и рта (части) и распознавателем лица (все) относительно того, где находится лицо ( (f1, ... fn ) параметры).

Историческое Вдохновение

Старые алгоритмы компьютерного зрения, такие как SIFT, работают аналогичным образом, когда распознавание основано на согласии между конфигурацией многомерных элементов (ключевых точек) и эталонной конфигурацией.

Я понял это как что-то вроде «вектора активаций нейронов в капсуле». Активация для данного нейрона представляет собой взвешенную сумму его входов, прошедших через функцию активации (сигмоид, релю и т. Д.).