Введение Фон

Внутри сверточной нейронной сети мы обычно имеем общую структуру / поток, который выглядит следующим образом:

1. входное изображение (т.е. 2D вектор x)

(1-й сверточный слой (Conv1) начинается здесь ...)

2. свертывать набор фильтров ( w1) вдоль двумерного изображения (т. е. делать z1 = w1*x + b1умножения точечного произведения), где z13D и b1смещения.
3. применить функцию активации (например, ReLu), чтобы сделать z1нелинейный (например a1 = ReLu(z1), где a13D).

(2-й Сверточный слой (Conv2) начинается здесь ...)

4. свертывать набор фильтров по вновь вычисленным активациям (т. е. делать z2 = w2*a1 + b2умножения скалярных произведений), где z2есть 3D, и b2есть смещения.
5. применить функцию активации (например, ReLu), чтобы сделать z2нелинейный (например a2 = ReLu(z2), где a23D).

 Вопрос

Определение термина «карта характеристик», кажется, варьируется от литературы к литературе. В частности:

• Для 1 - го сверточного слоя, делает «карту функции» соответствует входному вектору x, или скалярному произведение выходного z1или выходным активации a1, или «процесс» , преобразующим xк a1, или что - то еще?
• Аналогичным образом , для 2 - го сверточного слоя, делает «карты» функции соответствуют входным активациям a1или скалярному произведение выходного сигнала z2, или активацию выхода a2, или «процесс» преобразование , a1чтобы a2, или что - то еще?

Кроме того, правда ли, что термин «карта объектов» в точности совпадает с термином «карта активации»? (или они на самом деле означают две разные вещи?)

 Дополнительные ссылки:

Фрагменты из нейронных сетей и глубокого обучения - Глава 6 :

* Номенклатура здесь используется свободно. В частности, я использую «карту объектов» для обозначения не функции, вычисляемой сверточным слоем, а скорее активации скрытых нейронов, выводимых из слоя. Этот вид умеренного злоупотребления номенклатурой довольно распространен в исследовательской литературе.

Фрагменты из визуализации и понимания сверточных сетей Мэтта Цейлера :

В этой статье мы представляем технику визуализации, которая выявляет входные стимулы, которые возбуждают отдельные карты характеристик на любом слое модели. [...] Наш подход, напротив, предоставляет непараметрическое представление об инвариантности, показывающее, какие шаблоны из обучающего набора активируют карту объектов. [...] локальная контрастная операция, которая нормализует ответы по картам объектов. [...] Чтобы проверить заданную активацию коннета, мы устанавливаем все другие активации в слое на ноль и передаем карты объектов в качестве входных данных на присоединенный уровень деконвнета. [...] В Connet используются нелинейные рефлексы, которые исправляют карты объектов, таким образом гарантируя, что карты объектов всегда положительны. [...] Обман использует обученные фильтры, чтобы свести карты объектов с предыдущего слоя. [...] Рис. 6, эти визуализации являются точным представлением входного шаблона, который стимулирует данную карту объектов в модели [...], когда части исходного входного изображения, соответствующие шаблону, закрыты, мы видим отчетливое снижение активности в карте объектов. [...]

Примечания: также вводятся термины «карта объектов» и «карта исправленных объектов» на рисунке 1.

Отрывки из главы Стэнфорда CS231n на CNN :

[...] Одна опасная ловушка, которую легко заметить с помощью этой визуализации, состоит в том, что некоторые карты активации могут быть все нулевыми для многих различных входных данных, что может указывать на мертвые фильтры, и может быть признаком высокой скорости обучения [...] Типичные активации на первом слое CONV (слева) и на пятом слое CONV (справа) обученного AlexNet, смотрящего на изображение кота. Каждое поле показывает карту активации, соответствующую какому-либо фильтру. Обратите внимание, что активации редки (большинство значений равны нулю, в этой визуализации показано черным цветом) и в основном локальны.

Фрагменты из «Руководства для начинающих A-Beinding-Convolutional-Neural-Networks»

[...] Каждое уникальное место на входной громкости производит число. Проведя фильтр по всем местоположениям, вы обнаружите, что у вас остается массив чисел 28 x 28 x 1, который мы называем картой активации или картой объектов.

Карта объектов или карта активации - это выходные данные активации для данного фильтра (a1 в вашем случае), и определение одно и то же независимо от того, на каком слое вы находитесь.

Карта Характеристика и активация карты означают одно и то же самое. Она называется картой активации, потому что это отображение, которое соответствует активации различных частей изображения, а также карта объектов, потому что это также отображение того, где в изображении находится определенный тип объектов. Высокая активация означает, что определенная функция была найдена.

«Карта исправленных объектов» - это просто карта объектов, созданная с помощью Relu. Вы могли бы увидеть термин «карта объектов», используемый для результата точечных продуктов (z1), потому что это также карта того, где в изображении присутствуют определенные объекты, но это не часто встречается.

прежде чем говорить о том, что означает карта объектов, давайте просто определим термин вектор объектов.

векторный признак - векторное представление объектов. Например, автомобиль может быть представлен [количество колес, двери. окна, возраст .. и т. д.].

Карта объектов - это функция, которая берет векторы объектов в одном пространстве и преобразует их в векторы объектов в другом. Например, учитывая вектор объекта [объем, вес, рост, ширина], он может возвращать [1, объем / вес, рост * ширина] или [рост * ширина] или даже просто [объем]