Невозможно определить слой линейного вложения в сверточную нейронную сеть?

11

У меня есть сетевая архитектура из статьи «Изучение мелкозернистого сходства изображений с глубоким ранжированием», и я не могу понять, как выходные данные из трех параллельных сетей объединяются с использованием слоя линейного внедрения. Единственная информация, приведенная на этом слое, в статье

Наконец, мы нормализуем вложения из трех частей и объединяем их с линейным слоем вложения. Размер вложения 4096.

Может ли кто-нибудь помочь мне понять, что именно имеет в виду автор, когда говорит об этом слое?

neural-network deep-network

— А. Сэм
источник

Мне жаль, что нет ответа на этот вопрос. Потому что я застрял с точно такой же проблемой. Вы поняли это?

— LKM

Я не выяснил ответ, но я просто соединил входные данные из трех частей и пропустил их через плотный слой, содержащий 4096 узлов.

— А. Сэм

1

Линейный слой внедрения должен быть просто причудливым именем для плотного слоя без активации. «Линейный» означает, что активация отсутствует (активация идентична). И вложение - это скорее концепция векторного представления входных данных (например, вложения слов). Я считаю, что элементы второго вектора просто добавляются к первому элементно.

— Дмитрий Прилипко
источник

0

Это упоминается в статье:

Слой локальной нормализации нормализует карту объектов вокруг локальной окрестности, чтобы иметь единичную норму и нулевое среднее. Это приводит к картам характеристик, которые устойчивы к различиям в освещении и контрасте.

Они принимают каждую часть модели и нормализовать его отдельно.

Что касается их объединения, как вы прокомментировали, для захвата наиболее характерных особенностей с неполным представлением, не нуждающимся в нелинейности.

— Фади Бакура
источник