Сети Хопфилда могут хранить вектор и извлекать его, начиная с шумной версии. Они делают это, устанавливая веса, чтобы минимизировать энергетическую функцию, когда все нейроны установлены равными векторным значениям, и извлекать вектор, используя его зашумленную версию в качестве входных данных и позволяя сети довести до минимума энергии.
Оставляя в стороне проблемы, такие как тот факт, что нет никакой гарантии, что сеть установится в ближайшем минимуме и т. Д. - проблемы, в конечном итоге решенные с машинами Больцмана и, в конечном итоге, с обратным распространением - прорыв состоял в том, что они являются отправной точкой для получения абстрактных представлений. Две версии одного и того же документа будут вызывать одно и то же состояние, они будут представлены в сети одним и тем же состоянием.
Как писал сам Хопфилд в своей статье 1982 года « Нейронные сети и физические системы с возникающими коллективными вычислительными способностями»
Затем настоящее моделирование может быть связано с тем, как сущность или гештальт запоминаются или классифицируются на основе входных данных, представляющих совокупность его характеристик.
С другой стороны, прорывом глубокого обучения стала способность создавать множественные иерархические представления входных данных, что в конечном итоге привело к облегчению жизни практиков ИИ, упрощая разработку функций. (см., например, « Представительное обучение: обзор и новые перспективы» , Bengio, Courville, Vincent).
С концептуальной точки зрения, я считаю, что глубокое обучение можно рассматривать как обобщение сетей Хопфилда: от одного представления к иерархии представлений.
Это также верно с вычислительной / топологической точки зрения? Не принимая во внимание то, насколько «простыми» были сети Хопфилда (нейроны с двумя состояниями, ненаправленная, энергетическая функция), можно ли рассматривать каждый слой сети как сеть Хопфилда, а весь процесс - как последовательное извлечение ранее запомненного Гештальта и реорганизацию эти гештальты?