Что стоит на пути использования импульсных нейронных сетей в приложениях?

Импульсные или всплесковые нейронные сети включают в себя больше мембранной динамики биологических нейронов, где импульсы переносят информацию на следующий уровень. Нейроны не обязательно должны «выстреливать» все одновременно, как, например, в бэкпропе.

Тем не менее, по-видимому, существуют препятствия для использования этих моделей для задач машинного обучения. Какие конкретные проблемы стоят на пути практиков машинного обучения с использованием моделей, которые являются более биологически реалистичными?

Основная проблема в том, что никто не знает, как работает мозг :)

теория

Насколько я могу судить, в исследовании нейронных сетей есть три больших шага:

1. Модель персептрона (или порогового затвора), где любая булева функция может быть вычислена каким-либо многослойным персептроном с одним скрытым слоем.
2. Модель Neuron - улучшенная версия предыдущего, в которой элементы сети используют функцию активации сигмоида (непрерывный набор возможных входов и выходов). Они также могут вычислять любую логическую функцию (после применения порога) и, кроме того, могут аппроксимировать любую непрерывную функцию.
3. Модель всплеска нейронов, которая использует «временное кодирование» для передачи информации между элементами сети. Он может делать все, что делает предыдущая модель, и часто может делать это с меньшим количеством нейронов.

По сути, эволюция здесь заключается в том, чтобы приблизиться к тому, как работает человеческий мозг, и последняя модель обладает наилучшей точностью.

практика

SNN кажутся очень многообещающими, и есть даже коммерческий продукт SpikeNET, построенный поверх него (в разделах «Что SpikeNET может делать» и «Что SpikeNET еще не может делать» вы можете увидеть проблемы, с которыми они столкнулись).

Я не могу рассказать о конкретных проблемах с шипящимися сетями, но в целом у меня сложилось впечатление, что проблемы возникают потому, что люди хотят, чтобы SNN работали все больше и больше, как человеческий мозг:

• они хотят выбрать, как кодировать информацию - что можно сделать с помощью кодирования с задержкой (более стимулированные нейроны имеют тенденцию всплывать чаще и быстрее ), двоичного кодирования (информация представлена ​​числом всплесков в данном интервале времени), временным кодированием (информация обратна гранулярности различимого временного интервала), кодирование порядка ранга (первые пики, полученные нейроном, получают влияние, а последующие блокируются) и еще много чего.
• они эмулируют пластичность Хебба, которая увеличивает вес между нейронами, когда оба нейрона «включены» (или оба «выключены») одновременно.
• они применяют самоорганизацию, когда группа нейронов конкурирует с нейроном-победителем, ингибируя ответ других нейронов. С помощью шипящего нейрона можно быстро рассчитать победителя, основываясь только на единичных событиях стрельбы.

В Википедии есть ссылка на книгу «Импульсные нейронные сети», в которой есть раздел «Вопросы реализации импульсных нейронных сетей», но я недостаточно образован, чтобы комментировать это.

Что касается введения в тему, я рекомендую этот документ: импульсные нейронные сети и их применение ( pdf )

кажется, что все алгоритмы нейронной сети используют некоторую форму градиентного спуска в своих алгоритмах обучения, и даже модели, не являющиеся ANN, используют градиентный спуск. похоже, нет теории о том, как применять градиентный спуск во временном отношении к SNN. одна из возможностей - рост нейроморфных вычислений, в которых используются более биологически реалистичные модели, аналогичные SNN. но кажется, что на сегодняшний день в нейроморфной области не достигнуто серьезных результатов / прорывов в области машинного обучения, как в случае с очень определенными показателями, достигнутыми с помощью ANN во многих стандартных задачах ML, таких как распознавание рукописного ввода, распознавание речи, распознавание объектов, языковой перевод и т. д.