Что мы можем узнать о человеческом мозге из искусственных нейронных сетей?

Я знаю, что мой вопрос / название не очень конкретны, поэтому я постараюсь прояснить это:

Искусственные нейронные сети имеют относительно строгий дизайн. Конечно, как правило, они находятся под влиянием биологии и пытаются построить математическую модель реальных нейронных сетей, но нашего понимания реальных нейронных сетей недостаточно для построения точных моделей. Поэтому мы не можем придумать точные модели или что-нибудь, что приближается к «реальным» нейронным сетям.

Насколько я знаю, все искусственные нейронные сети находятся далеко от реальных нейронных сетей. Стандартные, классические полностью связанные MLPs не представлены в биологии. В рекуррентных нейронных сетях отсутствует реальная нейропластичность: каждый нейрон RNN имеет одинаковую «архитектуру обратной связи», в то время как реальные нейроны сохраняют и передают свою информацию довольно индивидуально. Сверточные нейронные сети эффективны и популярны, но (например) обработка изображений в человеческом мозге состоит только из нескольких слоев свертки, в то время как современные решения (такие как GoogLeNet) уже используют десятки слоев ... и хотя они дают отличные результаты для компьютеров , они даже не близки к человеческой деятельности. Особенно, когда мы думаем о «производительности на уровне слоев», поскольку нам нужно довольно большое количество слоев и сокращение данных по сравнению с реальными нейронными сетями.

Кроме того, насколько мне известно, даже модульные, саморасширяющиеся / самореструктурируемые искусственные нейронные сети довольно «фиксированы и статичны» по сравнению с огромной адаптивностью реальных нейронных сетей. Биологический нейрон обычно имеет тысячи дендритов, соединяющих нейрон с огромным разнообразием различных областей и других нейронов. Искусственные нейронные сети намного проще.

Итак, есть ли что-нибудь, что мы можем узнать о человеческом мозге / реальных нейронных сетях из искусственных нейронных сетей? Или это просто попытка создать программное обеспечение, которое работает лучше, чем классические, статические алгоритмы (или даже делать вещи, в которых такие алгоритмы терпят неудачу)?

Может ли кто-нибудь предоставить (желательно научные) источники по этой теме?

РЕДАКТИРОВАТЬ: больше ответов высоко ценится (:

Как вы упомянули, большинство нейронных сетей основаны на общих простых абстракциях мозга. Мало того, что им не хватает имитирующих характеристик, таких как пластичность, они не учитывают сигналы и временные характеристики, как реальные нейроны.

Есть довольно недавнее интервью, которое мне показалось подходящим для вашего конкретного вопроса, маэстро-машиностроитель Майкл Джордан о иллюзиях больших данных и других огромных инженерных усилий , и я цитирую:

Но это правда, что с нейронаукой потребуются десятилетия или даже сотни лет, чтобы понять глубокие принципы. Существует прогресс на самых низких уровнях неврологии. Но что касается вопросов более высокого познания - как мы воспринимаем, как мы помним, как мы действуем - мы понятия не имеем, как нейроны хранят информацию, как они вычисляют, каковы правила, каковы алгоритмы, каковы представления, и подобное, аналогичное, похожее. Таким образом, мы еще не в эпоху, когда мы можем использовать понимание мозга, чтобы направлять нас в построении интеллектуальных систем.

Не так много - возможно, ничего - до сих пор не узнали о функционировании мозга из искусственных нейронных сетей. [Пояснение: я написал этот ответ, думая о нейронных сетях, используемых в машинном обучении; @MattKrause (+1) прав, что модели нейронных сетей некоторых биологических нейронных явлений могут быть полезны во многих случаях.] Однако, возможно, это отчасти связано с тем, что исследование искусственных нейронных сетей в машинном обучении было более или менее стагнация примерно до 2006 года, когда Джеффри Хинтон почти в одиночку разжег целую область, которая к настоящему времени привлекает миллиарды долларов.

В лекции 2012 года в Google под названием « Мозги, секс и машинное обучение» (от 45:30) Хинтон предположил, что искусственные нейронные сети могут дать подсказку, почему [большинство] нейронов взаимодействуют с шипами, а не с аналоговыми сигналами. А именно, он предлагает рассматривать скачки как стратегию регуляризации, похожую на отсев. Выпадение является недавно разработанным способом предотвращения переоснащения, когда на любом заданном шаге градиентного спуска обновляется только подмножество весов (см. Шривастава и др. 2014 ). По-видимому, это может работать очень хорошо, и Хинтон считает, что, возможно, спайки (т.е. большинство нейронов молчат в любой момент) служат аналогичной цели.

Я работаю в научно-исследовательском институте неврологии и не знаю здесь никого, кто был бы убежден аргументом Хинтона. Жюри все еще отсутствует (и, вероятно, будет отсутствовать в течение достаточно долгого времени), но, по крайней мере, это пример того, что искусственные нейронные сети могут потенциально научить нас функционированию мозга.

Это, конечно, неправда, что человеческий мозг использует только «несколько» сверточных слоев. Около 1/3 мозга приматов так или иначе участвует в обработке визуальной информации. Эта диаграмма от Феллемана и Ван Эссена представляет собой грубую схему того, как визуальная информация течет через мозг обезьяны, начиная с глаз (RGC внизу) и заканчивая в гиппокампе, области памяти.

Каждый из этих блоков представляет собой анатомически определенную область (более или менее), которая содержит несколько этапов обработки (в большинстве случаев реальных слоев). Самой диаграмме 25 лет и, если что, мы узнали, что есть еще несколько блоков и намного больше линий.

Это является правдой , что много глубокого изучения работы более «неопределенно вдохновленный» мозг , чем на основе некоторой лежащей в основе нейронной истины. «Глубокое обучение» также имеет дополнительное преимущество в том, что звучит намного сексуальнее, чем «повторная логистическая регрессия».

Тем не менее, математические модели нейронных сетей также внесли большой вклад в наше понимание мозга. С одной стороны, некоторые модели пытаются точно воспроизвести известную биологию и биофизику. Они обычно включают термины для отдельных ионов и их потока. Некоторые даже используют трехмерные реконструкции реальных нейронов, чтобы ограничить их форму. Если вас это интересует, в ModelDB имеется большая коллекция моделей и связанных с ними публикаций. Многие из них реализованы с использованием свободно доступного программного обеспечения NEURON .

Существуют более масштабные модели, которые пытаются имитировать определенные поведенческие или нейрофизиологические эффекты, не слишком заботясь о лежащей в основе биофизике. Модели Connectionist или Parallel-Distributed-Processing, которые были особенно популярны в конце 1980-х и 1990-х и использовали модели, подобные тем, которые вы могли бы найти в современном приложении машинного обучения (например, отсутствие биофизики, простые функции активации и стереотипное подключение), чтобы объяснить различные психологические процессы. Они немного вышли из моды, хотя возникает вопрос, могут ли они вернуться сейчас, когда у нас есть более мощные компьютеры и лучшие стратегии обучения. (См. Редактирование ниже!)

Наконец, где-то посередине есть много работы, которая включает некоторую «феноменологию» плюс некоторые биологические детали (например, явно запрещающий термин с определенными свойствами, но без подбора точного распределения хлоридных каналов). Много текущей работы вписывается в эту категорию, например, работа Сяо Цзин Вана (и многих других ....)

РЕДАКТИРОВАТЬ : С тех пор, как я написал это, произошел взрыв работы по сравнению (реальной) визуальной системы с глубокими нейронными сетями, обученными задачам распознавания объектов. Есть некоторые удивительные сходства. Ядра в первых слоях нейронной сети очень похожи на ядра / рецептивные поля в первичной зрительной коре, а последующие слои напоминают рецептивные поля в более высоких визуальных областях (см., Например, работу Николауса Кригескорте ). Переподготовка нейронных сетей может вызвать аналогичные изменения в обширной поведенческой тренировке (Wenliang and Seitz, 2018) . DNN и люди иногда - но не всегда - тоже делают схожие ошибки.

На данный момент все еще довольно неясно, отражает ли это сходство между реальными и искусственными нейронными сетями в целом, что-то в изображениях, в частности [*], или склонность нейронных сетей всех мастей находить шаблоны, даже когда их нет. Тем не менее, сравнение этих двух областей становится все более горячей областью исследований, и, вероятно, мы чему-то научимся.

* Например, представление, используемое в ранней визуальной системе / первых слоях CNN, является оптимальной разреженной основой для естественных изображений.

То, что мы действительно узнали, - это использование разреженной активации и использование линейных выпрямленных функций активации. Последнее, по сути, является одной из причин, почему мы увидели взрыв активности в отношении так называемой нейронной сети, поскольку использование такого рода функций активации привело к значительному обезжириванию обучения, которое предоставляется тем искусственным вычислительным сетям, которые мы используем для вызова нейронных сетей.

Мы узнали, почему синапс и нейроны строятся таким образом и почему это предпочтительнее. Эта линейная выпрямленная активация (f (x): = x> a? X: 0) приводит к разреженной активации (активируются только немногие из «нейронов» (весов)).

Итак, что мы делаем, в то время как наши знания распространяются на биологические функции, мы понимаем, почему это было выбрано и предпочтено эволюцией. Мы понимаем, что этих систем достаточно, но они также стабильны с точки зрения контроля ошибок во время обучения, а также сохраняют такие ресурсы, как энергия и химические / биологические ресурсы в мозге.

Мы просто понимаем, почему мозг такой, какой он есть. Кроме того, обучая и изучая стратегии, мы понимаем возможные потоки информации и связанную с ней обработку информации, помогая нам строить и оценивать гипотезы о самих субъектах.

Например, кое-что, что я помню из десятилетия назад, тренировало систему по изучению естественного разговорного языка, и это открытие сделало то, что система показала аналогичные проблемы, которые воссоздают аналогичное поведение детей, изучающих язык. Даже различия между изучением разных языков были достаточно похожими.

Таким образом, изучая этот подход и дизайн, был сделан вывод, что обработка информации о человеке во время изучения языка достаточно схожа для выработки рекомендаций по обучению и лечения проблем, связанных с языком, что она помогла помочь людям понять трудности человека и разработать более эффективное лечение (что когда-либо действительно ли это сделано на практике, это другой вопрос).

Месяц назад я прочитал статью о том, как на самом деле работает 3D-навигация и запоминание мозга крысы, и благодаря созданию вычислительных моделей для каждого открытия это было очень полезно, чтобы понять, что на самом деле происходит. Таким образом, искусственная модель заполнила пробелы того, что наблюдалось в биологической системе.

Меня поразило, когда я узнал, что неврологи использовали язык, который собрал больше языка инженера, чем биолога, говорящего о цепях, потоках информации и логических единицах обработки.

Таким образом, мы многому учимся у искусственных нейронных сетей, поскольку это дает нам эмпирические игровые площадки, которые мы можем извлечь из правил и заверений, когда речь заходит о том, почему архитектура мозга является тем, чем она является, а также почему эволюция предпочитает это альтернативным путям.

Есть еще много пробелов, но из того, что я прочитал - я недавно попал в CNN и т. Д., Но в начале 2000-х у меня был искусственный искусственный интеллект, нечеткая логика и нейронные сети во время обучения в университете.

Таким образом, я догнал десятилетие разработки и открытия, что привело к благодарности всем тем ученым и практикам нейронной сети и области искусственного интеллекта. Молодцы люди, действительно молодцы!