Как искусственные нейронные сети и биологические нейронные сети похожи и отличаются?

Я много раз слышал, что «Нейронные сети - лучшее приближение, которое мы должны моделировать человеческий мозг», и я думаю, что общеизвестно, что Нейронные сети моделируются по нашему мозгу.

Я сильно подозреваю, что эта модель была упрощена, но насколько?

Насколько, скажем, ванильный NN отличается от того, что мы знаем о человеческом мозге? Мы вообще знаем?

Чем искусственные нейронные сети (ANN) отличаются от биологических нейронных сетей (BNN), зависит от того, что вы ищете. Все мы знаем, что ИНС вдохновлены биологическими.
Структурные различия. Обычно нейронная сеть состоит из четырех компонентов:

• нейроны
• топология: путь связи между нейронами
• веса
• алгоритм обучения

В случае искусственной нейронной сети начальное состояние и веса назначаются случайным образом . В то время как для биологических нейронных сетей силы связей между нейронами и структура связей не начинаются как случайные. Исходное состояние генетически получено и является побочным продуктом эволюции .
В BNN обучение происходит от взаимосвязей между множеством нейронов в мозге. Эти взаимосвязи изменяют конфигурацию, когда мозг испытывает новые стимулы . В изменения приводят к появлению новых связей, укрепление существующих связей и удаления старых и неиспользованным .
ИНС обучаются с нуля с использованием фиксированной топологии(помните изменения топологии в случае BNN), который зависит от решаемой проблемы. Текущий механизм не меняет топологию ANN, а веса произвольно инициализируются и корректируются с помощью алгоритма оптимизации.

Еще один контраст заключается в количестве нейронов в сети. Типичный ИНС состоит из сотен или, может быть, тысяч нейронов; Биологическая нейронная сеть человеческого мозга состоит из миллиардов . Это число варьируется от животного к животному. Животное.
Вы можете найти больше здесь и здесь .

Они не близко, не больше!

[Искусственные] нейронные сети, смутно вдохновленные связями, которые мы ранее наблюдали между нейронами мозга. Первоначально, вероятно, было намерение разработать ANN для приближения биологического мозга. Однако современные работающие ИНС, которые мы видим в их приложениях для решения различных задач, не предназначены для того, чтобы предоставить нам функциональную модель мозга животных. Насколько я знаю, нет исследований, утверждающих, что они обнаружили что-то новое в биологическом мозге, изучая связи и распределение веса, скажем, модели CNN или RNN.

Общее утверждение о том, что искусственные нейронные сети вдохновлены нейронной структурой мозга, верно лишь частично.

Это правда, что Норберт Винер, Клод Шеннон, Джон фон Нейман и другие начали путь к практическому ИИ, разработав то, что они тогда называли электронным мозгом. Это тоже правда

• Искусственные сети имеют функции, называемые активациями,
• Связаны многие-ко-многим, как биологические нейроны, и
• Предназначены для изучения оптимального поведения,

но это степень сходства. Клетки в искусственных сетях, таких как MLP (многослойные персептроны) или RNN (рекуррентные нейронные сети), не похожи на клетки в мозговых сетях.

Перцептрон, первый программный удар по массивам активируемых вещей, не был набором нейронов. Это было применение базовой обратной связи с градиентами, которая широко использовалась в технике с тех пор, как центробежный регулятор Джеймса Уотта был математически смоделирован Гауссом. Последовательное приближение, принцип, который использовался веками, использовалось для постепенного обновления матрицы затухания. Матрица была умножена на вектор, питающий массив идентичных функций активации для получения выходных данных. Вот и все.

Проекция во втором измерении на многослойную топологию стала возможной благодаря осознанию того, что якобиан можно использовать для получения корректирующего сигнала, который при надлежащем распределении в виде отрицательной обратной связи по слоям может настраивать матрицу затухания последовательности персептроны и сеть в целом сходятся при удовлетворительном поведении. В последовательности персептронов каждый элемент называется слоем. Механизм обратной связи теперь называется обратным распространением.

Математика, используемая для исправления сети, называется градиентным спуском, потому что она похожа на обезвоженного слепого человека, использующего градиент местности для поиска воды, и проблемы, связанные с этим, тоже схожи. Он может найти локальные минимумы (нижнюю точку), прежде чем он найдет пресную воду и приблизится к смерти, а не к гидратации.

Более новые топологии являются дополнением к уже существующей работе по свертке, используемой в приложениях для восстановления цифровых изображений, сортировки почты и графики для создания семейства топологий CNN и изобретательного использования того, что похоже на химическое равновесие из химии первого года, чтобы объединить создание критериев оптимизации. семейство топологий GAN.

Deep - это просто синоним множества в большинстве контекстов ИИ. Иногда это подразумевает сложность в топологии более высокого уровня (над векторно-матричными произведениями, активациями и свертками).

Активные исследования продолжаются теми, кто знает, насколько эти глубокие сети отличаются от того, что ученые-нейронологи обнаружили десятилетия назад в тканях мозга млекопитающих. И сегодня обнаруживается больше дифференциаторов, так как схемы обучения и нейрохимия в мозге исследуются с точки зрения генома.

• Нейронная пластичность ... изменение топологии цепи из-за роста дендритов и аксиом, смерти, перенаправления и других изменений
• Топологическая сложность ... большое количество аксиом перекрещивается без взаимодействия и преднамеренно защищено от перекрестного разговора (независимого), скорее всего, потому что было бы невыгодно позволять им соединяться ^{[примечание 1]}
• Химическая передача сигналов ... мозг млекопитающих содержит десятки нейромедиаторов и нейрорегуляторных соединений, которые оказывают региональное воздействие на схемы ^{[примечание 2]}
• Органеллы ... живые клетки имеют много подструктур, и известно, что несколько типов имеют сложные отношения с передачей сигнала в нейронах
• Совершенно иная форма активации ... активации в обычных искусственных нейронных сетях - это просто функции с порядковыми скалярами как для диапазона, так и для домена ... нейроны млекопитающих функционируют как функция как амплитуды, так и относительной временной близости входящих сигналов ^{[примечание 3]}

[1] По иронии судьбы топология является и подмножеством архитектуры (в областях проектирования зданий, подготовки сетей, анализа WWW и семантических сетей), но в то же время топология, гораздо больше, чем архитектура, является радикальным центром обоих ИИ. математика и эффективная актуализация в системах управления

[2] Роль химии может иметь важное значение для изучения социального и репродуктивного поведения, которое взаимосвязано с распространением информации ДНК, связывая сложные способы обучения на уровне экосистемы и мозга. Кроме того, долгосрочное и краткосрочное обучение делит обучение мозга также на две различные способности.

[3] Влияние синхронизации поступающих сигналов на активацию биологических нейронов понимается в некоторой степени, но это может повлиять гораздо больше, чем выход нейронов. Это также может повлиять на пластичность и химию, и органеллы могут сыграть в этом свою роль.

Резюме

Библиотеки машинного обучения делают то же, что и человеческий мозг, как куклы Барби и Кена, которые симулируют настоящую пару.

Тем не менее, в области глубокого обучения возникают замечательные вещи, и меня не удивит, если автономные транспортные средства станут полностью автономными в нашей жизни. Я бы не рекомендовал ни одному студенту стать разработчиком. Компьютеры, вероятно, будут кодировать намного лучше, чем люди, и на порядки быстрее, и, возможно, скоро. Некоторые задачи не относятся к той, которую выполняла биология, и компьютеры могут превосходить возможности человека только после нескольких десятилетий исследований, в конечном итоге превосходя производительность человека на несколько порядков.