Энергоэффективность человеческого мозга против нейронных сетей

Какие большие искусственные нейронные сети мы можем запустить сейчас (либо с полным циклом train-backprop, либо просто оценивая выходные данные сети), если наш общий энергетический бюджет для вычислений эквивалентен энергетическому бюджету человеческого мозга ( 12,6 Вт )?

Давайте предположим, что один цикл в секунду, что, похоже, примерно соответствует скорости запуска биологических нейронов .

neural-networks human-like

— liori
источник

Я собирался задать этот вопрос. Я счастлив, что кто-то другой уже сделал :)

— Eka

126 миллионов искусственных нейронов мощностью 12,6 Ватт с Истинным Севером IBM

Еще в 2014 году чип IBM True North выдвигал 1 миллион нейронов при мощности менее 100 мВт.

Это примерно 126 миллионов искусственных нейронов при 12,6 Вт.

У мыши 70 миллионов нейронов.

IBM полагает, что они могут построить мэйнфрейм True North в масштабе человеческого мозга всего за 4 кВт.

Как только 3D-транзисторы появятся на рынке, я думаю, мы довольно быстро догоним эффективность мозга животных.

— Doxosophoi
источник

> Так что это примерно 126 миллионов искусственных нейронов при 12,6 Вт. > У мыши 70 миллионов нейронов. Проблема в том, что мы не знаем, действительно ли один искусственный «нейрон» является эквивалентом один к одному для реального биологического нейрона.

— mindcrime

В дополнение к преступности разума, имейте в виду, что в течение примерно 60 лет нейробиологи / исследователи искусственного интеллекта постоянно недооценивали вычислительную мощность человеческого мозга. Я видел ранние оценки по громким именам, что наш разум может хранить только несколько 100 МБ! Нам еще предстоит учесть такие вещи, как битовая глубина, правильная архитектура, возможные квантовые состояния в клетках мозга и т. Д. IBM может создать энергосберегающую нейронную сеть из 70 миллионов нейронов, которая не может даже приблизиться к поведению паразитов мыши. , Исследователи ИИ исторически всегда сильно переоценивали свои возможности.

— SQLServerSteve

Действительно, забыл про чипы IBM. Я даже не принимал их во внимание при написании вопроса, поскольку существует известная критика их эффективности (см., Например, facebook.com/yann.lecun/posts/10152184295832143 ). Хотя технически они все еще реализуют нейронные сети, так что +1 от меня.

— Лиори

@mindcrime & SQLServerSteve Ну, вопрос, возможно, был конкретно о ванильных ANN с прямой связью, работающих на стандартном оборудовании. Это не впечатление, которое я получил от вопроса, хотя.

— Doxosophoi

Не похоже, что речь идет об искусственных нейронных сетях, которые еще предстоит представить.

— Doxosophoi

Если бы вы ограничили себя до 12,6 Вт, вы бы ничего не сделали. Просто посмотрите на энергопотребление современного графического процессора, посмотрите размеры сетей, на которых люди учатся, и затем уменьшите их. Для справки: современные графические процессоры потребляют от 52 до 309 Вт при интенсивном использовании .

Очевидно, что энергоэффективность является одной из областей, где человеческий мозг все еще далеко от головы ANN.

— Mindcrime
источник