Я предостерегаю от ожидания сильного сходства между биологическими и искусственными нейронными сетями. Я думаю, что название «нейронные сети» немного опасно, потому что оно обманывает людей в ожидании того, что неврологические процессы и машинное обучение должны быть одинаковыми. Различия между биологическими и искусственными нейронными сетями перевешивают сходства.
В качестве примера того, как это может пойти не так, вы можете также включить рассуждения в оригинальном сообщении с ног на голову. Вы можете обучить нейронную сеть, чтобы научиться распознавать автомобили в полдень, при условии, что у вас достаточно быстрый компьютер и некоторое количество обучающих данных. Вы можете сделать это бинарным заданием (машина / не машина) или многоклассным заданием (машина / трамвай / велосипед / самолет / лодка) и при этом быть уверенным в высоком уровне успеха.
В отличие от этого, я бы не ожидал, что ребенок сможет выбрать автомобиль через день или даже неделю после его рождения, даже после того, как он увидел «так много тренировочных примеров». Что-то явно отличается между двухлетним ребенком и младенцем, что объясняет разницу в способности к обучению, в то время как нейронная сеть классификации изображений ванили вполне способна подобрать классификацию объектов сразу после «рождения». Я думаю, что есть два важных различия: (1) относительные объемы доступных данных обучения и (2) механизм самообучения, который развивается со временем из-за обильных данных обучения.
Оригинальный пост выставляет два вопроса. В заголовке и основной части вопроса задается вопрос, почему нейронным сетям нужно «так много примеров». Относительно опыта ребенка, нейронные сети, обученные с использованием общих тестов изображений, имеют сравнительно мало данных.
Я перефразирую вопрос в заголовке
«Как обучение нейронной сети для общего эталона изображения сравнивается с опытом обучения ребенка?»
Для сравнения я рассмотрю данные CIFAR-10, потому что это общий эталон изображения. Помеченная часть состоит из 10 классов изображений с 6000 изображений на класс. Каждое изображение размером 32x32 пикселей. Если вы каким-то образом сложите помеченные изображения из CIFAR-10 и сделаете стандартное видео со скоростью 48 кадров в секунду, у вас будет около 20 минут отснятого материала.
Ребенок 2 лет, который наблюдает за миром по 12 часов в день, имеет около 263000 минут (более 4000 часов) прямых наблюдений за миром, включая обратную связь от взрослых (ярлыки). (Это всего лишь приблизительные цифры - я не знаю, сколько минут типичный двухлетний ребенок провел, наблюдая за миром.) Кроме того, ребенок будет подвергаться воздействию многих, многих предметов за пределами 10 классов, входящих в CIFAR- 10.
Так что в игре есть несколько вещей. Один из них заключается в том, что ребенок в целом получает больше данных и более разнообразный источник данных, чем модель CIFAR-10. Разнообразие данных и объем данных широко признаны в качестве предварительных условий для надежных моделей в целом. В этом свете неудивительно, что нейронная сеть хуже в этой задаче, чем ребенок, потому что нейронная сеть, обученная на CIFAR-10, положительно испытывает недостаток обучающих данных по сравнению с двухлетним ребенком. Разрешение изображения, доступное ребенку, лучше, чем изображения CIFAR-10 32x32, поэтому ребенок может узнать информацию о мелких деталях объектов.
Сравнение CIFAR-10 с двухлетним возрастом не является идеальным, потому что модель CIFAR-10, вероятно, будет обучена с помощью нескольких проходов по одним и тем же статическим изображениям, в то время как ребенок, используя бинокулярное зрение, увидит, как объекты расположены в три -мерный мир при движении и с разными условиями освещения и перспективами на одних и тех же объектах.
Анекдот о ребенке OP подразумевает второй вопрос,
«Как нейронные сети могут стать самообучающимися?»
Ребенок наделен некоторым талантом к самообучению, так что новые категории предметов могут быть добавлены со временем без необходимости начинать все заново.
Замечание OP о трансферном обучении называет один вид адаптации модели в контексте машинного обучения.
В комментариях другие пользователи указали, что одноразовое обучение * является еще одной областью исследований в области машинного обучения.
Кроме того, обучение с подкреплением рассматривает модели самообучения с другой точки зрения, по существу позволяя роботам проводить эксперименты методом проб и ошибок, чтобы найти оптимальные стратегии для решения конкретных задач (например, игры в шахматы).
Вероятно, верно, что все три из этих парадигм машинного обучения имеют отношение к улучшению того, как машины адаптируются к новым задачам компьютерного зрения. Быстрая адаптация моделей машинного обучения к новым задачам является активной областью исследований. Тем не менее, поскольку практические цели этих проектов (выявление новых экземпляров вредоносного ПО, распознавание самозванцев на фотографиях в паспортах, индексирование Интернета) и критерии успеха отличаются от целей обучения детей миру, а также от того, что это делается в компьютер, использующий математику, а другой сделан из органического материала с использованием химии, прямые сравнения между ними останутся чреваты.
Кроме того, было бы интересно изучить, как перевернуть проблему CIFAR-10 и обучить нейронную сеть распознавать 6000 объектов из 10 примеров каждого. Но даже это не будет справедливым сравнением с двухлетним ребенком, потому что все равно будет существенное расхождение в общем объеме, разнообразии и разрешении обучающих данных.
* В настоящее время у нас нет тегов для однократного или малошагового обучения.