Как AI будет изучать язык?

Я думал об ИИ и о том, как они будут работать, когда понял, что не могу придумать, как ИИ можно учить языку. Ребенок имеет тенденцию изучать язык через ассоциации языка и изображений с объектом (например, люди, говорящие слово «собака», когда они находятся рядом с собакой, а затем понимающие, что люди говорят «собака» и «машина»), и узнают, что « значит и т. д.). Тем не менее, текстовый ИИ не мог использовать этот метод для обучения, так как у них не было бы доступа к какому-либо устройству ввода.

Единственный способ, которым я мог придумать, - это программирование каждого слова и правила на английском языке (или на любом другом языке, на котором предполагается «говорить»), однако это может занять годы.

У кого-нибудь есть идеи, как это можно сделать? Или, если это уже сделано, если да, то как?

Кстати, в этом контексте я использую ИИ для обозначения системы искусственного интеллекта с почти человеческим интеллектом и без предварительного знания языка.

Общая область исследований известна как грамматическая индукция .

Как правило, это оформляется как контролируемая задача обучения, причем входные данные представлены в виде необработанного текста, а требуемый выходной - соответствующее дерево разбора . Учебный набор часто состоит из положительных и отрицательных примеров.

Не существует единственного лучшего метода для достижения этой цели, но некоторые из методов, которые использовались до настоящего времени, включают:

• Байесовские подходы
• Генетические алгоритмы
• Генетическое программирование
• Архитектура классной доски
• UpWrite Предиктор

Общий термин для вашей проблемы называется обработка естественным языком (NLP) - тема в области искусственного интеллекта.

В этой области есть много подтем, включая семантику языка, грамматический анализ, части речевого тегирования, анализ контекста в конкретной области и т. Д.

Для полноты картины я укажу, что для обработки естественного языка (NLP) часто используются рекуррентные нейронные сети (то есть нейронные сети с обратными связями). Это включает в себя варианты, такие как двунаправленные, Jordan и Elman Networks. Долгосрочная кратковременная память (LSTM) - это более сложный алгоритм нейронной сети, который может выполнять те же задачи на основе времени и последовательности, но который может использовать стандартные методы обучения, такие как backprop, поскольку он не страдает от «исчезающей проблемы градиента». Это потому, что LSTM были блестяще спроектированы как «совершенные интеграторы», что значительно облегчает расчет градиентов ошибок и т. Д. В течение длительных периодов времени. В отличие, обучение с использованием RNN до сих пор не является теоретически обоснованным, и его трудно рассчитать с помощью существующих методов, таких как обратное распространение через время (BPTT). В нейронных сетях с временной задержкой (TDNN) идея состоит в том, чтобы добавлять новые нейроны и соединения с каждым новым примером обучения на протяжении некоторого времени или последовательности обучения; к сожалению, это накладывает практическое ограничение на количество примеров, которые вы можете подать в сеть, прежде чем размер сети выйдет из-под контроля или начнет забываться, как и в случае с RNN. У LSTM гораздо более длинные воспоминания (особенно когда они дополнены машинами нейронного тьюринга), так что это будет мой первый выбор, если предположить, что я хочу использовать нейронные сети для целей НЛП. Мое знание предмета ограничено, хотя (я все еще пытаюсь изучить веревки), поэтому могут быть другие важные алгоритмы нейронной сети, которые я пропускаю ...