Каковы последние методы для обучения чат-бота?

Я хотел бы обучить бота, который использует ввод текста, запоминает несколько категорий и отвечает на вопросы соответственно. В дополнение к версии 2.0, я хочу, чтобы бот отвечал и на голосовой ввод. Какие последние алгоритмы машинного обучения / ИИ доступны для того же? Пожалуйста, дайте мне знать.

Ваш вопрос невероятно широк - поэтому в ответ я хотел бы обратить ваше внимание на две широкие рамки:

1. Для нарезания развития края Chatbot разговор http://rasa.ai является открытым исходным кодом , который является более гибкой , чем более традиционных систем , основанных на правилах
2. Для распознавания речи проверьте https://discourse.mozilla.org/c/deep-speech, который также является открытым исходным кодом.

Если ваш бот «запоминает» несколько категорий, а затем отвечает на вопросы, то в данном сценарии это совершенно бесполезно. потому что в этом случае он очень плохо работает с другим набором данных (набор тестов). в терминологии статистики это называется «переоснащение». и что касается вопроса об ответе, то не существует практического правила для определения «современных» алгоритмов. хотя вы можете проверить несколько моделей, которые хорошо работали на babi или аналогичных наборах данных, понравились динамические сети памяти или модели seQ2seQ. чтобы получить базовое представление об этой области, я бы предложил вам изучить базовый язык машинного обучения, а затем перейти к некоторому продвинутому курсу обработки естественного языка (Стэнфорд предлагает cs224n).

AbuShawar & Atwell заявляют:

Чатбот - это собеседник, который по очереди общается с пользователями на естественном языке. Различные чат-роботы или системы диалога между человеком и компьютером были разработаны с использованием речевого или текстового общения и применялись в различных областях, таких как: лингвистические исследования, обучение языкам, обслуживание клиентов, помощь веб-сайтов и для развлечения.

Их и другие документы передают некоторые из многих современных подходов к обучению чат-ботов на момент написания этой статьи.

Автоматическое извлечение данных об обучении чатбота из корпорации Natural Dialogue , Баян АбуШавар, Эрик Этвелл, 2016

Тем не менее, большинство чат-ботов ограничены знаниями, которые есть в их файлах вручную, и определенным естественным языком, на котором они пишутся или говорят. В этой статье представлена ​​программа, разработанная нами для преобразования машиночитаемого текста (корпуса) в определенный формат чат-бота, который затем используется для переподготовки чат-бота и создания чата, который ближе к человеческому языку. Были использованы разные корпуса: диалоговые корпуса, такие как Британский национальный корпус английского языка (BNC); священная книга ислама Корана, которая представляет собой монологический корпус, в котором стих и следующий стих повернуты; и FAQ, где вопросы и ответы - пара ходов. Основной целью этого процесса автоматизации является создание различных прототипов чат-ботов, говорящих на разных языках на основе корпуса.

Контекстно-неопределенный выбор действий чатбота с помощью параметризованного обучения вспомогательному подкреплению , Чуандун Инь, Руи Чжан, Цзяньчжун Ци, Ю Сунь и Тенглун Тан, 2018 г.

Мы предлагаем чат-бот с учетом неопределенности контекста и модель обучения с подкреплением (RL) для обучения чат-бота. Предложенная модель получила название «Параметризованный вспомогательный асинхронный критический фактор» (PA4C). Мы используем имитатор пользователя для имитации неопределенности уверенности пользователей в контексте разговора. По сравнению с наивными подходами, основанными на правилах, наш чат-робот, обученный по модели PA4C, избегает ручного выбора действий и более устойчив к дисперсии высказываний пользователя. Модель PA4C оптимизирует традиционные модели RL с параметризацией действий и вспомогательными задачами для обучения чат-ботов, которые решают проблемы большого пространства действий и состояний с нулевой наградой. Мы оцениваем модель PA4C по обучению чат-бота для задач создания событий календаря.

Обучение по системе обучения с супервизией с использованием Chatbot Interaction , публикация заявки на патент США 0034828 A1, International Business Machines Corporation, Armonk, NY, US, 2019

Реализованный на компьютере способ, содержащий прием и анализ точки данных для определения параметров точки данных, генерирование тикета оповещения на основе анализа точки данных, передачу через чат-бота по меньшей мере некоторой информации, содержащейся в тикете оповещения, одному или больше пользователей, и классифицируют через чат-бота точку данных, которая привела к выдаче предупреждения, основываясь на поведении устройства, которое сгенерировало точку данных. Джонатан А. Cagadas, Александр Д. Льюитт, Саймон Д. Микульчик, Каран Шукла, Ли А. Уильямсон

Двухэтапное обучение и смешанное кодирование-декодирование для реализации генеративного чат-бота с небольшим корпусом диалога , Jintae Kim, Hyeon-Gu Lee, Harksoo Kim, Yeonsoo Lee, Young-Gil Kim, 2016

Генеративные модели чат-ботов, основанные на последовательных сетях, могут генерировать естественные диалогические взаимодействия, если в качестве обучающих данных используется огромный корпус диалога. Однако, за исключением нескольких языков, таких как английский и китайский, по-прежнему трудно собрать большой корпус для диалога. Чтобы решить эту проблему, мы предлагаем модель чат-бота, использующую сочетание слов и слогов в качестве единиц кодирования-декодирования. Кроме того, мы предлагаем двухэтапный метод обучения, включающий предварительную подготовку с использованием большого корпуса без диалогов и переподготовку с использованием небольшого корпуса диалога. В наших экспериментах было показано, что единицы смеси помогают уменьшить проблемы, связанные с отсутствием словарного запаса (OOV). Более того, двухэтапный метод обучения был эффективен для уменьшения грамматических и семантических ошибок в ответах, когда чат-бот обучался с использованием небольшого корпуса диалога (533,

Подмодульный выбор данных для целенаправленной подготовки чатбота на основе вложений предложений , Младен Димовски, Клавдиу Мусат, Владимир Илиевский, Андреа Хоссманн, Майкл Баэрисвиль, 2018

Системы понимания разговорного языка (SLU), такие как целевые чат-боты или личные помощники, полагаются на модуль начального понимания естественного языка (NLU) для определения цели и извлечения соответствующей информации из пользовательских запросов, которые они принимают в качестве входных данных. Системы SLU обычно помогают пользователям решать проблемы в относительно узких областях и требуют большого количества данных обучения внутри области. Это приводит к значительным проблемам с доступностью данных, которые препятствуют разработке успешных систем. Чтобы облегчить эту проблему, мы предлагаем метод отбора данных в режиме с низким уровнем данных, который позволяет нам тренироваться с меньшим количеством помеченных предложений, тем самым снижая затраты на метки. Мы предлагаем функцию ранжирования данных, основанную на субмодульности, предельный выигрыш в соотношении-штрафе, для выбора точек данных для маркировки, основываясь только на информации, извлеченной из пространства текстового встраивания. Мы показываем, что расстояния в пространстве внедрения являются жизнеспособным источником информации, которую можно использовать для выбора данных. Наш метод превосходит две известные методики активного обучения и обеспечивает экономически выгодное обучение в блоке NLU. Кроме того, предлагаемая нами методика выбора не требует переобучения модели между этапами отбора, что также делает ее экономически эффективной.

Вы можете работать с Recurrent Neural Nets с LSTM или GRU в качестве ячеек памяти и встраиваний слов, таких как Word2vec. Модели лучевого поиска и внимания также можно использовать с RNN для большей надежности и меньшего смещения. Но их результаты заметны до некоторой степени только потому, что исследования в этой области все еще горячие и многое еще предстоит разгадать.