Новый инструмент автоматически обучит ИИ понимать текст

Разработка российских ученых для автоматизации в сфере понимания естественного языка поможет быстрее создавать модели, определяющие смысл текста, извлекать важное и относить к нужной категории.

С помощью библиотеки будет проще создавать чат-ботов и внедрять ИИ в реальные отраслевые задачи, пишет ТАСС со ссылкой на пресс-службу MWS AI (входит в МТС Web Services). Исследователь Центра обработки естественного языка MWS AI Григорий Аршинов рассказал:

Работа над данной библиотекой заняла у нас около полутора лет. Мы создавали ее как прикладной инструмент, который снижает порог входа в разработку систем понимания естественного языка — чтобы пользователь мог получить рабочую модель, не погружаясь глубоко в устройство алгоритмов.

По словам разработчиков, инструмент берет на себя сложные настройки машинного обучения. Пользователю не нужно вручную подбирать подход и параметры обучения, можно передать набор данных системе и получить готовую модель через минимум команд. Итогом становятся крупные прикладные решения, связанные с пониманием человеческого языка.

Кроме того, строенные в систему инструменты позволяют выявлять запросы вне сферы обучения — система распознает как профильные категории, так и случаи, когда текст не относится ни к одной из них. Такое решение важно для чат-ботов и голосовых интерфейсов, когда велик риск выдачи уверенных, но неверных ответов.

Авторы отмечают, система поддерживает разработку решений для классификации текстов и распознавания именованных сущностей. Выбор обучения в зависимости от объема и структуры данных библиотека делает самостоятельно, что позволяет использовать разработку как для случаев с дефицитом размеченных примеров, так и в зрелых промышленных задачах.

изображение freepik