Разработана ИИ-система, «переводящая» устные математические формулы в текст

Система ИИ, созданная российскими учеными, способна «переводить» устную речь в набор текстовых математических формул и печатать их в формате, используемом при подготовке научных публикаций.

Об этом пишет ТАСС со ссылкой на пресс-службу Института искусственного интеллекта AIRI.

Модель разрабатывали специалисты Института AIRI, «Иннополиса», МТУСИ, НИУ ВШЭ и МГУ на базе созданного в России открытого набора данных, подготовленного с участием математиков-добровольцев.  В нее входит свыше 66 тысяч аудиозаписей человеческий и 571 тысяча — синтетических, 12 тысяч уникальных математических предложений, 10,7 тысячи отдельных уравнений на английском и русском.

В AIRI рассказали:

Решение позволяет человеку произнести формулу или целое предложение с математическими выражениями, а на выходе получить структурированный текст в формате LaTeX. Это стандарт, который широко используется в научных статьях, учебных материалах и цифровых редакторах, таких как Overleaf.

Кроме того, состав и качество разметки позволит автоматически распознавать речь, определять язык, голосовую биометрию, защищать голос от подделок, использовать в других сферах, где важны анализ аудио и речевых особенностей.

Объединение живой и сгенерированной нейросетью речи сделало модель устойчивой к акцентам, особенностям произношения и разным голосам. Решение на 36% качественнее аналогов «переводит» устные формулы в текст. Использование этой модели в качестве основы для создания специализированных помощников упростит оформление исследований и публикаций.

изображение freepik