Московские ученые разработали алгоритмы проверки ИИ на «галлюцинации»

В Московском государственном психолого-педагогическом университете (МГППУ) разработали алгоритмы и софт, помогающие выявлять у больших языковых моделей признаки правдоподобных, но ложных ответов — «галлюцинаций».

Об этом пишет ТАСС со ссылкой на пресс-службу ВУЗа. Там рассказали:

Ученые МГППУ разработали алгоритмы и ПО, позволяющие проверять корректность содержания ответов интеллектуальных ассистентов и генерировать запросы по заданной аннотации ответа, автоматизируя работу промпт-инженеров.

Авторы предлагают использовать два алгоритма: первый решает задачу подбора запроса, второй — оценивает утверждение. В основе решения лежит представление запросов и ответов в виде элементов специальных метрических пространств, в которых расстояния между текстами задаются через так называемое семантическое сходство. Различие между текстами оценивают количественно, формализуя «смысловую близость», и применяют статистический анализ.

В университете считают, их разработка найдет применение у программистов и математиков, которые работают с большими языковыми моделями.

изображение freepik