Яндекс представил первые духовно-нравственные тесты для ИИ

Компания представила концепцию национального датасета — набора тестовых заданий и эталонных данных для бенчмарк-тестирования моделей на предмет соответствия духовно-нравственным ценностям.

Как пишет «КоммерсантЪ» со ссылкой на источник, близкий к Минцифры, сейчас проект на стадии концепции, решаются вопросы о том, кто будет определять содержание тестов, делать ли их общедоступными и т.п.

По словам собеседника издания, ФСБ настаивает на закрытом формате, что не даст разработчикам специально настроить ИИ-модели на прохождение тестирования. При этом бизнес считает, проверку необходимо сделать общедоступной, поскольку в противном случае тестирование может быть «несообразно сложным для прохождения и не позволит быстро развивать модели».

Собеседник «Ъ» также рассказал, как компромисс предложен комбинированный подход: для публичного тестирования и прозрачности использовать открытый бенчмарк, а для финальной проверки — закрытый с идентичными тематиками, но с разными формулировками вопросов.

Для определения содержания бенчмарка ИТ-сообщество предложило создать комиссию из представителей органов власти, бизнеса и экспертных организаций.

изображение magnific