В РФ появилась платформа для оценки качества ИИ-моделей

В России запустили независимую русскоязычную платформу  LLM Arena для оценки качества экспериментальных нейросетевых моделей.

Как пишет «КоммерсантЪ», оценочный сервис работает по принципу «чатбот-арены» — пользователь может сравнить результат работы двух ИИ-моделей и выбрать победителя, а выставленные оценки формируют рейтинг нейросетей.

Разработал сервис оценки качества больших языковых моделей LLM Arena бывший техдиректор компании по разметке данных Training Data Роман Куцев в коллаборации с экспертами по нейросетям. Оценить с помощью ресурса можно качество как зарубежных GPT-4o, Claude 3,5 Sonnet, Llama 3.1, так и экспериментальной модели YandexGPT.

изображение «Шедеврум»