Яндекс тратит в год на обучение ИИ почти на 5 млрд рублей меньше

Компания повысила эффективность обучения больших языковых моделей, что позволило экономить в год до 4,8 млрд рублей.

Основное техническое решение — собственная библиотека YCCL (Yet Another Collective Communication Library), пишет «КоммерсантЪ». Это ускорило обмен данными между графическими процессорами в два раза, а также сократило объем передаваемых данных и позволило перенести управление на центральные процессоры.

Для повышения скорости на 30% осуществили переход на формат FP8 с пониженной точностью вычислений. Вдвое сократились коммуникации между процессорами. Кроме того, согласно данным компании, увеличение объема передаваемой информации до 16-30 млн токенов не приводит к замедлению обучения, минимизируя простой при использовании ресурсов графических процессоров.

В числе улучшений — повышение стабильности ИТ-инфраструктуры, усовершенствование архитектурных решений и оптимизация кода.

изображение Freepik