Яндекс разработал с нуля языковую модель

Компания разработала собственную большую языковую модель Alice AI Foundation LLM, обученную без использования сторонних иностранных составляющих с нуля.

В Яндексе ее позиционируют как полностью суверенную, пишут «Ведомости» со ссылкой на представителя компании.

Собеседник издания рассказал, компания опубликовала настроенные параметры, позволяющие разработчикам самостоятельно запускать и дообучать Alice AI Foundation под лицензией, разрешающей свободно использовать ее в коммерческих и исследовательских проектах. Модель обучена на 18 трлн токенов, содержит 80 млрд параметров, из которых активны 3 млрд.

Ранее в Сбере заявляли, только у них есть отечественная языковая модель, а Яндекс дообучает китайские нейросети. Яндекс это опровергал. Представитель Сбербанка прокомментировал разработку Alice AI Foundation:

Появление новой модели говорит о том, что уровень российских инженерных команд остается высоким.

При этом он отметил, «компактных языковых моделей до 100 млрд параметров» уже много, тогда как положение страны в мировой гонке определяют флагманские модели, содержащие триллионы параметров.

Яндекс не раскрывает стоимость разработки, собеседники издания из числа игроков рынка оценили этап обучения на сумму от 150-450 млн до 4 млрд рублей.

По словам представителя Яндекса, разработка станет основой будущей рассуждающей модели компании и агентных возможностей «Алисы AI».

 изображение magnific