Сбер создал платформу оценки долгосрочных прогнозов ИИ-моделей

Открытая платформа позволяет оценить способности нейросетей к долгосрочному прогнозированию событий.

О разработке специалистов Центра практического искусственного интеллекта Сбербанка пишет ТАСС. В пресс-службе компании рассказали:

До сих пор у нас не было адекватных инструментов, чтобы сравнивать разные модели в таком сложном сценарии. Наш бенчмарк и метрика заполняют эту пустоту. Они позволяют объективно оценить, какая ИИ-модель действительно хорошо «видит» будущее, а какая — лишь удачно угадывает ближайший шаг.

* бенчмарк HoTPP — эталонная «измерительная линейка» долгосрочных прогнозов, работающая с данными электронной коммерции, финансовой, медицинской сферами и др.

Помимо этого специалисты разработали новую метрику T-mAP, оценивающую точность предсказания одновременно по типу будущего события и времени его наступления, что позволяет получить полную картину качества работы модели.

Научный директор Центра практического искусственного интеллекта Сбербанка Андрей Савченко подчеркнул важность выявления проблемы «схлопывания» предсказаний, когда сложные модели, игнорируя редкие события, выдают однотипные прогнозы. Он отметил:

Это открытие задает вектор для новых исследований. Мы надеемся, что наша открытая платформа станет общим стандартом для научного сообщества и поможет быстрее создавать ИИ, который понимает многогранность и неопределенность мира.

Решение будет полезно многим отраслям: финтех-компании или банки получат прогноз транзакционной активности клиентов , ритейл и логистика — более точные планы по запасам товаров, здравоохранение — анализ последовательности визитов к врачу для ранней диагностики.

изображение Freepik