Эксперт назвал главный риск при поручении длинных задач ИИ-агентам

Главный риск при поручении длинных задач ИИ-агентам — отсутствие проверки ключевых действий по ходу работы.

Об этом пишет ТАСС со ссылкой на основателя компании Git in Sky, одного из авторов открытой методологии безопасной работы с ИИ-агентами Agent-Ops Сергея Житинского.

*горизонт — длина задачи, с которой ИИ-агент справляется самостоятельно примерно в половине попыток.

Согласно исследованиям организации METR, в феврале прошлого года горизонт лучших моделей составил около 60 минут, в ноябре того же года — почти в пять раз больше. В феврале 2026 года горизонт превысил шесть часов, а в марте для ранней версии экспериментальной модели Anthropic показатель оценили в минимум 16 часов.

Эксперт подчеркнул:

Тест показывает, на что модель способна в чистых условиях. В рабочей системе агенту приходится разбираться с тем, что накопилось за годы, и там его горизонт будет другим. Поэтому начинать стоит не с вопроса, насколько умна модель, а с вопроса, как мы узнаем, что она справилась. Что должно получиться, что не должно сломаться и чем это проверить, нужно решить до того, как агент начнет работу.

Житинский отметил, длинная задача требует разбивки на этапы с проверкой, а действия, которые нельзя отменить (удаление, изменение рабочих данных), агент не должен выполнять сам. По мнению эксперта:

Агент может долго и полезно работать над анализом и планом. Но перед тем, как что-то менять, нужен человек, который посмотрит на конкретный шаг.

По словам Житинского, несмотря на рост горизонта и расширение круга выполняемых задач, контроль ИИ-агента остается необходимостью. Чем больше последовательных действий агент выполняет без проверки, тем выше риск, что ранняя ошибка повлияет на весь дальнейший результат. Эксперт заключил:

Чем длиннее задача, тем важнее не только конечный результат, но и возможность проверить ключевые действия агента по ходу работы.

изображение magnific