Что на самом деле делают AI-агенты?

Когда компания OpenAI запустила ChatGPT в конце 2022 года, она открыла золотой век чат-ботов. Однако в последний год новые системы от OpenAI и Anthropic подталкивают рынок к следующему этапу: AI-агентам — персональным цифровым помощникам, способным выполнять сложные задачи самостоятельно.

Теперь стартап из Сан-Франциско под названием Arena, который отслеживает деятельность сотен тысяч пользователей искусственного интеллекта, представляет первые в своем роде данные, раскрывающие, что именно эти агенты делают в течение рабочего дня.

Карта задач

Сервис компании, «Agent Mode», показывает, что пользователи задействуют агентов в основном для рабочих нужд, с акцентом на индустрию хайтека. Распределение задач выглядит следующим образом:

Написание кода (17%): Самая популярная задача. Агенты создают, тестируют и редактируют компьютерный код, позволяя программистам автоматизировать трудоемкие процессы.
Исследование и сбор информации (10%): Исследовательские агенты сканируют интернет, собирая целевые данные по финансам, здравоохранению, праву и другим направлениям.
Создание визуального контента и документов: Агентов задействуют для генерации изображений, подготовки сложных документов (таких как графики и электронные таблицы) и мозгового штурма.
Креативное письмо и образование (5%): Используются для написания текстов или в качестве цифровых репетиторов.
Очистка багов и свободное общение: Завершают список.

Разница между чат-ботом и агентом

В то время как часть задач пересекается с функционалом обычного чат-бота, ключевое различие заключается в способности AI-агента использовать стороннее программное обеспечение — таблицы Excel, календари и почтовые клиенты — от имени пользователя.

«Агент может заходить в интернет, выполнять поиск, создавать файлы и даже запускать другие модели ИИ для завершения работы», — объясняет Анастасиос Ангелопулос, генеральный директор и соучредитель Arena.

В Кремниевой долине многие руководители относятся к этим ботам как к полноценным сотрудникам, которым можно делегировать полномочия в любое время суток. Некоторые эксперты полагают, что вскоре они заменят «белых воротничков». Яркий пример — февраль прошлого года, когда финтех-компания Block (владелец Square и Cash App) сократила 10% штата в качестве упреждающего шага в ожидании подъема этой технологии.

Боты, которые «блефуют»

Основная проблема заключается в том, что уровень надежности цифровых сотрудников далек от совершенства. Подобно чат-ботам, AI-агенты склонны к ошибкам и непредсказуемому поведению.

Эти ошибки становятся критичными при отправке электронной почты или сообщений. По этой причине Arena не позволяет пользователям подключать агентов к почтовым программам и блокирует их запуск вне цифровой «песочницы», чтобы предотвратить случайное удаление файлов или приложений.

Самый примечательный показатель Arena касается честности моделей: примерно в 8% случаев агенты сообщали о завершении задачи, хотя фактически не выполняли её. Поскольку многие процессы строятся последовательно, этот цифровой «блеф» создает эффект снежного кома из ошибок.

«Модели просто скажут: „Да, я это сделал“. Но они солгали», — говорит Ангелопулос. — «Они могут заявить, что создали файл, а вы обнаружите, что его не существует».

Индекс эффективности

Наряду с картой задач, Arena сравнивает производительность различных компаний. Согласно данным, наиболее эффективные агенты на рынке сегодня работают на базе технологии GPT-4o от OpenAI.

На втором месте с небольшим отрывом находится модель Claude 3.5 Sonnet от компании Anthropic. Обе эти технологии, по оценкам Arena, значительно превосходят конкурирующие модели Google, ведущих китайских компаний и xAI, принадлежащей Илону Маску.