Эксперимент с ИИ-управлением бизнесом в Университете Карнеги-Меллона
Эксперимент Университета Карнеги-Меллона показал, что ИИ-агенты справляются лишь с небольшой частью задач по управлению бизнесом, демонстрируя серьезные ограничения.
Мировой бизнес активно дискутирует о том, собирается ли искусственный интеллект захватить все рабочие места, заставляя многие компании спешно внедрять новые технологии. Чтобы проверить реальность громких обещаний, исследователи из Университета Карнеги-Меллона разработали любопытный эксперимент, опубликованный в виде предварительной статьи на arXiv. В нем агентам искусственного интеллекта были доверены рычаги управления виртуальным бизнесом.
Симуляция корпоративных ролей
В ходе эксперимента исследователи распределили агентов искусственного интеллекта по различным организационным ролям, включая финансового аналитика, руководителя проектов и инженера-программиста. Для создания реалистичной симуляции были также добавлены виртуальные коллеги из других отделов, таких как отдел кадров. Искусственному интеллекту поручили широкий спектр задач: от анализа баз данных до виртуальных экскурсий с целью выбора новых помещений.
Числовые результаты показали четкие данные. Модель Claude 3.5 Sonnet возглавила список, однако сумела выполнить лишь 24 процента поставленных перед ней задач. Даже с учетом частично завершенных попыток уровень ее успеха составил 34,4 процента. Модель Gemini 2.0 Flash заняла второе место, зарегистрировав показатель завершения всего в 11,4 процента. Ни один другой агент искусственного интеллекта не смог преодолеть десятипроцентный рубеж.
Ограничения и человеческий контроль
«Агенты неоднократно терпели неудачу в понимании неявной части инструкций, спотыкаясь о социальные и навигационные задачи». — Исследование Университета Карнеги-Меллона
Эксперимент выявил классические ограничения систем искусственного интеллекта. Как отметили исследователи, эти агенты часто не понимали скрытый смысл указаний. Например, когда их просили сохранить результат в файле с расширением ".docx", они не догадывались использовать формат Microsoft Word.
Социальные навыки не являются сильной стороной этих систем, и многие задачи остались незавершенными. Полученные данные подтверждают, что, хотя искусственный интеллект способен выдавать впечатляющие результаты в узких задачах, системы все еще далеки от статуса автономных цифровых сотрудников.
