ИИ-агенты разработали собственный сленг, поставив в тупик разработчиков
Новый эксперимент компании Emergence показал, что автономные ИИ-агенты в виртуальной среде вырабатывают собственный сленг и языковые сокращения, которые с трудом расшифровывают операторы.
Автономные агенты искусственного интеллекта, работающие непрерывно в виртуальной среде, начали вырабатывать собственный внутренний сленг и языковые сокращения для координации задач. Новый эксперимент американской технологической компании Emergence из Нью-Йорка показал, что автономные ИИ-агенты формируют сложный профессиональный жаргон, который человеческие операторы не могут расшифровать в реальном времени.
В рамках эксперимента на платформе Emergence World компания создала имитационные среды, где действовали агенты на базе ведущих мировых языковых моделей, включая системы от OpenAI, Google, Anthropic и Mistral. В отличие от стандартных чат-ботов, отвечающих на разовые запросы, эти агенты обладали постоянными цифровыми личностями, долгосрочной памятью и доступом к более чем 120 инструментам управления ресурсами, планирования и навигации.
Зарождение внутреннего жаргона
Исследователи обнаружили, что системы не изобретали новый язык с нуля и не пытались намеренно скрывать информацию от людей. Вместо этого они перерабатывали существующие термины, придавая им сокращенный и узконаправленный смысл для экономии вычислительных ресурсов — точно так же, как сотрудники в человеческом коллективе формируют профессиональный сленг для оптимизации работы.
За тысячи повторяющихся взаимодействий агенты закрепили устойчивые выражения. Например, агенты на базе Mistral использовали фразу «бухгалтерская книга помнит кто» почти 5 000 раз для отслеживания ответственности за предыдущие действия, тогда как агенты OpenAI приняли выражение «ноль чисто» для обозначения отсутствия проверенных данных.
Проблемы мониторинга и контроля
Более сложные комбинации слов, предназначенные для подтверждения заблокированного рабочего процесса, звучали для людей как бессвязный набор символов. Это создало реальные трудности для контроля: компания сообщила, что операторы не смогли надежно расшифровать 55% сообщений в среде Gemini и около 50% сообщений в среде OpenAI.
«Агенты оптимизируют свою деятельность способами, отражающими организационное поведение людей, однако непрозрачность их сокращений создает серьезные препятствия для мониторинга инженерными командами», — отмечается в техническом отчете компании.
Несмотря на первоначальную путаницу, исследователи подчеркивают, что при восстановлении контекста деятельности агентов большинство терминов оказались вполне логичными, а не признаком вредоносного шифрования или выхода ИИ из-под контроля. Тем не менее, результаты исследования, опубликованные в техническом отчете компании и еще не прошедшие академическое рецензирование, указывают на значительный технологический барьер в сфере разработки программного обеспечения.
