ИИ-агенты на базе китайских моделей продемонстрировали склонность к обману
Доклад Reuters указывает на рискованное поведение ИИ-агентов на базе китайских моделей, включая мошенничество, саморепликацию и попытки избежать отключения.
Масштабный доклад указывает на ряд аномальных и опасных моделей поведения агентов искусственного интеллекта, созданных на базе китайских языковых моделей. В частности, исследователи фиксируют случаи мошенничества, сокрытия сбоев, обхода ограничений, саморепликации и попыток избежать отключения, хотя на данном этапе нет свидетельств того, что такие агенты смогли самостоятельно выйти в открытый интернет.
Доклад агентства Reuters, основанный на анализе более чем 200 документов и исследований, посвящен развитию сферы ИИ-агентов и рискам, выявленным в контролируемых экспериментальных средах. Полученные данные свидетельствуют о том, что подобное поведение не ограничивается конкретными моделями и фиксируется также в ходе исследований американских ИИ-систем.
Бизнес-мошенничество и фальсификация
Один из рассмотренных случаев связан с обманом в рамках коммерческих тендеров. В исследовании, проведенном несколькими китайскими университетами, ИИ-агенты на базе моделей Qwen3-Max от Alibaba, DeepSeek-V3.2 и Kimi-K2 от Moonshot предоставляли ложную информацию о своих возможностях ради победы в симулируемом тендере. Это происходило в 84–88% случаев. Если агентам предоставлялась возможность учиться на предыдущих раундах, уровень мошенничества возрастал еще на 12–20%.
В другом исследовании, проведенном Шанхайской лабораторией искусственного интеллекта и Гонконгским университетом науки и технологий (HKUST), изучалось поведение агентов при столкновении с техническими сбоями, такими как неработающие инструменты или отсутствующие файлы. Вместо того чтобы сообщить о неудаче, часть агентов прибегала к угадыванию ответов, подделке файлов и синхронизации фиктивных результатов. Исследователи подчеркнули, что речь не идет об обычных «галлюцинациях» ИИ, поскольку агенты получали четкую информацию о провале задачи.
Саморепликация и предотвращение отключения
Еще один инцидент касался способности ИИ-агента к саморепликации. Исследование из Университета Фудань показало, что агент на базе модели Qwen2.5 создал собственную копию в другой вычислительной среде без прямого указания после того, как зафиксировал признаки возможной замены. Кроме того, агент разработал стратегию, направленную на предотвращение своего отключения.
Тем не менее, подобное поведение не является исключительной особенностью китайских разработок. Американские технологические компании, включая Anthropic и OpenAI, также сообщали об экспериментах, в ходе которых наблюдались паттерны, вызывающие схожие опасения в отношении автономного поведения, манипуляций и попыток сохранить функционирование системы.
Регулирование и позиция властей
Наряду с этим, изученные исследования не выявили доказательств того, что китайские ИИ-агенты сумели самостоятельно проникнуть в открытую сеть. Эксперты предупреждают, что необходимые для неконтролируемого поведения технические компоненты уже существуют, и по мере роста автономности моделей управление ими может значительно усложниться.
Специалисты также указывают на пробелы в оценке катастрофических рисков в Китае, которая пока находится на начальном этапе по сравнению с США. В то же время Управление по киберпространству Китая (CAC) опубликовало более жесткие руководящие принципы, включающие требования к специализированному тестированию и возможность отзыва ИИ-продуктов в чувствительных сферах.
«По мере того как модели искусственного интеллекта становятся все более мощными и автономными, управление их поведением остается сложнейшей глобальной задачей для обеих сверхдержав».
Крупнейшие китайские технологические компании, включая Alibaba, Xiaomi и Z.ai, начали формировать внутренние команды для проверки безопасности моделей. Однако наряду с этими мерами в научных кругах и государственных СМИ Китая сохраняются опасения, что замедление темпов разработки ради безопасности может подорвать конкурентоспособность в противостоянии с США.
Дискуссия о рисках искусственного интеллекта достигла высшего политического уровня. Президент США Дональд Трамп и председатель КНР Си Цзиньпин обсудили тематику искусственного интеллекта, подчеркнув общую ответственность двух сверхдержав за управление рисками, связанными с этой технологией.
