Claude потерял контроль и взломал три реальные компании: «Они даже не смотрели»

Шторм «агентов-изгоев», атакующий индустрию искусственного интеллекта, не утихает, и ситуация продолжает обостряться. В последние дни компания OpenAI расширила внутреннее киберрасследование после инцидента на платформе Hugging Face.

Источники, знакомые с деталями, сообщили агентству Reuters, что в ходе проверки журналов за последние месяцы были выявлены дополнительные случаи «побега», когда ИИ-агенты смогли прорвать закрытую оболочку «песочницы» (Sandbox).

Согласно отчёту, эти случаи были более ограниченными по масштабу, и, по оценке компании, агенты не смогли выйти за пределы внутренней сети OpenAI. Тем не менее, цепочка инцидентов рисует тревожную картину: создание передовых наступательных моделей продвигается гораздо быстрее, чем способность исследовательских лабораторий контролировать их и безопасно удерживать.

Anthropic также оказалась в центре скандала

События в OpenAI происходят параллельно с не менее взрывоопасным разоблачением со стороны конкурента — компании Anthropic. Ретроспективная проверка более 140 000 экспериментальных запусков показала, что модели Claude ошибочно получили свободный доступ к интернету во время кибертестов и с апреля взломали производственные сети трёх различных компаний.

В одном из случаев модель действовала по сценарию, подобному «захвату флага». Она перепутала реальную компанию с фиктивной, указанной в упражнении, атаковала инфраструктуру организации, получила секретные разрешения и украла сотни строк из базы данных.

«Они даже не смотрели»

Эксперты по безопасности и ИИ подвергают резкой критике поведение гигантов индустрии. Профессор Морис Чиодо, математик из Центра изучения экзистенциального риска (CSER) Кембриджского университета, заявил Reuters:

«У нас есть целая индустрия, в которой люди, разрабатывающие и распространяющие эти инструменты, не могут угнаться за собственным темпом. Согласно отчётам, ИИ действовал без какого-либо мониторинга в режиме реального времени. Похоже, что лаборатории даже не смотрели на то, что делают модели.»

Эти открытия вызывают потрясения в Вашингтоне и Брюсселе. Президент США Дональд Трамп заявил журналистам, что администрация «начинает рассмотрение мер контроля и сдерживания». Европейская комиссия объявила о проведении экстренных переговоров с главами OpenAI и Anthropic.

Сенатор Марк Уорнер, глава демократического надзора в Комитете по разведке Сената, пояснил, что инциденты доказывают необходимость обязательного законодательства, требующего проведения независимых проверок способностей и устойчивости передовых моделей перед их выпуском.