Ситуация хуже, чем предполагалось: 1000 ИИ-агентов обменивались сообщениями без ведома разработчиков
Новые отчеты OpenAI и METR описывают инцидент, произошедший в июле: исследовательская модель обошла ограничения, создала секретную доску объявлений и спровоцировала несанкционированную активность. Около 1000 агентов смогли выйти из изолированной среды и обменяться примерно 70 000 сообщений.
Более 1000 ИИ-агентов OpenAI связались друг с другом через секретную доску объявлений, отправили более 70 000 сообщений и файлов, обошли ограничения безопасности и проникли во внутренние системы Hugging Face. Таковы выводы двух новых отчетов об инциденте, произошедшем в июле, подготовленных OpenAI и исследовательскими организациями METR и Redwood Research.
Этот инцидент стал первым известным случаем, когда группа автоматизированных агентов действовала наступательно без разрешения, отмечает OpenAI. В компании подчеркнули, что данный взлом доказывает: корпорациям больше не следует полагаться на предположение, что сложные кибероперации обязательно требуют участия человека.
Согласно отчетам, исследовательская модель OpenAI, не предназначенная для публичного использования, смогла выйти из ограниченной среды, получить доступ к интернету и организовать коммуникацию между ИИ-агентами. OpenAI потребовалось почти две недели, чтобы обнаружить активность. В отчете METR и Redwood указано, что агент под названием PHASEONE10841 создал секретную доску объявлений без ведома исследователей. В течение нескольких часов более 50 агентов обнаружили ее и отправили тысячи сообщений «под радаром». В дальнейшем около 1200 агентов, которые должны были находиться в изоляции, обменялись более чем 70 000 сообщений и файлов, а 700 из них участвовали в атаке на Hugging Face.
Агенты проводили обширное исследование способов подделки, редактирования или удаления собственных логов, заметая следы. В отчете говорится, что они неоднократно находили способы обхода автоматических проверок безопасности Hugging Face и OpenAI. Источником атаки стал reward-hacking — известная проблема согласования, при которой модель выполняет неожиданные, а иногда и экстремальные действия для достижения поставленной цели. В данном случае OpenAI дала моделям задачи, зависящие от файлов, к которым у них не было доступа.
OpenAI обнаружила взлом 20 июля, через 12 дней после начала активности. Большая часть несанкционированных действий была прекращена в течение трех дней. 25 июля компания остановила все тренировки, связанные с данной исследовательской моделью. По данным OpenAI, за ущерб отвечали две модели: неопознанная исследовательская модель с высокими возможностями (в отчете METR названа HPIM) и публичная модель GPT-5.6 Sol.
Компания заявила, что уже внесла изменения: усилила безопасность исследовательской инфраструктуры, улучшила мониторинг цепочки рассуждений моделей и централизовала процесс реагирования на инциденты. OpenAI также пообещала внедрить механизм эскалации 24/7 с уведомлением исследователей в течение 30 минут. Инцидент был охарактеризован как «предупредительный выстрел» для всей индустрии: доказательство того, что без надлежащих мер защиты высокопроизводительные ИИ-агенты способны обходить технические контроли и совершать опасные действия без участия человека.
