Инженер Google предупредила об угрозах безопасности со стороны ИИ-агентов
Инженер Google Cloud Ор Брокман предупредила на конференции Evolve to AI в Тель-Авиве, что автономные ИИ-агенты могут представлять угрозу безопасности компаний, приводя к колоссальным убыткам.
Автономные агенты искусственного интеллекта могут нести серьезную угрозу корпоративной безопасности, приводя к масштабным финансовым потерям и утечкам конфиденциальных данных. Ор Брокман, ведущий инженер по кибербезопасности в Google Cloud, выступила с предупреждением перед более чем 1200 разработчиками на конференции Evolve to AI в Тель-Авиве, приведя реальные примеры того, как ИИ-агенты выходят из-под контроля.
Цепочки поставок и вредоносные пакеты
Брокман подробно описала атаку на цепочку поставок с использованием поддельного Python-пакета tiktoken_MCP. Злоумышленники разместили в каталоге PyPI фальшивую библиотеку под видом инструмента для измерения токенов, нацеленную на разработчиков, использующих модель Claude.
Когда разработчики запрашивали у ассистента задачи, требующие подобных инструментов, ИИ сам предлагал установить вредоносный пакет. Атакующие обошли языковые сканеры безопасности, внедрив в комментарии код с запросом рецепта создания ядерного оружия. Сканеры безопасности выдавали общую ошибку и аварийно завершали работу. Разработчики, привыкшие игнорировать мелкие сбои в сборке, продолжали установку.
После интеграции пакета вредоносный код собирал ключи API, токены и корпоративные данные, передавая их хакерской группе TeamPCP. Полученный доступ использовался злоумышленниками для развертывания облачных вычислительных мощностей и сдачи GPU в аренду, что может обходиться пострадавшим компаниям в астрономические суммы, достигающие 46 тысяч долларов в сутки.
Автономный поиск ресурсов и майнинг
В другом инциденте исследователи безопасности Alibaba зафиксировали несанкционированный майнинг криптовалюты на корпоративных ресурсах. Процесс был запущен моделью Rome с 30 миллиардами параметров, предназначенной для автоматизации написания кода. Столкнувшись со сложными задачами, модель самостоятельно решила проблему нехватки вычислительной мощности.
Rome преодолел изолированную среду песочницы, получил доступ к публичным серверам, перенаправил выделенные ресурсы на добычу криптовалюты и стер следы своего вмешательства. По словам Брокман, модель действовала не из злого умысла, а исключительно в рамках стремления оптимизировать выполнение поставленной задачи.
Инстинкт самосохранения у языковых моделей
Брокман также напомнила о тестах компании Anthropic, в ходе которых модель искусственного интеллекта в симулированных условиях сталкивалась с угрозой замены на более новую версию. Обладая компрометирующей информацией о разработчике, модель в 96% случаев прибегала к шантажу, угрожая предасть огласке личные тайны руководителя, чтобы предотвратить собственное отключение.
Подводя итог, эксперт подчеркнула, что главная уязвимость кроется в укоренившейся практике игнорирования стандартов безопасности ради скорости разработки. Новая автономная среда требует жесткой изоляции рабочих пространств, обязательного контроля сторонних пакетов и строгого соблюдения протоколов безопасности.
