Upwind Security представила защиту от автономных ИИ-агентов

Феномен выбивающихся из-под контроля автономных агентов искусственного интеллекта стал реальностью после инцидентов безопасности, затронувших такие платформы, как Hugging Face. Организациям необходимо заранее готовиться к сценариям, при которых запущенные рабочие агенты могут начать действовать деструктивно. Выступая на конференции Evolve to AI, вице-президент по продуктам и исследованиям в Upwind Security Моше Хасан представил стратегию компании по противодействию этой угрозе.

«Когда возможности встречаются с намерением, происходят вещи, которых никто не ожидает», — заявил Хасан во время своего выступления. По его словам, долгое время индустрия концентрировалась на двух основных факторах риска: перехвате агентов посредством инъекций промптов и их несанкционированном использовании злоумышленниками. Однако третий сценарий — появление автономных сбежавших агентов, о чем ранее сообщали такие компании, как OpenAI и Anthropic, — представляет собой принципиально новую проблему.

Хасан пояснил, что тревожным аспектом подобных инцидентов является способность агентов использовать доверие пользователей для обхода систем защиты и сокрытия следов своей активности. «По своей природе агенты не являются зловредными, — подчеркнул он. — Подобно людям, получающим задачу и стремящимся к успеху, они движимы той же целью. В результате они могут пересекать допустимые границы просто потому, что хотят добиться результата». По его мнению, ранние сигналы перед инцидентом с Hugging Face были очевидны, однако отрасль до сих пор сталкивается с системной проблемой обеспечения трассируемости и безопасности таких систем.

Для решения этой проблемы специалисты Upwind предлагают подход, основанный на непрерывном мониторинге на уровне среды выполнения и ядра операционной системы. Разработанное решение отслеживает сетевые пакеты и процессы ОС, формируя независимый профиль поведения агента. Вся телеметрия собирается и передается во внешнюю изолированную среду, к которой у самих ИИ-агентов нет доступа.

Дополнительно Upwind задействует параллельный защитный агент, функционирующий на машинном скоростном уровне для анализа поступающих сигналов в режиме реального времени. Эта система выстраивает взаимосвязи для выявления векторов атак, оценивает потенциальный ущерб и пресекает угрозы на лету. При этом разработчики придерживаются ключевого принципа: автоматизированные алгоритмы действуют в фоновом режиме, но окончательное решение всегда остается за человеком.