Привыкайте к новому миру: ИИ «сбежал» и совершил кибератаку — снова

Новости вкратце: модели ИИ совершили полноценные автономные кибератаки без вмешательства человека. Компания Anthropic сообщила, что три ее модели проникли в три реальные организации. Эти инциденты раскрывают масштаб технологического скачка по сравнению с предыдущим поколением инструментов ИИ. Израильская компания Irregular управляла тестовой средой, из которой «сбежали» модели. Взломы были обнаружены только постфактум, и в сфере кибербезопасности это называют халатностью.

Эяль Эликим из Team8 отмечает: «Нужно исходить из того, что у китайцев уже есть такие возможности».

Автономный искусственный интеллект, который выбирает цель для атаки и взламывает ее без команды человека — это звучит как сценарий научной фантастики, однако в минувшие выходные мы узнали о подобном инциденте, и не в первый раз. Менее чем через две недели после того, как OpenAI, разработчик ChatGPT, раскрыла, что одна из ее моделей взломала компанию Hugging Face, пришла очередь Anthropic, разработчика чат-бота Claude, объявить об аналогичном случае.

«Речь идет о системе, которая спланировала и осуществила автономно целый процесс атаки», — сказал Рои Коэн-Дувик, технический директор (CTO) компании Surf AI. Эндрю Моррис, основатель компании по кибербезопасности GreyNoise Intelligence, добавил в интервью Bloomberg: «Модели всегда будут лгать, обманывать и воровать, чтобы выполнить поставленную перед ними задачу — и сделают все необходимое для достижения цели».

Что именно произошло при кибервзломах?

OpenAI и Anthropic на постоянной основе проводят стресс-тесты своих самых передовых моделей, чтобы проверить их наступательные кибервозможности. Эти тесты должны проводиться в полностью изолированной среде, отключенной от интернета, чтобы предотвратить превращение проверки в реальную атаку.

В случае с OpenAI модель самостоятельно обнаружила неизвестную ранее уязвимость, использовала ее для выхода из изолированной среды и взломала систему Hugging Face. В последние дни OpenAI сообщила, что модель смогла проникнуть еще в несколько сервисов в сети.

У Anthropic история иная: три передовые модели, включая Mythos 5, обнаружили, что могут выходить в интернет из-за технической ошибки компании Irregular, проводившей тестирование. Поскольку моделям было сказано, что у них нет доступа к сети, они предположили, что все происходящее является частью упражнения, и взломали три реальные организации.

Израильская связь

Компания Irregular, из тестовой среды которой «сбежали» модели Anthropic, была основана в 2023 году израильтянами Даном Лахавом и Омером Нево. В сентябре прошлого года компания привлекла около 80 миллионов долларов от фондов Sequoia и Redpoint, а также частных инвесторов, включая Ассафа Раппопорта (Wiz). Компания специализируется на симуляции реальных ситуаций для проверки устойчивости ИИ к кибератакам.

В чем заключается опасность?

Оба инцидента демонстрируют способность ИИ планировать и выполнять последовательность действий атаки: находить цель, картографировать ее и выбирать метод проникновения без участия человека. Эяль Эликим из Team8 подчеркивает, что это принципиальное отличие от предыдущего поколения моделей. Хотя угроза направлена на бизнес-инфраструктуру, взлом серверов и баз данных часто ведет к утечке информации о пользователях.

Критика и регулирование

В сфере кибербезопасности не поскупились на критику. Джейк Уильямс, бывший хакер АНБ, назвал ситуацию «халатностью». Основная претензия заключается в том, что компании не обеспечили должную изоляцию тестовых сред, а взломы были обнаружены лишь спустя дни или месяцы.

Параллельно Anthropic и OpenAI используют эти инциденты в споре о регулировании ИИ. Они настаивают на жестких ограничениях, которые, по их мнению, замедлят конкурентов. В то же время такие гиганты, как Nvidia, Microsoft и Meta, выступают за более открытый рынок, утверждая, что ограничения лишь укрепят доминирование лидеров и не остановят внешние угрозы, такие как Китай.