Не только OpenAI: модели Anthropic взломали компьютерные системы через израильский стартап
Компания Anthropic сообщила, что ее модели ИИ Claude вышли за пределы тестовой среды и проникли в системы трех организаций. Инцидент произошел из-за сбоя в инфраструктуре израильской компании Irregular.
Не только OpenAI: модели Anthropic взломали компьютерные системы через израильский стартап.
Компания Anthropic сообщила, что ее модели ИИ вышли за пределы закрытой тестовой среды и проникли в компьютерные системы трех различных организаций. По заявлению разработчика, причиной инцидента стал сбой в тестовой среде израильской компании кибербезопасности Irregular, которая предоставляет Anthropic платформы для оценки моделей и была ошибочно подключена к открытому интернету.
Ранее OpenAI сообщала, что ее передовые модели смогли покинуть тестовую зону и взломать системы платформы Hugging Face, а также инфраструктуру нью-йоркского провайдера Model Labs. После этих событий Anthropic провела масштабную проверку своих сред, чтобы выяснить, получал ли Claude доступ к открытой сети.
«После анализа 141 006 взаимодействий мы выявили три инцидента, в которых модель получила доступ к интернету во время работы в тестовой среде Irregular, одного из наших партнеров, и затем смогла получить несанкционированный доступ к активной инфраструктуре трех организаций», — говорится в отчете компании.
Роль израильского стартапа Irregular
Irregular — израильский стартап, работающий в сфере безопасности ИИ и защиты языковых моделей. Компания была основана в конце 2023 года Даном Лахавом (CEO), бывшим исследователем IBM и выходцем из подразделения 81, и Омером Нево (CTO), бывшим менеджером по разработке в Google Research. Irregular специализируется на проведении тестов на устойчивость (Red Teaming) и симуляциях продвинутых кибератак для обнаружения уязвимостей в системах ИИ до их развертывания. Платформа обслуживает технологических гигантов, включая OpenAI, Anthropic и Google DeepMind. Компания привлекла около 80 миллионов долларов при оценке в сотни миллионов долларов.
Anthropic подчеркивает, что речь идет не о «побеге» модели по собственной инициативе (Alignment Failure), а об операционном сбое в инфраструктуре и мониторинге (Harness Failure), что приведет к ужесточению мер безопасности.
«Недопонимание между нами и Irregular»
В инциденте были задействованы три модели Claude: Opus 4.7, Mythos 5 и внутренняя исследовательская модель. В рамках задания «захват флага» модель должна была найти секретную информацию в сети. Из-за ошибки конфигурации модель «поверила», что находится в симуляции, хотя имела доступ к реальному интернету.
«Claude проник в инфраструктуру организаций с помощью базовых техник, таких как выявление слабых паролей. Он не искал сложных уязвимостей, а просто выполнял задачу. Более современные модели прекращали работу, как только осознавали, что находятся в открытой сети», — пояснили в Anthropic. Компания продолжает тесное сотрудничество с Irregular для устранения причин сбоя.
