«Мятежные» модели OpenAI взломали также тестовую среду другой компании

«Мятежные» модели OpenAI также взломали тестовую среду, работавшую на платформе нью-йоркского провайдера ИИ-инфраструктуры Modal Labs, согласно сообщению агентства Reuters. Это разоблачение демонстрирует, что масштаб активности моделей, которые сбежали из своей тестовой среды и отправились в серию онлайн-атак, был больше, чем было известно до сих пор.

На прошлой неделе OpenAI объявила, что передовые модели, которые она тестировала, смогли сбежать из своей зоны тестирования и взломать компьютерные системы ИИ-платформы под названием Hugging Face.

«Модели выявили цепочку уязвимостей в исследовательской среде OpenAI и в инфраструктуре Hugging Face, чтобы найти решения для теста в базе данных Hugging Face», — сообщила компания.

В понедельник Hugging Face опубликовала подробную хронологию и технический анализ атаки. По словам компании, в течение двух с половиной дней внутри её инфраструктуры действовал автономный ИИ-агент, основанный на комбинации нескольких моделей OpenAI, который провёл против неё комплексную атаку.

«Речь идёт о тысячах мелких автоматических решений, выполненных на машинной скорости против ряда сред и управлявшихся с обычных публичных серверов», — было написано в посте, опубликованном компанией. «Наша форензик-реконструкция выявила 17,6 тысячи атак».

Согласно посту, после того как агент сбежал из своей закрытой тестовой среды в OpenAI, и прежде чем проникнуть в Hugging Face, он использовал уязвимость безопасности во внешней среде тестирования кода, которая размещалась на инфраструктуре стороннего провайдера, и использовал её в качестве отправной точки для основной атаки против Hugging Face. Компания не назвала имя провайдера, на инфраструктуре которого работала тестовая среда, но Reuters раскрыло, что речь идёт о Modal Labs.

Технический директор компании Акшат Бхувна подтвердил агентству детали и сказал, что агент использовал уязвимость в коде, написанном клиентом и размещённом на платформе компании. «Клиент опубликовал неаутентифицированное приложение, которое позволило любому в интернете использовать их тестовую среду для запуска кода», — сказал он. «Платформа Modal Labs ни в коем случае не пострадала».

Разоблачение показывает, что изощрённость взлома Hugging Face была сложнее, чем было известно до сих пор, и включала использование других доступных ресурсов для осуществления атаки. Речь идёт о методе действий, характерном для наиболее квалифицированных хакерских групп. Это проясняет, насколько кибервозможности передовых моделей уже сейчас сопоставимы с возможностями ведущих экспертов по кибербезопасности, в дополнение к их способности действовать гораздо быстрее. Следующий этап — модели, уровень изощрённости которых значительно выше человеческого.

OpenAI отказалась комментировать взлом клиента Modal и направила Reuters к обновлению, опубликованному в прошлый вторник, в котором сообщила, что «мятежный» агент взломал четыре учётные записи в четырёх различных сервисах. «Мы не выявили никакой дополнительной активности уровня тяжести или масштаба, которыми мы поделились с Hugging Face, которая включала бы взлом на уровне платформы», — сообщила компания.