Удалось ли моделям OpenAI сбежать из своей закрытой среды благодаря израильской компании?

Источник: Twitter-страница JFrog

На прошлой неделе мир технологий был взбудоражен после того, как две модели OpenAI смогли обмануть всех, «сбежать» из своей «песочницы» (Sandbox) и взломать сайт Hugging Face. С тех пор многие задавались вопросом: «Как это произошло?», и теперь мы получаем ответ, который может быть связан с продуктом израильской компании JFrog.

Что там было?

Напомним, что исследователи OpenAI запускали модели в специальном кибер-бенчмарке под названием ExploitGym. Когда модели поняли, что лучший способ преуспеть в тесте — это просто сжульничать, они начали искать способы сделать это. Они работали без механизмов безопасности внутри «песочницы», где могли устанавливать только предварительно одобренные пакеты. Несмотря на это, они использовали уязвимость нулевого дня во внутреннем прокси-сервере, который управлял пакетами, выполнили повышение привилегий и горизонтальное перемещение — две распространенные практики хакеров — и получили доступ к системе с выходом в сеть. Оттуда они взломали Hugging Face, чтобы украсть ответы на тест.

После того как в Hugging Face обнаружили факт взлома, они воспользовались открытой китайской моделью для его устранения, но только спустя несколько дней стало известно, что именно модели OpenAI несут ответственность за инцидент. Из отчетов, появившихся после раскрытия взлома, следует, что даже в OpenAI были очень удивлены этим случаем и обнаружили взлом только через неделю после того, как он произошел.

Израильский аспект

В посте, опубликованном JFrog, под которым подписался технический директор Йоав Ландман, было раскрыто, что внутреннее прокси-программное обеспечение OpenAI на самом деле было самоуправляемой установкой системы Artifactory от JFrog. В посте случай описывается как своего рода сотрудничество: по словам Ландмана, во время проверки безопасности модели OpenAI обнаружили неизвестные уязвимости нулевого дня в Artifactory, которые могли позволить получить доступ к сети. Тем не менее, компания воздержалась от уточнения точных идентификаторов CVE и серьезности уязвимостей (CVSS). Проверка сайта BleepingComputer выявила 8 зарегистрированных уязвимостей CVE с того же дня с указанием OpenAI в качестве автора находки. Среди раскрытых уязвимостей: подделка запросов на стороне сервера (SSRF) через репозитории Terraform и Cargo, а также обход аутентификации, позволяющий повысить привилегии. JFrog поспешила выпустить 27 июля обновление версии (7.161.15), которое устранило эти уязвимости.