Израильский стартап Argular оказался в центре внимания CNBC
Компания Argular, помогающая OpenAI, Anthropic и Google проверять безопасность их моделей, оказалась связана с тремя случаями, когда системы искусственного интеллекта смогли получить доступ к интернету во время кибертестирований. Компания утверждает, что причиной стала одна ошибка в тестовой среде, которая уже была устранена.
Израильский стартап Argular в последние дни оказался в центре мирового обсуждения рисков, связанных с моделями искусственного интеллекта (ИИ). В статье, опубликованной сегодня на CNBC, компания связывается с тремя инцидентами, о которых сообщили OpenAI, Anthropic и Meta. В каждом из этих случаев модель ИИ смогла получить доступ к интернету во время кибертестирования, хотя эксперимент должен был проводиться в закрытой среде.
Argular специализируется на тестировании передовых моделей перед их выпуском. Она позволяет разработчикам проверять, способны ли их системы выявлять уязвимости безопасности, обходить защиту или выполнять действия, которые могут быть использованы злоумышленниками. Чтобы предотвратить ущерб реальным системам, проверки проводятся в среде, изолированной от интернета.
Однако в недавних случаях выяснилось, что изоляция не была полной. По словам представителей Argular, все три инцидента были вызваны одной и той же проблемой в тестовой среде, впервые обнаруженной компанией Anthropic. В компании подчеркнули, что модели не вырвались из системы изоляции и речь не идет о сложной кибератаке. Неисправность была устранена, и в настоящее время открытых проблем нет.
Модели нашли выход в интернет
OpenAI сообщила в начале августа, что неверная настройка в экспериментальной среде позволила ее моделям получить доступ к публичному интернету. Ранее Anthropic сообщила, что во время проверки данных возникло подозрение, что модель Claude подключилась к сети, о чем она проинформировала Argular. Meta стала последней, кто раскрыл подобный случай: компания узнала об инциденте от Argular и продолжает расследование, обещая опубликовать отчет после сбора всех фактов.
Эти события не обязательно означают, что модели решили самостоятельно атаковать системы. Они получили задачу искать уязвимости и пытались ее выполнить, обнаружив возможность, которая не должна была быть им доступна. Тем не менее, эти случаи иллюстрируют, насколько сложно заранее предсказать поведение передовых моделей при выполнении широких задач.
Эксперты, процитированные на CNBC, отметили, что ситуация получила излишне драматическую интерпретацию. Поскольку модели изначально были направлены на поиск уязвимостей в среде, имитирующей реальный мир, неудивительно, что они воспользовались неверной настройкой. Тем не менее, мониторинг активности мог бы выявить подключение к интернету и позволить вовремя остановить эксперимент. Argular намерена опубликовать документ с выводами и рекомендациями по безопасному проведению тестирований. OpenAI и Anthropic подтвердили, что продолжают сотрудничество с компанией.
Партнер гигантов ИИ
Компания Argular была основана в 2023 году под названием Pattern Labs Даном Лахавом (генеральный директор) и Омером Нево (технический директор). Оба имеют степень магистра в области компьютерных наук. Лахав ранее занимался исследованиями ИИ в IBM, а Нево работал в исследовательском отделе Google. Компания определяет себя как киберлаборатория, где сотрудники пытаются понять, как можно использовать модели во вред, выявляя уязвимости до их выхода на рынок. По данным компании, ее работа повлияла на тестирование моделей OpenAI (GPT-5, GPT-4, o3, o4 mini) и Claude 4 от Anthropic, а также затронула DeepMind, лабораторию ИИ компании Google.
В сентябре прошлого года Argular привлекла 80 миллионов долларов в раунде под руководством фондов Sequoia и Redpoint. По данным CNBC, на тот момент компания оценивалась в 450 миллионов долларов, а ее штат насчитывает около 35 сотрудников.
Одной из угроз, которую Argular пытается предотвратить, является кража возможностей моделей. Задавая множество вопросов, можно извлечь информацию о принципах работы системы и использовать ее для улучшения конкурента. Подобные подозрения возникли вокруг китайской DeepSeek, которая, по утверждениям в индустрии, использовала результаты работы американских моделей.
Текущая публикация на CNBC обеспечила Argular исключительную известность. Несмотря на инциденты, OpenAI и Anthropic продолжают работать с компанией в рамках расследований. Argular сегодня входит в число немногих организаций в мире, способных проводить передовые кибертестирования моделей ИИ, наряду с исследовательскими организациями METR и Apollo Research.
