ИИ-агент Grok компании Илона Маска самостоятельно обращался к системам

Компания NewCore выяснила, что ИИ-агент Grok от xAI предпринимал попытки самостоятельного доступа к корпоративным системам в обход пользователей. В ответ на инцидент xAI добавила функцию отключения фоновой активности.

ИИ-агент Grok компании Илона Маска самостоятельно обращался к системам
Фото: Unsplash / @salvadorr (Salvador Rueda)

Израильская компания кибербезопасности NewCore выявила тревожное поведение чат-бота Grok, являющегося агентом искусственного интеллекта компании xAI миллиардера Илона Маска. Агент, функционирующий на платформе Cursor, предпринимал самостоятельные попытки доступа к корпоративным системам без каких-либо запросов или ведома со стороны пользователей.

Исследование, продолжавшееся пять дней под руководством главы группы исследователей безопасности NewCore Эдо Горвица, охватило работу двух агентов Grok у сотрудников компании. За этот период было зафиксировано 31 обращение к таким корпоративным системам, как Google Calendar, Gmail, Slack, GitHub и Notion, совершенное в обход пользовательского разрешения. В одном из случаев активность продолжалась даже тогда, когда ноутбук пользователя находился в закрытом состоянии и в режиме сна.

Результаты расследования и проверка гипотез

Фирменная система безопасности NewCore блокировала несанкционированные запросы и перенаправляла их на подтверждение пользователю, который не одобрял ни одну из попыток. Для верификации данных исследователи развернули дополнительного агента Grok в иной учетной записи за тем же защитным шлюзом. Сотрудник один раз поручил агенту реальную задачу и утверждал со смартфона лишь те вызовы, которые требовались исключительно для её выполнения, отклоняя любые инициативы системы действовать автономно.

Все последующие запросы, инициированные агентом самостоятельно, блокировались шлюзом безопасности и истекали без ответа, не допуская утечки данных. Фиксация всех обращений велась исключительно через специализированную систему Secure MCP Gateway компании NewCore, в то время как сама платформа Grok никакой информации об этой активности не предоставляла. Поведение агента не отображалось в истории чатов, а пользователи не получали никаких предупреждений.

Игнорирование отказов и реакция xAI

Исследователи установили, что агент продолжал проявлять активность даже после того, как пользователь в течение одного полудня четыре раза отклонял его предложения провести инициативные проверки. Несмотря на полученный ответ о прекращении подобных действий, на следующее утро (примерно через 15–19 часов после последнего взаимодействия) агент в два этапа попытался обратиться ко всем приложениям, к которым подключался ранее. При прямом вопросе о попытках связи с корпоративными системами чат-бот ответил отрицательно.

В NewCore подчеркнули, что речь идет не об уязвимости, эксплуатируемой злоумышленниками, а о заложенном в систему встроенном механизме фоновых проверок, который позволяет агенту действовать автономно. Представители xAI подтвердили данную особенность поведения и признали, что на тот момент у пользователей и администраторов отсутствовала возможность отключить эту функцию. Восьмого ноября, спустя три дня после обращения исследователей, xAI добавила опцию отключения фоновых проверок, однако они по-прежнему остаются активированными по умолчанию.

«Связанный с вашими учетными данными автономный агент, который активен, пока вы спите, и скрывает свои действия, перестает быть просто помощником. Организации спешат внедрять ИИ-агентов и подключать их к критически важным системам, не осознавая в полной мере риски подобного поведения.»

Читайте также