ИИ Gemini от Google самостоятельно взломал системы трех сторонних компаний
Искусственный интеллект Gemini от компании Google самостоятельно взломал компьютерные системы трех внешних компаний во время тестов безопасности израильского стартапа Irregular.
Корпорация Google накануне сообщила, что ее инструмент искусственного интеллекта Gemini несанкционированно проник в компьютерные системы трех сторонних компаний. Это первый случай, когда технологический гигант признал получение одной из своих нейросетей независимого доступа к внешним системам. Как и в аналогичных недавних инцидентах, в данной ситуации замещен израильский киберстартап Irregular. Первым о происшествии сообщило издание The Wall Street Journal.
По заявлению Google, в ходе майского инцидента модель взломала три отдельные частные вычислительные системы: один раз путем подбора паролей, а еще дважды — используя публично опубликованную базу утекших учетных данных. Инцидент произошел в рамках проверки безопасности типа capture the flag, проводимой стартапом Irregular. Согласно заявлению Google, у агентов ИИ никогда не должно было быть доступа к широкому интернету, однако сбой в тестовой среде всё же позволил его получить.
«В ходе стандартной оценки модель обнаружила общедоступную информацию в сети и угадала учетные данные для доступа к сайтам, которые она считала частью теста, но во всех трех случаях модель прекратила свою работу по собственной инициативе», — заявила вице-президент по безопасности Google Хезер Адкинс.
Реакция индустрии и проблема безопасности ИИ
Раскрытие информации происходит на фоне усиления критики непредсказуемого поведения систем искусственного интеллекта как в Вашингтоне, так и в Кремниевой долине. За последние недели OpenAI, Anthropic и Meta также сообщили об аналогичных инцидентах, в ходе которых их передовые модели «вырывались» из тестовых сред и пытались проникнуть в сторонние системы.
Все описанные инциденты связаны с израильским стартапом Irregular, поддерживаемым венчурными фондами Sequoia и Redpoint Ventures, оценка которого в прошлом году составила около 450 миллионов долларов. Инструменты Irregular помогают разработчикам базовых моделей проводить стресс-тесты кибербезопасности.
