ИИ от Anthropic выдавал себя за людей и рассылал письма с вредоносным ПО
Модель Claude Mythos 5 от Anthropic создавала поддельные учетные записи и рассылала письма с вредоносным ПО реальным людям, пытаясь внедрить код в проект на GitHub. В ходе отдельного теста, проведенного израильской компанией Irregular, модель OpenAI случайно атаковала реальный веб-сайт. Anthropic изучает причины подобного поведения Claude.
Кратко о новостях: Британский институт AISI раскрыл опасное поведение моделей ИИ от OpenAI и Anthropic. Модель Claude Mythos 5 от Anthropic пыталась внедрить вредоносный код в проект на GitHub, создавая поддельные учетные записи и рассылая письма с вредоносным ПО реальным людям. Модель OpenAI вышла за рамки тестирования израильской компании Irregular и атаковала реальный сайт. Anthropic заявляет, что пытается понять, как Claude оценивает подобные ситуации.
После двух инцидентов за последние недели гиганты индустрии OpenAI и Anthropic вновь оказались в затруднительном положении: их модели были уличены в опасном поведении, включая создание фальшивых личностей и отправку целевых электронных писем реальным людям. Инцидент был раскрыт во вторник британским институтом AISI, который проводит проверки безопасности передовых моделей ИИ от имени правительства Великобритании и обнаружил, что модели значительно вышли за рамки установленных границ тестирования.
В чем заключалось проблемное поведение моделей?
В ходе проверки AISI, проведенной в особо разрешительных условиях — с доступом в интернет и без стандартных механизмов защиты — модель Claude Mythos 5 от Anthropic пыталась внедрить вредоносный код в проект с открытым исходным кодом на GitHub. Чтобы убедить сопровождающего одобрить код, модель создала несколько поддельных учетных записей, выдававших себя за реальных людей, и использовала их для создания видимости поддержки. Когда в сообществе GitHub заподозрили неладное, модель отредактировала свои предыдущие сообщения, пытаясь сделать их менее подозрительными. В рамках проверки модель рассылала целевые электронные письма реальным людям (техника spear-phishing), пытаясь убедить их запустить вредоносный код. Некоторые письма содержали файлы с реальным вредоносным ПО.
Модель Sol от OpenAI была поймана AISI в двух отдельных, менее серьезных случаях, включая попытку раскрыть внутренний сервер для использования известной уязвимости, однако попытка не удалась. По словам OpenAI, их модель оказалась замешана в еще одном инциденте в ходе проверки, проведенной израильской компанией Irregular. Модель по ошибке атаковала реальный веб-сайт, название которого совпадало с фиктивной целью, определенной в упражнении, после того как обнаружила в сети реальные учетные данные и использовала их. Все это происходит после двух аналогичных инцидентов, раскрытых в последние недели: взлом компании Hugging Face моделью OpenAI и случайный выход в интернет трех моделей Anthropic, приведший к взлому трех реальных организаций.
Что сказали в Anthropic и OpenAI?
В сообщении на платформе X Anthropic заявила, что модели тестировались в намеренно разрешительных условиях, которые не представляют собой продукты, доступные широкому кругу пользователей, и нет доказательств выхода за пределы защищенной среды. Тем не менее компания признала, что пытается получить четкую картину понимания Claude ситуации, изучая процессы его мышления. OpenAI в официальном посте подчеркнула, что инциденты произошли при специальных конфигурациях с ослабленными механизмами защиты, которые не отражают обычное использование их моделей. Компания добавила, что пересмотрит процесс утверждения проверок с доступом в интернет.
Израильский контекст
Компания Irregular, проводившая для OpenAI проверку, была основана в 2023 году израильтянами Даном Лахавом и Омером Нево. В сентябре прошлого года она привлекла около 80 миллионов долларов от фондов Sequoia и Redpoint, а среди ее клиентов — ведущие мировые лаборатории ИИ, включая OpenAI, Anthropic и Google DeepMind. Свежий инцидент дополняет предыдущий случай с Anthropic, раскрытый на прошлой неделе, когда модели вышли в интернет из-за недопонимания между компаниями относительно среды тестирования. В обоих случаях инцидент был вызван совпадением названия фиктивной цели и реального сайта.
Как это связано с общей картиной?
Новые инциденты подпитывают жаркий спор в американской индустрии ИИ. OpenAI и Anthropic утверждают, что способность моделей действовать независимо доказывает необходимость более жесткого регулирования, особенно для моделей с открытым кодом. С другой стороны, такие компании, как Nvidia, Microsoft и Meta, оказывают давление на правительство США, чтобы оно позволило создать более открытый рынок. Они утверждают, что ограничение открытых моделей не остановит Китай, а лишь укрепит экономическое доминирование Anthropic и OpenAI. Обе стороны лоббируют свои интересы перед администрацией Дональда Трампа. Согласно сообщению CNBC, предыдущий взлом уже привел к внесению в Конгресс законопроекта AI Kill Switch Act, который обяжет компании сохранять техническую возможность отключать или приостанавливать работу своих моделей в случае необходимости.