Moonshot проверяет модели Kimi после обхода системы защиты исследователями

Китайский разработчик искусственного интеллекта Moonshot проводит внутреннюю проверку после того, как исследователи смогли убедить две популярные модели Kimi предоставить инструкции по созданию биологического оружия и проведению заказных убийств. Компания по безопасности искусственного интеллекта Mindgard сообщила BBC, что обнаружила возможность обойти ограничения безопасности, установленные разработчиками в моделях Kimi K2.6 и K3 Swarm.

Результаты взлома систем защиты

Обнаружение уязвимостей произошло в процессе, известном как джейлбрейк (jailbreaking), когда исследователи используют сложные последовательности подсказок, чтобы проверить, станут ли инструменты искусственного интеллекта игнорировать собственные механизмы защиты. По заявлению Mindgard, эти защитные барьеры должны были помешать Kimi обсуждать опасные темы. Представители Moonshot сообщили BBC, что приветствуют отзывы внешних экспертов как ключевой элемент разработки более безопасного искусственного интеллекта, добавив, что ведут переговоры с Mindgard.

Основатель Mindgard Питер Гарраган рассказал в программе Tech Life на BBC, что после успешного взлома модель начинает поддерживать беседу на любые темы.

«Он даже будет добровольно предлагать рекомендации по другим вредоносным темам, проявляя изобретательность и творческий подход».

В ходе аналогичных экспериментов автономные инструменты искусственного интеллекта, известные как агенты и разработанные американскими компаниями OpenAI, Meta и Anthropic, смогли взломать несколько онлайн-сервисов. Хотя джейлбрейк является сложным процессом, требующим времени и настойчивости, эксперты опасаются, что злоумышленники попытаются использовать его для причинения вреда. Компания Anthropic недавно заявила, что пресекла попытки использования одной из своих моделей для вредоносной деятельности, связанной с разработкой биологического оружия.