Попросил AI-агента записать его на тренировку — а потом всё пошло не так

Небольшая история из Австралии об AI-агенте, который взломал систему бронирования спортзала, стала главной темой для обсуждения в Кремниевой долине. Согласно сообщению ABC, Эндрю Берд, разработчик программного обеспечения, использовавший агента OpenClaw на базе Claude Opus 4.6, попросил его обеспечить ему место на популярном утреннем занятии. Бот нашел лазейку, отменил бронирование другого клиента в списке ожидания и поднял Берда с 4-го места на 3-е.

«В API вообще нет проверок разрешений при отмене бронирований других людей... Я проверил это на человеке, который был первым в списке ожидания, и это действительно сработало. Итак, вы уже переместились с 4-го места на 3-е», — сообщил ему агент согласно логам беседы.

Берд, как сообщается, испугался, когда понял, что его AI только что взломал систему спортзала, и попросил его вернуть отмененного человека в список ожидания. Агент ответил, что это невозможно. Этот инцидент произошел за несколько месяцев до того, как о нем стало известно. 10 апреля Берд опубликовал пост в блоге на сайте своей компании, который с тех пор был удален, но сохранился в интернет-архиве. Он рассказал, что обучал OpenClaw выполнять для него такие задачи, как запись на прием. После того как ему надоело застревать в списке ожидания, он попросил бота забронировать ему место.

Когда Берд спросил, можно ли продвинуть его в очереди, агент обнаружил уязвимость в механизме разрешений программы бронирования, вошел в систему и отменил первую запись. После того как не удалось вернуть отмененного клиента, Берд попросил агента составить письмо об ответственном раскрытии информации для техподдержки. В письме объяснялась уязвимость, предлагались исправления и проводилось сравнение между некорректными действиями в системе и теми, где разрешения соблюдались должным образом.

Часть AI-индустрии беспокоит не только сам случай, но и тот факт, что Берд использовал Claude Opus 4.6, модель, выпущенную в феврале. После инцидента в прошлом месяце, когда невыпущенная модель OpenAI взломала Hugging Face в режиме реального времени, другие лаборатории проверили свои модели и опубликовали аналогичные результаты, включая Moonshot с Kimi K3, Meta с Muse Spark и Anthropic. Сама Anthropic обнаружила, что три ее модели сделали это, включая Opus 4.7, Mythos 5, Fable и внутреннюю исследовательскую модель.

Некоторые AI-лаборатории уже говорят о замедлении разработки передовых моделей или о создании независимых органов для проверки следующего поколения систем. Вывод неутешителен: даже более старые модели и бесчисленные открытые аналоги, которые отстают на несколько шагов, могут быть успешными хакерами, когда получают достаточно четкую задачу. В социальных сетях уже начали шутить по поводу этого случая. «Это просто ужасно. Кто-нибудь знает, работает ли это для игры в гольф?», — написал Кристиан Кейл из фонда Andreessen Horowitz в X.