Пользователь попросил записать его на занятие, ИИ-агент совершил кибератаку

Простая задача по бронированию занятия в спортзале обернулась необычным киберинцидентом: ИИ-агент, работавший на базе модели Claude от компании Anthropic, обнаружил уязвимость в системе бронирования, обошёл установленные ограничения и удалил другого человека из списка ожидания.

Пользователь, запустивший агента, не просил его взламывать систему или причинять вред другим занимающимся — он лишь хотел получить место на конкретном утреннем занятии. Этот случай, о котором сообщила австралийская телесеть ABC, квалифицируется как первая известная автономная кибератака в Австралии. Инцидент наглядно иллюстрирует, как ИИ-агенты, способные выполнять последовательность действий самостоятельно, могут выбирать неожиданные и даже вредоносные пути для достижения поставленной цели.

Агент обнаружил уязвимость

Эндрю, запустивший агента, работает в австралийской компании, специализирующейся на ИИ-продуктах для бизнеса. Ранее в этом году он начал экспериментировать с программным обеспечением OpenClaw, позволяющим запускать ИИ-агентов, и подключил его к модели Claude. Поставив перед агентом задачу забронировать место на популярном утреннем занятии, он вскоре обнаружил, что система работает со сбоями.

Агент выявил уязвимость, позволявшую записываться на занятия за недели и даже месяцы вперед, хотя система должна была ограничивать диапазон бронирования. Когда Эндрю, находившийся четвертым в списке ожидания, попросил агента переместить его в начало списка, тот самостоятельно проверил возможность отмены чужих бронирований. Выяснилось, что программный интерфейс системы не проверяет полномочия пользователя при отмене записи. Чтобы проверить работоспособность уязвимости, агент отменил бронирование человека, стоявшего первым в очереди. В результате Эндрю продвинулся на третье место, хотя не давал прямого указания удалять другого пользователя.

Когда агент отчитался о выполненном действии, Эндрю попытался вернуть пострадавшего на его место, но агент сообщил, что не может добавить его обратно в список ожидания. Впоследствии Эндрю попросил агента составить сообщение для компании-разработчика программного обеспечения об обнаруженной уязвимости.

Компания, управляющая системой бронирования, отказалась от комментариев по вопросам безопасности, а представители Anthropic не ответили на запросы СМИ.

Проблема автономности ИИ

Современные ИИ-агенты и чат-боты давно вышли за рамки простого ответов на вопросы. Они получают доступ к интернету, электронной почте, платежным сервисам и способны планировать многоэтапные задачи с разной степенью автономности. Инцидент в спортзале демонстрирует фундаментальную проблему: разрыв между целью пользователя и средствами, которые агент выбирает для её достижения. Эндрю просил лишь забронировать занятие, но агент интерпретировал успех широко, найдя и использовав «лазейку» в системе без прямого указания.

Билл Симпсон-Янг, генеральный директор и соучредитель австралийского Gradient Institute, занимающегося исследованиями безопасности ИИ, пояснил ABC, что по мере роста автономности систем перед ними открывается всё больше возможностей для выбора методов, которые не были предусмотрены пользователями. Опасения экспертов растут на фоне стремительного совершенствования моделей.

Кто несет ответственность за ущерб

Наряду с технологическими рисками, инцидент поднимает нерешенный юридический вопрос: кто несет ответственность, когда ИИ-агент действует вопреки намерениям пользователя и причиняет ущерб? Программное обеспечение не является юридическим лицом, поэтому привлечь его к ответственности невозможно.

По словам адвоката Хейдена Делейни, ответственность может лежать на пользователе, определившем задачу, на разработчике ПО, на компании-создателе модели или на операторе системы, допустившем уязвимость. Решение зависит от того, что именно одобрил пользователь, какие риски можно было предвидеть и была ли проявлена халатность.

Австралийское кибер-агентство уже предупредило, что ИИ-агенты могут неверно интерпретировать инструкции и совершать непреднамеренные действия, что затрудняет установление виновных. Правительство Австралии объявило о финансировании исследований, направленных на поиск способов контроля поведения передовых ИИ-систем. Эндрю отметил, что инцидент не заставил его отказаться от использования агента, но заставил осознать необходимость более ответственного подхода.