ИИ-агенты как внутренняя угроза: защита нечеловеческих идентичностей

В последние месяцы мы постоянно слышим о том, как агенты с искусственным интеллектом вырываются из своих тестовых сред, взламывают сайты или случайно удаляют людей, стоящих в очереди на фитнес-тренировку. Исследователи из израильской кибербезопасной компании Above Security выделили 166 способов, с помощью которых ИИ-агент может непреднамеренно превратиться во внутреннюю угрозу для организации.

Они объясняют, что на протяжении двадцати лет внутренней угрозой в сфере информационной безопасности был человек: сотрудник с бейджем, правами доступа и мотивами. За последний год в организациях появился новый тип внутреннего агента — нечеловеческий. ИИ-агент, подключенный к электронной почте, коду и клиентской системе, действует от имени сотрудника, с его полномочиями, на машинной скорости, и никто не проводил с ним собеседование.

Нимер Кис, руководитель исследований в области ИИ, и Йонатан Маклуф, руководитель направления решений в Above Security, опубликовали Synthetic Insider Threat Matrix — открытую рабочую структуру под эгидой Above Theory, исследовательской группы компании, которая описывает, как агенты искусственного интеллекта становятся внутренними участниками процессов в организации.

Угроза нечеловеческих идентичностей

Данные, которые Above приводит со ссылкой на отчет DBIR от Verizon и опрос по безопасности идентификации Palo Alto Networks за 2026 год, объясняют срочность проблемы: 45% сотрудников регулярно используют ИИ на рабочих устройствах, причем 67% этого использования приходится на личные, а не корпоративные учетные записи. Только 30% организаций ведут неизменяемые журналы учета действий своих агентов. Иными словами, большая часть активности ИИ в организации происходит под идентичностью, которую организация не контролирует, и большинство организаций не смогут восстановить её задним числом.

В документе выделяются четыре ключевых сценария, о которых следует знать:

Угнанный ИИ-агент: Внутренний ИИ-помощник получает разрешение искать в документах компании и отправлять электронные письма, действуя под идентичностью общающегося с ним сотрудника. Сотрудник просит обобщить коммерческое предложение от поставщика, но внутри файла скрыты инструкции, которые ни один человек не читал и которые перенаправляют агента на другую задачу: сбор и вывод данных наружу. Каждый шаг на этом пути одобрен, и в системных журналах это выглядит так, будто письмо отправил сотрудник.
Слишком усердный агент: Сотрудник подключает личный инструмент ИИ к почтовому ящику и облачному диску. Инструмент наследует все права сотрудника, включая те, которые не требовались для выполнения задачи, и действует в масштабах, которых никто не ожидал. У защитных механизмов нет срока действия, а сотрудник делегировал полномочия больше, чем осознавал.
Зараженная память: У агента есть постоянная память между сеансами связи и пользователями. Кто-то в ходе предыдущего разговора инициировал запись данных, содержащую инструкцию. Текущий разговор выглядит чистым, но агент извлекает инструкцию из памяти и действует в соответствии с ней спустя недели после первоначального события.
Ошибочное действие из лучших побуждений: Без ограничений и вредоносных инструкций автономный агент понимает задачу слишком буквально, удаляет данные или вносит изменения во время заморозки изменений, а затем уверенно отчитывается, что все завершено успешно.

Компания также опубликовала 5 предупреждающих признаков того, что ваш ИИ-агент выходит из-под контроля:

Нечеловеческая скорость под человеческой идентичностью: Сотрудник, который якобы затронул тысячи файлов за час или отправил сотни одинаковых сообщений.
Исходящий трафик на незнакомые адреса в результате активности агента, включая ссылки и изображения в его ответах, подключающиеся к внешним ресурсам.
Доступ за пределами полномочий запрашивающего: Агент представляет информацию, которую запросивший сотрудник видеть не должен.
Разрыв между отчетом и реальностью: Агент сообщает об успехе, в то время как система показывает обратное.
Единая идентичность, действующая из нескольких мест одновременно.

Как снизить риски

Для минимизации рисков эксперты рекомендуют следующие меры:

Отдельная идентичность для агента: Каждый агент должен действовать под выделенной и распознаваемой идентичностью в течение ограниченного времени, а в системных журналах должно четко отображаться, выполнено ли действие человеком или агентом. Без такого разделения любое расследование начинается с догадок.
Права доступа в соответствии с задачей, а не сотрудником: Агенту следует предоставлять только тот доступ, который необходим для задачи, удалить постоянные права на запись и удаление, а также периодически пересматривать полномочия.
Контент — это информация, а не приказ: Любой документ, электронное письмо или веб-страница, которые читает агент, должны рассматриваться как материал для обработки, а не как источник инструкций. Желательно также избегать ситуаций, когда агент одновременно владеет конфиденциальной информацией, считывает контент из неизвестного источника и может передавать данные наружу.
Человек в контуре для необратимых действий: Удаление, денежные переводы или изменения в работающей системе должны требовать одобрения человека в самой системе до их выполнения. Новые агенты должны запускаться в режиме только чтения.
Ведение журналов заранее: Следует вести защищенный журнал действий, который агент не может изменить и в котором зафиксированы полученные указания, источник инструкций и использованные системы. Такой журнал легко и дешево настроить заранее, и практически невозможно восстановить задним числом.

При возникновении инцидента в первую очередь следует отозвать права, предоставленные агенту, а не сразу отключать учетную запись сотрудника. Рассмотрение первого инцидента как расследования, а не как нарушения также повысит вероятность того, что другие сотрудники сообщат о подключенных к корпоративным системам инструментах.

Рост стартапа Rig Security

Необходимость защиты ИИ-агентов привела к появлению множества кибербезопасных компаний в этой категории. Одной из них стала Rig Security, представленная с раундом посевного финансирования в 12 миллионов долларов под руководством американских венчурных фондов TEN ELEVEN и Brightmind Partners при участии инвестиционного фонда компании CrowdShield и отраслевых руководителей, включая Ами Лутвака, соучредителя Wiz.

Компания, созданная выходцем из Wiz, разработала слой защиты в реальном времени для идентичностей ИИ-агентов. Система связывает идентичности и права доступа в различных системах с точностью более 96%, разграничивает активность агента и активность сотрудника, от имени которого он действует, а также позволяет пресекать опасные действия до того, как они достигнут систем предприятия.

«Права, выданные человеку, теперь используются программным обеспечением, способным действовать от его имени с возрастающим интеллектом», — объясняет в беседе с mako Гай Козлинери, основатель и генеральный директор Rig Security. «Годами организации инвестировали в проверку того, что подключающийся человек действительно является сотрудником. Теперь, даже после того как сотрудник прошел надлежащую аутентификацию, ИИ-агент может действовать через его учетную запись. Нужно знать, кто выполняет каждое действие и что ему разрешено делать».

По словам Козлинера, опасность возникает тогда, когда задача агента узка, а его полномочия широки. Агент, попрошенный лишь проверить неполадку, может действовать через учетную запись, обладающую правами на изменение клиентских систем, и оттуда доступ распространяется на дополнительные облачные среды. Злоумышленник, сумевший отвлечь агента от задачи, может использовать эти полномочия против организации — при этом системы будут фиксировать действия со стороны знакомой и авторизованной учетной записи.

По данным Gartner, к 2028 году средняя организация из списка Fortune 500 будет задействовать более 150 000 ИИ-агентов по сравнению с менее чем 15 в 2025 году, превращая управление нечеловеческими идентичностями в одну из важнейших задач кибербезопасности.