Израильская киберкомпания Sygnia раскрыла уязвимость в коде, написанном с помощью ИИ
Израильская компания Sygnia обнаружила серьезную брешь в приложении крупного финансового учреждения. Ошибка в коде, сгенерированном моделью ИИ Claude, позволяла неавторизованным пользователям получать доступ к конфиденциальным данным клиентов.
Израильская киберкомпания Sygnia раскрыла значительную уязвимость в приложении крупного финансового учреждения, управляющего активами на миллиарды долларов. По данным компании, источником сбоя стал код, написанный по большей части с помощью модели искусственного интеллекта (ИИ) Claude, который создал механизм, позволяющий несанкционированный доступ к конфиденциальной личной и финансовой информации.
Приложение было предназначено для того, чтобы облегчить процесс регистрации, позволяя клиентам вернуться к прерванному этапу без создания новых учетных данных. Однако, согласно выводам Sygnia, механизм аутентификации выдавал токены доступа пользователям исключительно на основе идентификатора, не проверяя, является ли запрашивающий лицом, которому действительно принадлежит учетная запись.
В результате этого сбоя пользователи с базовыми правами доступа могли получить доступ к конфиденциальной информации других клиентов, включая личные идентификационные номера, данные о кредитных заявках, контактную информацию и сведения о финансовых партнерах.
Одним из наиболее примечательных аспектов инцидента является то, что в Sygnia называют «парадоксом ИИ»:
В то время как одна языковая модель помогла написать код, приведший к уязвимости, исследователи компании использовали другую модель ИИ для анализа кода и обнаружения сбоя за считанные минуты.
В Sygnia предупреждают, что этот случай иллюстрирует новую реальность в мире кибербезопасности. По утверждению компании, даже не являясь экспертом, в будущем можно будет обнаруживать сложные уязвимости с помощью инструментов ИИ при наличии доступа к исходному коду. Кроме того, код, написанный с помощью ИИ, может проходить стандартные проверки, содержа при этом критические логические ошибки, которые трудно выявить традиционными средствами защиты.
Вслед за этими выводами Sygnia объявила о запуске комплекса специализированных услуг безопасности для технологий ИИ. Новые услуги включают оценку устойчивости систем ИИ, проведение тестов на проникновение и создание системы управления рисками, сопутствующими внедрению этой технологии.
