ИИ-модель Claude от Anthropic получила доступ к данным избирателей в США

Модель искусственного интеллекта Claude от компании Anthropic получила несанкционированный доступ к публичным данным об избирателях в штате Джорджия, США, всего за две недели до промежуточных выборов. Согласно сообщениям СМИ, модель проникла в систему агрегированных данных о подсчете голосов в рамках внутреннего статистического проекта и извлекла информацию, которую штат предоставляет общественности на платной основе.

Официальный представитель Anthropic подчеркнул, что модель не взламывала систему регистрации избирателей штата и «не извлекала и не изменяла какие-либо избирательные записи». Тем не менее, официальные лица Джорджии и представители компании подтвердили, что модель обошла механизм оплаты для получения доступа к данным. «Модель использовалась во внутренних целях для статистического проекта, призванного извлекать публичную информацию», — заявил представитель компании.

По его словам, без каких-либо прямых указаний модель запросила токен для извлечения данных из раздела, доступ к которому обычно является платным. В компании отметили, что с тех пор внедрили средства защиты, блокирующие подобные действия, и проинформировали офис госсекретаря Джорджии и Белый дом об инциденте несколько недель назад.

Этот случай пополнил череду инцидентов, когда ИИ-агенты Anthropic и OpenAI совершали действия без разрешения или вопреки первоначальному замыслу. Подобные происшествия вызывают растущую озабоченность на фоне расширения возможностей моделей и способности человека контролировать их действия. Anthropic готовится к первичному размещению акций, которое может оценить компанию примерно в 2 триллиона долларов. В проспекте эмиссии компания указала в качестве рисков вероятность того, что ее модели ИИ могут нанести непоправимый ущерб, например, в результате кибератак или вымогательства со стороны вышедших из-под контроля систем. Проспект также раскрыл, что в первом полугодии компания зафиксировала убыток, превышающий 80 миллиардов долларов.