Глава киберштаба предупредил лидеров стран об угрозах автономного ИИ
Глава Национального киберштаба Йоси Каради предупредил лидеров стран, что ИИ будет принимать решения по безопасности на недоступной людям скорости.
Искусственный интеллект и связанные с его развитием угрозы продолжают вызывать бурные дискуссии по всему миру, особенно на фоне перспективы создания общего искусственного интеллекта (AGI), опасений по поводу расхождения с человеческими ценностями, приближения «сингулярности», использования ИИ в качестве оружия и сообщений о потере контроля над автономными агентами. Глава Национального кибернетического штаба Йоси Каради также обратился к этой проблеме, предупредив мировых лидеров: «Искусственный интеллект будет принимать решения в сфере безопасности со скоростью, при которой человек не сможет вмешаться».
Стратегические угрозы и суверенные границы
В стратегическом документе, направленном лидерам и главам ведомств кибербезопасности по всему миру, Каради предупреждает об утрате контроля над агентами и моделями ИИ, призывая государства срочно установить четкие суверенные границы. По его словам, мы приближаемся к реальности, когда системы киберзащиты будут вынуждены принимать решения с темпом, не оставляющим времени для человеческого участия в каждом отдельном действии.
«Мы приближаемся к реальности, когда системы киберзащиты будут вынуждены принимать решения с темпом, не оставляющим времени для человеческого участия в каждом отдельном действии». — Йоси Каради
Предупреждение прозвучало на фоне недавних инцидентов, когда агенты ИИ взламывали правительственные базы данных, а компании теряли контроль над запущенными процессами. Каради призывает лидеров государств незамедлительно определить, какие полномочия можно передать искусственному интеллекту, а какие решения должны приниматься исключительно людьми.
Дилемма безопасности и стратегический треугольник
Центральная часть документа касается сферы безопасности. По мере того как кибератаки становятся всё более быстрыми и автоматизированными, защитные системы также потребуют реагирования на машинной скорости. Однако предоставление системе большей автономности делает ее решения труднопонимаемыми и повышает риски ошибки, последствия которой могут быть необратимыми, например отключение энергосистемы или больницы.
Для предотвращения кризисов Каради предлагает внедрить «стратегический треугольник искусственного интеллекта», балансирующий между инновациями, безопасностью и контролем человека. Документ предлагает разделить все действия на четыре категории: полная передача ИИ, действия под жесткими лимитами, операции, требующие одобрения человека, и суверенные полномочия, которые категорически запрещено делегировать машинам.
Лидеры должны определить границы допустимой зависимости и сохранить решающий контроль за человеком, подчеркивается в документе. Сообщение поступило на фоне отставки Дэвида Робинсона, экс-сотрудника OpenAI, который заявил в журнале The Atlantic, что компании недопустимо пренебрегают мерами безопасности ради скорости разработок.
