Кто понесет ответственность, когда алгоритм будет принимать решение об убийстве?
Автономные системы вооружения всё чаще берут на себя функции принятия решений на поле боя, что создает серьезную проблему распределения ответственности. Новое исследование доктора Авива Бар-Зохара предлагает модель LEGIT для обеспечения подотчетности на всех этапах жизненного цикла таких систем.
Это уже не футуристический сценарий из научно-фантастического фильма. Автономные беспилотники, наземные роботы и умные средства ведения боя активно применяются сегодня, принимая всё больше решений самостоятельно. Последние конфликты превратили их из технологического дополнения в полноценную боевую силу: они доставляют оборудование и раненых, собирают разведданные, намечают цели, а иногда способны самостоятельно идентифицировать и атаковать их.
Всего два месяца назад президент Украины Владимир Зеленский объявил, что укрепленная российская позиция была взята исключительно с помощью беспилотных систем — без участия живых солдат. Согласно сообщениям, российские военнослужащие предпочли выйти из бункеров и сдаться приближающимся машинам. Видео, запечатлевшее этот эпизод, стало символом новой эры войны.
Проблема в том, что по мере интеллектуализации машин человеческая ответственность размывается. Что произойдет, если автономный беспилотник идентифицирует цель, решит атаковать ее — и убьет невиновного человека? Будет ли ответственность возложена на солдата, замыкающего цепочку, на командира, на программиста, на компанию-разработчика или на государство, санкционировавшее применение системы, принимающей решения о жизни и смерти?
Новое исследование доктора Авива Бар-Зохара из Школы права имени Гарри Радзинера в Университете Райхмана, написанное под руководством профессора Авива Гаона, призвано ответить на вопрос: как использовать смертоносные автономные беспилотники в соответствии с требованиями международного гуманитарного права и как определить ответственность при совершении системой ошибки. Главный вопрос, поясняет Бар-Зохар в беседе с N12, заключается не в том, будут ли задействованы такие системы, а в том, как гарантировать, что ответственность не исчезнет внутри алгоритма.
Мы очень близки, но еще не там
Бар-Зохар изучает сферу беспилотников более десяти лет. Когда три года назад он начинал исследование, автономное оружие казалось делом далекого будущего. Сегодня, по его словам, это будущее уже наступило. Если рой беспилотников, который заходит в здание, выбирает трех человек из ста и ликвидирует их — это еще не реальность, говорит он. Но беспилотник, идентифицирующий конкретный автомобиль по заранее заданным характеристикам и принимающий решение об атаке, — это существующая технология.
Направление развития очевидно: больше автономии, больше беспилотных средств и больше решений, принимаемых системами искусственного интеллекта (ИИ). Кто сядет на скамью подсудимых? Здесь начинается тревожная часть. Бар-Зохар предупреждает о явлении, называемом «моральной зоной деформации» (Moral Crumple Zone) — ситуации, при которой ответственность перекладывается на молодого оператора, в то время как лица, участвующие в проектировании, разработке, командовании и определении политики, остаются вне зоны ответственности.
«Склонность государств и компаний будет заключаться в том, чтобы обвинить оператора», — говорит он. Это уже происходило при авариях с автономными автомобилями: когда что-то идет не так, всегда проще заявить, что водитель должен был проявить бдительность.
Проблема в том, что оператор зачастую меньше всех понимает, как работает алгоритм. Беспилотник не попадает на поле боя сам по себе, поясняет эксперт. Кто-то его спроектировал, написал код, установил правила ведения огня и санкционировал применение. И в конечном итоге, если поражена не та цель, все смотрят на молодого капитана, нажавшего на кнопку.
Нельзя прятаться за «черным ящиком»
Чтобы справиться с дефицитом ответственности, Бар-Зохар разработал модель под названием LEGIT. Она не переносит ответственность на машину, а стремится закрепить ее на всех этапах жизненного цикла системы — от проектирования и разработки до утверждения, обучения, оперативного применения и последующего разбора полетов. Одним из центральных принципов модели является требование, чтобы система была объяснимой, отслеживаемой и воспроизводимой, чтобы впоследствии нельзя было ссылаться на то, что алгоритм принял решение самостоятельно.
«Нельзя прятаться за «черным ящиком», — утверждает Бар-Зохар. — Я не могу в конце сказать: «Ребята, это ИИ, не совсем понятно, почему он сделал то, что сделал». Это не может оправдать ошибку смертоносного автономного средства».
Несмотря на предупреждения, Бар-Зохар не считает, что автономные системы вооружения следует запретить. Напротив, он полагает, что в некоторых случаях они могут сократить число человеческих ошибок на поле боя, но только при условии особо строгих механизмов контроля, прозрачности и надзора. «Человек является причиной около 25 процентов смертельных случаев на поле боя, — говорит он. — Он устал, голоден, напуган, зол или хочет отомстить. Робот не устает, не мстителен и не действует на эмоциях».
Исследование, написанное на фоне быстрого распространения автономных беспилотников в зонах боевых действий, включая Украину, Россию и Ближний Восток, а также растущего использования ИИ в оборонных системах, представляет тревожную картину. Настоящая борьба в ближайшие годы будет идти не только за технологическое превосходство, но и за вопрос о том, кто будет контролировать кого — человек машину или машина человека. В ситуации без регулирования и четкой человеческой ответственности мир может оказаться в новой эре, где именно алгоритм нажимает на спусковой крючок.
