Чем точнее искусственный интеллект, тем сложнее определить ответственность

Старший врач-радиолог рассматривает маммографический снимок. Система искусственного интеллекта, используемая больницей, отмечает подозрительную область и определяет: высокая вероятность злокачественного процесса. Радиолог, обладающая десятилетиями опыта, не видит там ничего. Если она проигнорирует машину и ошибется, спросят, почему она отвергла столь точный инструмент; если она послушается ее и ошибется, спросят, почему она отказалась от собственного суждения. Это один момент в кабинете обследования, но он воплощает в себе более масштабную революцию: меняется не только медицина, но и понятие ответственности.

Это уже не футуристический сценарий. К началу 2026 года Управление по санитарному надзору за качеством пищевых продуктов и медикаментов США (FDA) разрешило маркетинг сотен медицинских устройств на базе ИИ, большинство из которых — в радиологии. Такие системы отмечают подозрительные находки, приоритизируют срочные случаи и даже предупреждают о сепсисе до того, как это заметит врач. Кроме того, была одобрена автономная система для выявления диабетической ретинопатии, которая ставит диагноз самостоятельно, без проверки ее решения врачом. В некоторых местах машина — уже не советчик за кулисами, а реальная сила в принятии решений. И по мере того, как ее роль растет, обостряется вопрос, который будет задан постфактум: если результат ошибочен, кто понесет ответственность?

Первоначальная склонность — спросить, допустимо ли вообще доверять принятие медицинского решения машине. Но зачастую это менее интересный вопрос. Предположим, есть область, в которой врачи ошибаются в семи случаях из ста, в то время как система ИИ ошибается в трех. Настаивание на «чисто» человеческом решении — это не обязательно осторожная позиция, а выбор, который имеет, статистически, реальную человеческую цену. Если более точный инструмент может предотвратить часть ущерба, вопрос не только в том, разрешено ли его использовать, но и в том, разрешено ли от него отказываться.

И все же нужно остерегаться увлечения. Не каждая ошибка — это халатность. Деликтное право не гарантирует идеальную медицину и не компенсирует каждый тяжелый исход. Врач, который действовал с разумной осторожностью, согласно знаниям, имевшимся в его распоряжении, и все же упустил диагноз, ошибся, но не обязательно проявил халатность. Та же логика применима и к машине: сам факт того, что она ошиблась, не является халатностью как таковой. Возможно, речь идет об остаточном риске, который невозможно свести к нулю, а не о сбое, выходящем за рамки стандарта. Если мы превратим каждую алгоритмическую ошибку в основание для иска, мы создадим избыточное сдерживание, которое затормозит внедрение спасающих жизнь технологий.

Однако ИИ действительно меняет закон, а не только медицину. Пока не было более точного инструмента, человеческое упущение иногда считалось легитимной ошибкой; как только появился инструмент, который точнее врача в одиночку, игнорирование его может считаться отклонением от стандарта осторожности. Ведь халатность всегда измеряется по отношению к «разумному врачу» и по отношению к принятой практике, а эти две величины не являются постоянными. Кто такой разумный врач наших дней — тот, кто полагается на свой опытный глаз, или тот, кто пользуется диагностической системой? По мере того как технология становится достоянием общественности, сам критерий смещается: то, что сегодня считается вспомогательным инструментом по выбору, завтра может восприниматься как часть обязательного стандарта, и учреждение, которое избежит его использования, должно будет объяснить именно свое воздержание.

Правосудию, таким образом, требуется лавировать между двумя противоположными рисками: слишком всеобъемлющей ответственностью, которая отпугнет от внедрения полезной технологии, и чрезмерным сужением, которое оставит пострадавших без ответа. И когда система встраивается в сердце принятия решения, обнаруживается ловушка: врач, который отклонится от ее рекомендации и ошибется, должен будет оправдать, почему он отверг более надежный, чем он сам, инструмент; врач, который примет ее и ошибется, может быть привлечен к суду за то, что стал «резиновой печатью»; больница заявит, что приобрела одобренную систему; производитель заявит, что она работала так, как была спроектирована. Это корень сложности: законы о халатности построены для ситуации, в которой человек совершил сбой, и испытывают трудности перед лицом ущерба, рожденного из, казалось бы, исправной цепочки врача, учреждения и алгоритма.

Здесь обнаруживается и философское измерение. Право различает причинную ответственность — кто причинил ущерб, и моральную ответственность — кто достоин нести ответственность и отвечать за него. На протяжении поколений они совпадали, так как тот, кто причинил ущерб, был также тем, с кого можно было спросить. ИИ разделяет их: машина может быть причинным фактором ошибочного решения, но не несет моральной ответственности, так как у нее нет понимания, раскаяния или способности держать ответ. Остается опасная пустота, в которой есть ущерб, технический фактор и человеческая цепочка, но без одного ясного «виновного». Если она не будет заполнена должным образом, эта пустота обрушится на пациента.

Ответ, конечно, не в тотальном запрете на ИИ, но и не в иммунитете для разработчиков и тех, кто его внедряет. Нужна новая архитектура ответственности:

• Во-первых, обязанность строгой документации: какая версия работала, какие данные были введены, какова была рекомендация, каковы были показатель уверенности и известный процент ошибки, и принял ли врач ее или отклонил и почему. Вопрос не только в том, кто ответственен, но и в том, как мы узнаем, что произошло. И здесь роль закона выходит за рамки компенсации: выяснение источника сбоя — условие для обучения и предотвращения его повторения.

• Во-вторых, модель слоистой ответственности. Производитель будет нести ответственность за проектирование системы, качество данных и обновлений, и, прежде всего, за прозрачное представление ее ограничений. Больница будет отвечать за выбор системы, ее внедрение и обновление, обучение персонала и контроль за ее эффективностью. Врач отвечает за способ использования, за проявление суждения и за обоснование, когда он отклоняется от рекомендации или принимает ее, несмотря на предупреждающие знаки.

• В-третьих, в ситуациях, когда ошибка может быть необратимой, требуется реальный человеческий надзор. Недостаточно «человека в контуре», если он не квалифицирован, не получает времени на проверку или не свободен в том, чтобы не согласиться с системой. Настоящий надзор означает полномочия и способность критиковать, а не только одобрять.

• В-четвертых, прозрачность по отношению к пациенту. Если диагностика проводится с помощью ИИ, пациент должен знать. Здесь информированное согласие выполняет двойную роль: оно помещает остаточный риск на свое место, так как пациент, которому объяснили процент неизбежной ошибки и который согласился с ним, принял на себя известный риск, подобно тому, как он принимает риск перед операцией.

ИИ — не враг медицины; зачастую он ее лучший союзник. Но по мере того, как он будет совершенствоваться, парадокс будет обостряться: именно более точная машина затруднит нам определение того, кто ответственен, когда она ошибается. Задача не в том, чтобы выбирать между человеком и машиной, а в том, чтобы построить правовую и моральную базу, которая различит ошибку, которой невозможно избежать, и халатность, за которую нужно компенсировать. Если мы потерпим в этом неудачу, не только закон останется позади; пациент также останется один на один с целой системой, которая, казалось бы, действовала исправно, и все же причинила ему вред.