Сатья Наделла призвал остановить гонку вооружений в сфере передового ИИ

Генеральный директор Microsoft Сатья Наделла призвал нажать на «экстренный тормоз» в деле дальнейшего развития передовых моделей искусственного интеллекта. В посте, опубликованном в социальной сети X (бывший Twitter), он подчеркнул, что пришло время пересмотреть архитектуру доверия в новую эпоху.

Призыв к сдерживанию и контролю

За последние недели ведущие деятели индустрии ИИ, включая Дарио Амодея из Anthropic, Сэма Альтмана из OpenAI и Илона Маска из SpaceX, уже выступали за замедление темпов разработки продвинутых систем. Теперь к этим призывам присоединился Наделла, под руководством которого Microsoft превратилась в одного из ключевых игроков сектора. По словам главы технологического гиганта, современные системы ИИ лишены механизмов, позволяющих отслеживать и понимать логику их поведения.

Мы не можем доверять сверхмощному искусственному интеллекту как системе черного ящика, просто принимая или отвергая его рекомендации, ответы и действия.

Принципы проектирования безопасного ИИ

Для минимизации рисков Наделла предлагает рассматривать передовые модели как внутреннюю угрозу безопасности — не из-за их потенциальной злонамеренности, а потому что любой мощный субъект, имеющий доступ к критическим системам, может ошибиться. Предложенные им принципы включают:

• Диверсификацию моделей для предотвращения системных сбоев.

• Тотальный мониторинг, при котором каждое значимое действие оставляет проверяемый след.

• Независимые механизмы верификации и контроля.

• Встроенные системы сдерживания, предполагающие изначальную несовершенство моделей.

Наделла резюмировал, что самой надежной системой сверхчеловеческого интеллекта станет не та, которой мы доверяем больше всего, а та, которая требует от нас минимального уровня доверия.