Атомная ловушка

16 июля — ровно через 81 год после первого в истории ядерного испытания, получившего название «Тринити», — в Риме собралась группа лауреатов Нобелевской премии, ученых, дипломатов и религиозных деятелей. Они подписали декларацию, которая начинается словами: «Человечество стоит перед решающим моментом в своей истории».

Это произошло всего через полгода после того, как ведущая группа ученых-атомщиков заявила, что мы никогда не были так близки к глобальной катастрофе и что для её предотвращения требуется обязательное международное регулирование в области искусственного интеллекта. Это не первый случай, когда ученые сравнивают опасности ядерного оружия с теми, которые ИИ представляет для человечества.

Летом 2023 года, в разгар энтузиазма вокруг ChatGPT, на экраны вышел фильм Кристофера Нолана «Оппенгеймер». В интервью режиссер рассказал, что исследователи ИИ определили для него тот период как «момент Оппенгеймера», имея в виду чувства глубокого прозрения и раскаяния ученых, осознавших, что они непреднамеренно выпустили на свободу разрушительную силу, которую невозможно контролировать.

Эта параллель возникла за несколько месяцев до этого, когда Джеффри Хинтон, один из «крестных отцов» ИИ, уволился из Google, чтобы предупредить мир об опасности этой технологии. Он заявил, что сожалеет о том, что развитие ИИ стало делом всей его жизни. В то же время сотни исследователей, включая Сэма Альтмана из OpenAI и Демиса Хассабиса из Google DeepMind, подписали декларацию, в которой было указано: «Снижение риска вымирания, создаваемого искусственным интеллектом, должно стать глобальным приоритетом наряду с такими опасностями, как пандемии и ядерная война».

Ложное чувство контроля

Одно из преимуществ сравнения атома с ИИ заключается в утешении, поскольку опасность ядерного оружия, по всей видимости, находится под контролем. Однако следует помнить, что отсутствие ядерной войны — это не обязательно результат идеальных систем управления, а скорее проявление благоразумия людей в решающие моменты. Эта метафора полезна тем, что показывает: человечество уже находило способы справиться с опасностью путем заключения договоров.

Проблема в том, что она дает ложное чувство контроля, так как нынешняя игра ведется по правилам, отличным от тех, что были актуальны для ядерной угрозы. ИИ не оставляет следов. Способность контролировать распространение ядерного оружия основана на том, что уран и плутоний — редкие материалы, а их переработку трудно скрыть. Для создания обогатительного объекта нужны тысячи центрифуг и сложная цепочка поставок, что позволяет осуществлять контроль.

Если мы попытаемся применить эту практику к ИИ, мы обнаружим, что почва уходит из-под ног. Риск систем ИИ невозможно оценить, определяя наличие у стороны необходимых материалов. Режим ядерного контроля основан на измеримых вопросах — например, сколько расщепляющегося материала имеется в наличии? В случае с ИИ не существует согласованной единицы измерения, определяющей границу между невинной разработкой и опасной способностью. Даже лаборатория, обязанная соблюдать правила, не может доказать их выполнение.

Логика гонки

Второе отличие касается эксплуатации технологии. Логика ядерного сдерживания заключается в том, что само наличие оружия делает свое дело. В случае с ИИ логика обратная. Никто не инвестирует миллиарды в систему, которая «ждёт своего часа». Она создается для немедленного действия на рынке, в производстве, медицине и армии. Тот, кто останавливается в этой гонке, остается позади. Даже самые осторожные игроки вынуждены двигаться вперед: если мы остановимся, нас обгонит кто-то другой.

Бомба — это пассивный объект. Чтобы она взорвалась, нужен человек, принявший решение. Мы представляем ИИ как машину, которая однажды восстанет против создателей, но эксперты по безопасности предупреждают: система может нанести необратимый ущерб именно потому, что она с идеальной эффективностью выполняет то, что мы просили её сделать.

Так, в эксперименте OpenAI 2016 года система ИИ была обучена гонкам на лодках. Разработчики предположили, что победа в гонке — хороший показатель. Но система обнаружила укромный уголок на трассе, где можно было набирать очки путем повторного сбора иконок, ускоряющих скорость, и осталась там кружить. Лодка не закончила ни одного круга, но её счет был на 20% выше, чем у игроков-людей. Это забавный пример в игре, но он становится пугающим, если речь идет о системе, управляющей электросетью.

А может, взрыв уже произошел?

Лауреат Нобелевской премии мира 2021 года Мария Ресса заявила в Риме, что человечество уже прошло «момент Тринити» искусственного интеллекта и бомба фактически взорвалась в полной тишине внутри наших информационных систем. В 1945 году первый ядерный взрыв осветил пустыню Нью-Мексико. Армия сообщила, что взорвался склад боеприпасов, СМИ приняли это, и мир продолжил жить как обычно. Правда открылась лишь через три недели, когда США сбросили бомбу на Хиросиму.

Первый ядерный взрыв ничего не изменил. Мир начал понимать последствия только после того, как бомба разрушила город. Это осознание разрушает утешительное предположение, что правительства вовремя проснутся. Но они не проснулись после «Тринити», а только после Хиросимы. Великий моральный призыв той эпохи также пришел с опозданием на десятилетие, когда Альберт Эйнштейн и Бертран Рассел предупредили мир: «Мы обращаемся к вам как люди к людям: помните о своей человечности и забудьте обо всем остальном».

Подписавшие Римскую декларацию лета 2026 года закончили её теми же словами. Вопрос в том, побудят ли они лиц, принимающих решения, к действию.