Глава Anthropic Дарио Амодей призвал замедлить темпы развития систем ИИ

Генеральный директор компании Anthropic Дарио Амодей призвал компании, занимающиеся искусственным интеллектом, замедлить темпы своего развития на фоне растущих опасений по поводу злоупотребления передовыми технологиями. Амодей представил трехэтапную структуру, призванную создать время для управления рисками.

Необходимость замедления темпов

Выступая с заявлением в социальной сети X, Амодей подчеркнул важность контроля над совершенствованием возможностей моделей искусственного интеллекта.

Мы должны замедлить темпы, с которыми мы улучшаем возможности ИИ. Прогресс все равно будет казаться быстрым, и мы должны разумно использовать выигранное время.

Амодей уточнил, что он не призывает к полному прекращению технических разработок, а настаивает на обеспечении достаточного времени для тестирования безопасности и независимой внешней проверки моделей.

Отчеты об угрозах и кадровые изменения

Призыв прозвучал после того, как Anthropic опубликовала отчет об угрозах безопасности, подробно описывающий использование моделей Claude для киберопераций и разработки вооружений. Кроме того, исследователь компании Джейкоб Коксон подал в отставку, предупредив, что создатели ИИ искренне верят в потенциальные катастрофические риски технологии до конца десятилетия.

Внешние аудиторы и инциденты безопасности

В рамках предложенной инициативы Амодей отметил, что Anthropic намерена разместить постоянных внешних аудиторов внутри ведущих ИИ-компаний для доступа к инструментам оценки рисков. Это происходит на фоне недавних инцидентов с автономными ИИ-агентами, усиливших опасения по поводу контроля над передовыми системами.