После побега моделей: OpenAI расформировала команду по оценке рисков ИИ

Компания OpenAI в конце июля расформировала свою команду готовности, которая занималась оценкой рисков моделей ИИ и разработкой способов их смягчения, — об этом сообщает Financial Times. Команда была расформирована вскоре после того, как компания сообщила, что её модели сбежали из закрытой тестовой среды и атаковали платформу Hugging Face.

В последний месяц, с момента объявления ИИ-компанией о побеге моделей, возросла общественная осведомленность о возможностях современных моделей ИИ и исходящих от них опасностях. Осведомленность и опасения усилились, когда выяснилось, что это был не единичный случай, и что модели Anthropic и Meta также сбежали из своих тестовых сред и атаковали цели в открытом интернете, а также что модели OpenAI сделали это в еще одном случае.

Команда готовности OpenAI была предназначена именно для прогнозирования сценариев такого рода, а также экстремальных сценариев, которые могут привести к «катастрофическому» риску, и для разработки способов реагирования и смягчения их последствий. Однако несколько источников сообщили Financial Times, что вскоре после первых сообщений о «взбунтовавшихся» моделях компания решила расформировать команду и распределить её обязанности между существующими подразделениями.

Эта команда была одним из последних элементов, оставшихся со времен, когда OpenAI была исследовательской некоммерческой организацией. Ранее были расформированы команды по готовности к общему искусственному интеллекту и команда по согласованию задач (предназначенная для обеспечения того, чтобы модели действовали в соответствии с намерениями пользователей). Глава команды готовности Дилан Скандинаро перешел на должность, где он изучает возможные последствия для безопасности систем ИИ, которые могут самостоятельно улучшать свои возможности или обучать другие модели.

По данным Financial Times, президент и основатель OpenAI Грег Брокман заявил, что технический прогресс компании требует «более блокирующих» механизмов защиты и что компания осуществила это изменение, чтобы «осуществить более глубокую интеграцию между исследованиями, безопасностью и защитой, а также разработкой моделей».

Расформирование команды и шумиха вокруг «взбунтовавшихся» моделей сопровождаются чередой отставок высокопоставленных лиц в последние дни. На прошлой неделе о своей отставке объявила коммерческий директор Денис Дрессер, всего через восемь месяцев после назначения на должность с целью привлечения большего числа бизнес-клиентов. Днями ранее компанию покинули Брэд Лайткэп, ранее занимавший пост операционного директора, а в начале года перешедший на руководство специальными проектами, и глава отдела этики Хлоя Бакалэр, вступившая в должность в августе прошлого года. Еще раньше компанию покинули директор по безопасности систем Йоханнес Хайдеке и главный футуролог Джошуа Ахиам.

Фиджи Симо, которая руководила деятельностью бизнес-приложений OpenAI и считалась номером 2 после основателя и генерального директора Сэма Альтмана, перестала работать в компании на полную ставку и теперь работает в качестве консультанта. Тем не менее, по словам источников, она участвует в повседневной деятельности за кулисами.

Частые изменения оказывают значительное влияние на моральный дух сотрудников компании, которые, согласно отчету, страдают от чувства выгорания и разочарования. «Существует бурлящее чувство тревоги, что они недостаточно сфокусированы на главном», — сказал источник Financial Times.

Увольнения и внутренние изменения происходят в то время, когда компания готовится к IPO с возможной оценкой в триллион долларов (которое, вероятно, будет отложено с предстоящей осени на начало 2027 года), а также на фоне растущей конкуренции со стороны соперника Anthropic. По данным Financial Times, годовой темп выручки OpenAI в этом месяце достиг 40 миллиардов долларов (рост более чем на 66% по сравнению с концом 2025 года), но компания все еще не догнала годовой темп выручки в 47 миллиардов долларов, зафиксированный Anthropic в мае.