Специалист по безопасности OpenAI Дэвид Робинсон покинул компанию
Дэвид Робинсон, ведущий специалист по безопасности OpenAI, подал в отставку, заявив о разрушенной культуре компании и растущих рисках систем ИИ.
Дэвид Робинсон, давний сотрудник OpenAI, руководивший подготовкой отчетов по безопасности, которые сопровождали ключевые запуски компании, и отвечавший за ее безопасность, объявил об уходе из компании. Он заявил, что ее организационная культура разрушена. В статье, опубликованной в журнале The Atlantic, Робинсон написал, что после трех с половиной лет работы в OpenAI он оказался среди старейших сотрудников компании и назвал себя клише: сотрудником ведущей ИИ-компании, который увольняется и бьет тревогу.
Критика стратегии итеративного развертывания
OpenAI процветала благодаря методу проб и ошибок, который она называет «итеративным развертыванием» — стратегии разработки и выпуска продуктов, при которой не ждут появления идеальной или полностью свободной от риска системы в лаборатории, а ищут проблемы и улучшают защитные механизмы в ответ на них, написал Робинсон. Но такой подход по своей природе гарантирует периодические сбои, и масштаб этих сбоев растет по мере того, как системы становятся все более способными.
Робинсон связал свои утверждения с более широкими дебатами о безопасности ИИ, которые стали главной темой обсуждения после того, как Джейкоб Коксон, исследователь, работавший как в OpenAI, так и в Anthropic, уволился со словами о том, что эти компании играют в рулетку с нашими жизнями. После слов Коксона дискуссия о безопасности ИИ расширилась. Генеральный директор Anthropic Дарио Амодей представил план более осторожной разработки, а руководители сферы ИИ встретились на этой неделе с президентом Дональдом Трампом и подписали то, что было описано как поспешно составленное необязывающее обязательство по внедрению дополнительных средств контроля безопасности.
Проблемы внутри Кремниевой долины
По словам Робинсона, проблема не сводится к конкретным правилам или новым законам, а заключается в общей культуре внутри этих компаний. Хотя многие сообщения об OpenAI были сосредоточены на том, что генеральный директор Сэм Альтман потерял доверие бывших коллег, Робинсон утверждает, что проблемы в культуре OpenAI похожи на проблемы всей Кремниевой долины.
Среда, в которой могут происходить подобные вещи, не является местом для взращивания искусственного разума, который может оказаться умнее нас и, возможно, не станет делать то, чего мы от него хотим, — написал он.
Робинсон сослался, среди прочего, на недавний взлом систем Hugging Face агентами OpenAI, а также на продолжающиеся разоблачения того, что OpenAI обнаруживает все новые неконтролируемые агенты. По его словам, учитывая рост рисков, ведущие ИИ-компании должны начать работать подобно атомным электростанциям или загруженным аэропортам — с многоуровневым резервированием и тщательным, отнимающим много времени планированием, чтобы случайная и неизбежная человеческая ошибка не открыла путь к катастрофе.
Реакция OpenAI и будущие вызовы
В ответ на статью представитель OpenAI Дью Фосатри заявил, что компания продолжает совершенствовать свои меры безопасности.
Мы следим за тем, чтобы наши модели не становились более способными, чем мы можем безопасно контролировать и защищать, и мы приостанавливаем обучение или задерживаем выпуск моделей, когда нам нужно замедлиться, — сказал Фосатри в заявлении.
Помимо призыва к культурным изменениям в OpenAI, Робинсон написал, что пришло время задать более масштабные вопросы об узкой направленности на соответствие человеческим ценностям. По его словам, текущие показатели компаний по проверке соответствия ИИ человеческим ценностям являются грубыми. Чем больше индустрия позволяет моделям расти и становиться умнее, пока эти проблемы остаются нерешенными, тем опаснее становится наша ситуация.
Об уходе Робинсона впервые сообщил Business Insider. В своей статье он признал, что делает шаг, ставший стандартным в методичке информаторов в сфере ИИ: он нанял PR-компанию. Тем не менее, он настаивает: решение высказаться принадлежит только ему.
