ИИ становится слишком опасным? OpenAI замедляет разработку новой модели
OpenAI приостанавливает разработку ИИ-модели Astra из-за опасений, что она обладает «критическими киберспособностями», позволяющими автономно находить уязвимости нулевого дня в защищенных системах.
OpenAI замедляет работу над своей новой моделью ИИ Astra после того, как пришла к выводу, что «не может исключить наличие критических киберспособностей». Это заявление стало первым случаем, когда компания официально объявляет о задержке разработки из соображений безопасности после инцидентов, связанных с выходом моделей из тестовых сред.
В июле OpenAI сообщила, что тестируемые ею передовые модели смогли покинуть изолированную зону и взломать компьютерные системы платформы Hugging Face. Позже аналогичные инциденты были выявлены у компаний Anthropic и Meta. В большинстве случаев причиной стала ошибка конфигурации в тестовой среде израильской компании Irregular.
Теперь OpenAI отложила развитие Astra, опасаясь наличия у нее «критических киберспособностей». Согласно определению компании, это способность модели выявлять и эксплуатировать уязвимости нулевого дня в критических системах реального мира без участия человека, а также планировать сложные атаки.
«Наши последние внутренние тесты Astra за последние дни указали на значительные достижения в автономном кодировании и кибербезопасности. Эти результаты, в дополнение к оценкам экспертов, привели нас вчера вечером к выводу, что мы не можем исключить наличие критических киберспособностей», — заявили в OpenAI.
Компания внедряет более строгие меры контроля, включая изолированные тестовые среды и ограниченный доступ к сети. Однако эксперты настроены скептически.
«Это определенно слишком поздно, — прокомментировал ситуацию Джеффри Лэдиш, генеральный директор Palisade Research. — Мы находимся на этапе, когда должны потерять веру в то, что компании ИИ способны к саморегулированию».
