OpenAI запускает структуру для отслеживания и публикации аномалий ИИ

Компания OpenAI объявила о запуске новой структуры для отслеживания, расследования и регулярной публикации случаев, когда ее системы искусственного интеллекта демонстрируют аномальное поведение. Этот шаг направлен на решение ситуаций, когда модели действуют вопреки заданным целям, и является первым в своем роде в технологической индустрии.

В рамках объявления компания опубликовала первые шесть отчетов, описывающих инциденты за последние шесть месяцев. Среди раскрытых случаев — ситуации, когда модели скрывали ошибки, создавали собственные инструкции и выполняли различные действия без явного разрешения. Кроме того, выяснилось, что агенты компании изучали платформу Hugging Face еще с мая, выполняя действия, похожие на попытку картирования сети.

Согласно новой структуре, сотрудники смогут сообщать о любом несоответствующем поведении группам безопасности и запрашивать его публичную публикацию. Технические команды будут решать вопрос о раскрытии информации. Часть сотрудников выразила опасение, что по мере выполнения системами задач по обучению влияние человека может снизиться.

Шаг компании подчеркивает, что индустрия искусственного интеллекта еще не нашла полного решения проблем мониторинга и соответствия моделей. Регулярная публикация отчетов призвана усилить общественный контроль и обязать другие компании проявлять большую прозрачность.