Отчет KPMG об ИИ оказался полон вымышленных данных и фальшивых источников

Международная аудиторско-консалтинговая фирма KPMG, входящая в «большую четверку» крупнейших компаний мира, оказалась в центре серьезного скандала. Отчет, опубликованный компанией в октябре прошлого года под названием «Total Experience: Redefining Excellence in the Age of Agentic AI» и посвященный внедрению ИИ в бизнес-процессы, оказался наполнен «галлюцинациями», вымышленными примерами и фальшивыми сносками.

Проблемы в документе выявили исследователи из компании GPTZero, разрабатывающей инструменты для обнаружения контента, созданного ИИ. Их выводы были независимо подтверждены газетой Financial Times. Согласно результатам расследования, отчет продемонстрировал крайне низкий уровень достоверности: из 45 цитат и сносок лишь пять отсылали к реальным источникам. Около 28 цитат представляли собой искаженные заголовки или содержали вымышленные детали, добавленные к существующим материалам, а еще 12 источников оказались полностью сфабрикованными. В GPTZero этот феномен назвали «цитированием по ощущениям» (Vibe Citing).

Исследователи также обнаружили, что около половины утверждений в отчете были либо полностью выдуманы, либо приписаны не тем компаниям. По мнению экспертов, это стало результатом работы ИИ-инструмента, который «слишком старался» найти примеры использования агентного ИИ в реальных условиях.

Отчет KPMG содержал ряд историй успеха, оказавшихся плодом воображения модели:

• В документе утверждалось, что авиакомпания Emirates запустила чат-бот «Сара» для изменения деталей рейсов. В реальности «Сара» — это стандартный цифровой помощник, запущенный в 2023 году, не обладающий функциями ИИ-чат-бота и возможностью менять бронирования.

• Инвестиционному банку UBS приписали внедрение агентного ИИ в системы консультирования и управления рисками. В банке заявили, что эта информация «фактически неверна».

• Швейцарским федеральным железным дорогам приписали использование ИИ-агентов для планирования поездок, что представитель компании также назвал неточным.

Аналитические отчеты фирм «большой четверки» традиционно считаются авторитетными источниками, на которые ссылаются в академических и журналистских работах. Генеральный директор GPTZero Эдвард Тиан предупредил, что подобные публикации могут «отравить колодец информации», провоцируя распространение «галлюцинаций из вторых рук», когда вымышленные данные начинают цитироваться как достоверные факты.

В ответ на запрос Financial Times представитель KPMG заявил, что компания «очень серьезно относится к точности и добросовестности» своего контента. В настоящее время отчет удален с официального сайта KPMG, а руководство компании проводит внутреннюю проверку обстоятельств его публикации.