«Запустил и забыл»: почему вы продолжаете платить за инструменты ИИ, которые вам не помогают?

Детектор дыма на потолке вашего офиса никогда не издавал звуков. Это не доказательство того, что он работает. Это ровно то же наблюдение, которое вы получили бы, если бы его батарейка села год назад. Разница между ними заключается не в детекторе, а в вопросе о том, проверял ли его кто-то в последнее время и когда именно.

Так сегодня выглядит измерение использования искусственного интеллекта (ИИ) в большинстве организаций, в которые я прихожу. Есть инструменты, есть подписки, есть сотрудники, которые ими пользуются, но нет никого, кто мог бы сказать, что изменилось. Когда я спрашиваю руководителей, как они узнают, что внедрение сработало, самый частый ответ — никто не жалуется.

Вот пять вопросов, которые стоит задать себе каждому руководителю, чтобы перестать гадать:

1. Как выглядит мнимый успех?

Он выглядит спокойно. Нет сбоев, нет сопротивления, нет ничего, о чем нужно докладывать наверх. Проблема в том, что именно так выглядит и инструмент, который был тихо отключен два месяца назад, а также процесс, который сотрудники обходят, потому что им проще без него. Тишина — это не данные, тишина — это отсутствие данных, и это две совершенно разные вещи. Это особенно заметно в профессиях, где продуктом является документ — бухгалтерские фирмы, адвокаты или финансовые отделы. Там сложнее всего увидеть провал, потому что документ в любом случае продолжает выходить. Вопрос о том, вышел ли он быстрее или качественнее, почти никогда не задается.

1. Так что же на самом деле измеряют?

Не общую экономию времени, потому что никто ее на самом деле не считает. Определите один узкий и четкий показатель: сколько времени сегодня занимает задача, сколько раз в неделю открывается инструмент или что происходит, когда перестают использовать его на два дня? Если можно прекратить использование инструмента на два дня и никто не почувствует его отсутствия, вы получили полный ответ о его ценности.

1. Что сотрудник должен с этим делать?

Не фиксировать часы и не заполнять формы. Сотрудник — единственный, кто знает, экономит ли ему инструмент время или добавляет лишний этап. Единственный вопрос, который стоит ему задать — что бы он попросил вернуть, если бы у него завтра забрали этот инструмент. Мгновенный ответ означает, что инструмент вошел в работу. Колебание означает, что он просто присутствует, не более того.

1. С чего начать завтра утром?

Начните со списка: откройте таблицу и добавьте каждый инструмент ИИ, за который организация платит, рядом с задачей, которую он должен обслуживать, и человеком, который за него отвечает. Пустые ячейки — это и есть ответ. В каждом бизнесе, с которым я работал в последний год, я находил несколько инструментов, которые никто никогда не решал закрыть, их просто перестали проверять, и о них забыли.

Я говорю это и о себе. У меня есть автоматические проверки, которые должны оповещать мой бизнес, когда что-то ломается. Когда я просмотрел их, я обнаружил, что две из них сообщали, что все «в порядке» целыми неделями по инструментам, которые уже были отменены. Они мне не лгали. Просто никто ничего у них не спрашивал, поэтому они продолжали возвращать последний ответ, который знали.

1. Когда проверять снова?

Это вопрос, который легче всего пропустить, потому что после одной проверки кажется, что мы закрыли тему. На практике инструмент, проверенный один раз, возвращается в состояние, с которого мы начали: он работает, пока не перестанет, без того, чтобы кто-то знал когда. Назначьте дату в календаре, на квартал вперед, чтобы пройтись по тому же списку. Проверка без даты следующей проверки — это не проверка, а хорошее ощущение.

Одна проверка стоит вам полчаса. Избегание ее стоит вам целого года повторяющихся списаний и ложной уверенности в том, что все в порядке. В следующий раз, когда вы посмотрите на отчет о расходах, содержащий ваши подписки, спросите себя: что из этого действительно работает, а что просто молчит?

Ноам Коэн — основатель CritiqeIL, консалтинговой компании по внедрению ИИ для организаций в Израиле.