ИИ — это голем нашего поколения

Человечество уже давно не просто «взволновано» или «воображает» будущее — мы глубоко внутри него. Алгоритмические системы и модели искусственного интеллекта (ИИ) фактически управляют нашими самыми чувствительными процессами принятия решений. Проблема в том, что обещание эффективности и слепой автоматизации снова и снова сталкивается с реальностью: эти системы не застрахованы от ошибок, и они выносят на поверхность глубинные предвзятости тех, кто их обучал. Поэтому задача сегодня — не просто внедрить ИИ, а убедиться, что вокруг него существует серьезный человеческий контроль, способный вовремя распознать предвзятость и не дать ей превратиться в решения, влияющие на жизнь каждого из нас.

Проще говоря, люди, которые уже находятся в хорошей стартовой позиции, получат еще больше возможностей, а те, кому и так трудно попасть в систему, останутся снаружи. Не потому, что они менее талантливы, надежны или достойны, а потому, что система научилась определять «успех» по старым шаблонам, на которых ее тренировали. Та же ошибка, но на сверхскорости.

Генеральный директор компании цифровых услуг сказал мне на этой неделе: «Создай мне ИИ-агента для фильтрации обращений клиентов или кандидатов. У нас тысячи обращений в месяц, небольшая команда, которая рушится под нагрузкой, и пришло время использовать этих агентов, о которых все говорят, чтобы продвинуться к 2026 году». Вполне логичная просьба. «На чем мы его обучим?» — спросила я. «На наших данных за последние десять лет. Пусть выучит всех, кто преуспел у нас до сегодняшнего дня». Я открыла его исторические данные на большом экране и попросила посмотреть вместе со мной: тот же человеческий профиль, тот же социальный бэкграунд, тот же путь в точности. «Ты видишь, кого вы одобряли в последнее десятилетие? Это именно то, чему научатся ваши новые системы». Он замолчал. А потом произнес фразу, из-за которой я пишу эту колонку: «Значит, по сути, она будет делать то, что мы делали всегда. Только быстрее». Быстрее, да. Но не обязательно справедливо.

Тест Workday

Дерек Мобли из США, чернокожий мужчина в возрасте 40 с лишним лет с инвалидностью, отправил резюме на более чем 100 вакансий и получил отказ по всем. После этой череды отказов он понял: ему отказывали не потому, что он не подходит, а потому, что кто-то или что-то в системе просто не хочет его видеть. Большой ущерб заключается в том, что предвзятость становится все более тихой по мере совершенствования систем. Раньше можно было выявить проблемное решение у менеджера или рекрутера. Сегодня оно может появиться как рейтинг, рекомендация или автоматический отказ. Это выглядит технически, но влияние — социальное.

Он подал прецедентный иск против Workday, гиганта программного обеспечения для управления персоналом, утверждая, что их алгоритм переводит данные, кажущиеся невинными, в дискриминационные признаки и отсеивает кандидатов на основе расы, пола и возраста. Окружной судья в Калифорнии отказалась отклонить иск, создав прецедент: такие компании, как Workday, могут нести прямую юридическую ответственность, если их инструменты создают дискриминацию. «Компьютер виноват» больше не сможет служить оправданием для отсутствия контроля над умными системами.

Ситуация в Израиле

Возвращаясь к израильским реалиям: когда речь идет о фильтрации резюме, мы привыкли представлять себе менеджера по персоналу, который смотрит на адрес, университет или воинскую часть. Это важно — иметь возможность знать, кто именно отсеивает наши возможности заработка, и иметь адрес, куда жаловаться. Сегодня менеджер с кофе начинает исчезать, уступая место ИИ-системам. Они сортируют резюме, рассчитывают риски по кредитам и решают, чья заявка будет проверена. Это эффективно, но проблема в том, что эти системы учатся на нашем прошлом, а израильское прошлое полно «срезанных углов».

У нас есть своя дискриминация, накапливавшаяся годами: воинская часть, район, школа, фамилия, связи родителей. Израильский хайтек любит рассказывать историю о месте совершенства, где продвигается только тот, кто блестящ. Но каждый, кто видел, как рекрутер читает резюме, знает о «скрытом тексте»: где служил, где учился, кто рекомендовал. И если там нет правильных слов, это что-то значит. ИИ-система, обученная на этих данных, находит этот паттерн через «косвенные переменные» (Proxy). Система не знает, мужчина кандидат или женщина, но делает вывод из учебного заведения, хобби или формулировок. В долю секунды вы заперты в статистической ячейке, не зная, почему вас отсеяли.

Правовая ситуация в Израиле запрещает дискриминацию (на основании Закона о равных возможностях при трудоустройстве), но на сегодняшний день нет специфического регулирования или механизмов контроля со стороны государства за алгоритмами, фильтрующими резюме. Искусственный интеллект может избавиться от человеческих глупостей вроде плохого настроения или антипатии, но он не умеет избавляться от статистических обобщений. Возможно, система точна, и в данных компании люди, прошедшие определенный путь, действительно преуспели больше. Но что насчет тех, кто никогда не получал шанса войти на этот путь?

Что делать?

Не нужно переставать использовать ИИ, но нужно перестать относиться к нему как к инструменту, нейтральному по самому факту своего существования. Вот три простых шага:

Каждая организация должна иметь персонал, способный объяснить причину отказа. У заявителей должен быть адрес, где они получат фактическую причину, а не туманный ответ «система определила».
Внешний орган, регулятор или суд должен иметь право протестировать систему на тестовых данных и увидеть результаты.
Необходим четкий закон: компания, управляющая системой, обязана доказать, что она не дискриминирует. Не человек должен доказывать свою правоту, а система — свою объективность.

В конце концов, ИИ — это голем нашего поколения. В легенде из Праги, когда голем вышел из-под контроля, ему стерли одну букву со лба, и «истина» (эмет) превратилась в «мертв» (мет). У нас процесс обратный: мы высекли ему «истина» на лбу, не проверив, какую именно истину он выучил от нас.