Власть роботов. Как подготовиться к неизбежному

Еще выше ставки при применении систем машинного обучения в сфере уголовного судопроизводства. Подобные алгоритмы часто используются как подспорье при принятии решений об освобождении под залог, условно-досрочном освобождении или при вынесении приговора. Некоторые из них создаются по заказу руководства штата или местных властей, другие разрабатываются и продаются частными компаниями. В мае 2016 года организация Propublica опубликовала анализ алгоритма COMPAS, широко использовавшегося для оценки вероятности повторного нарушения закона человеком после освобождения[316]. Судя по результатам анализа, афроамериканцам несправедливо присваивали более высокий уровень риска, чем белым. Этот вывод подкрепляется множеством примеров. В статье Propublica приводилась история 18-летней чернокожей, которая хотела прокатиться на чужом детском велосипеде, но бросила его после требования владельца. Иными словами, это было озорство, а не настоящая попытка совершить кражу. Тем не менее девушку арестовали, отправили в тюрьму до решения суда и применили к данным о ее проступке систему COMPAS. Алгоритм оценил риск ее превращения в рецидивистку значительно выше, чем у белого 41-летнего мужчины, ранее судимого за вооруженное ограбление и отсидевшего пять лет в тюрьме[317]. Компания Northpoint, Inc., которая продает систему COMPAS, ставит под сомнение проведенный Propublica анализ, и вопрос о реальной степени предвзятости системы остается дискуссионным. Особое беспокойство, однако, вызывает нежелание компании раскрыть особенности работы своего алгоритма на том основании, что она считает эту информацию проприетарной. Иными словами, невозможен независимый детальный аудит системы в отношении предвзятости или точности. Хотя, казалось бы, если алгоритмы используются для принятия решений, имеющих исключительное значение для жизни человека, прозрачности и контроля должно быть больше.

Предвзятость обучающих выборок — самая распространенная, но не единственная причина несправедливости систем машинного обучения. Структура самих алгоритмов может вести к предвзятости и усиливать ее. Представьте, например, что система распознавания лиц была обучена на выборке, точно воспроизводящей демографический состав населения США. Поскольку афроамериканцы составляют лишь около 13 % населения, результатом может стать система, предвзято оценивающая чернокожих. Степень необъективности, то есть насколько проблема будет усиливаться или смягчаться, зависит от технических решений, принятых при разработке алгоритма.

К счастью, необходимость сделать системы машинного обучения справедливыми и прозрачными оказалась в центре внимания исследований ИИ. Все ведущие технологические компании вкладывают в это значительные средства. Google, Facebook, Microsoft и IBM выпустили программные инструменты, помогающие разработчикам обеспечивать непредвзятость алгоритмов машинного обучения. Сделать системы глубокого обучения объяснимыми и прозрачными, позволяющими проверять результаты их применения, очень непросто, поскольку глубокие нейронные сети — своего рода черные ящики, в которых анализ и понимание входных данных распределены среди миллионов связей между искусственными нейронами. Аналогично очень сложной задачей, требующей высокого уровня технических знаний, является оценка и обеспечение справедливости выводов этих сетей. Как убедилась Amazon на примере своей системы сортировки резюме, просто настроить алгоритм так, чтобы он игнорировал такие параметры, как раса или пол, недостаточно, поскольку система может сосредоточиться на заменителях этих характеристик. Например, имя претендента может указывать на гендерную принадлежность, а домашний адрес или индекс — на расу. Очень многообещающий метод обеспечения справедливости при применении ИИ заключается в использовании альтернативных сценариев. В ходе проверки по этому методу система должна выдавать одинаковые результаты при изменении значений таких чувствительных переменных, как раса, пол или сексуальная ориентация. Однако исследования в этой области едва начаты, и предстоит еще очень многое сделать, чтобы разработать подход, устойчиво обеспечивающий подлинную беспристрастность систем машинного обучения.

Наиболее заманчивым с точки зрения использования ИИ при принятии очень ответственных решений было бы появление технологии, стабильно менее предвзятой и более точной, чем суждение людей. Хотя избавить алгоритмы от предвзятости — нелегкая задача, это почти всегда проще, чем сделать непредубежденным человека. Как сказал в разговоре со мной Джеймс Маника, председатель совета директоров McKinsey Global Institute, «с одной стороны, машинные системы способны помочь нам преодолеть собственную предвзятость и склонность к ошибкам, а с другой — им самим могут сопутствовать еще большие риски»[318]. Свести к минимуму или устранить проблему несправедливости — одна из важнейших и срочных задач в области искусственного интеллекта.