Я не тревожусь о том, что машины захватят мир. Меня беспокоит групповое мышление, замкнутость и высокомерие, царящее в сообществе исследователей искусственного интеллекта. Особенно при нынешнем ажиотаже и огромном спросе на специалистов в этой области. Эти вещи уже вызывают проблемы, о которых нам надо начать беспокоиться уже сейчас. Машинное обучение используется для выявления тех, кому кредиты если и можно выдавать, то лишь под более высокие проценты, тех, кто с большей вероятностью совершит преступление, а значит, должен подвергаться более суровому наказанию, тех, кого следует считать террористами и т. д. Некоторые алгоритмы компьютерного зрения, которые, как нам кажется, нормально функционируют, хорошо работают только на людях, имеющих определенную внешность. Нетрудно представить себе, к каким катастрофическими последствиям это может привести в будущем. ИИ работает на очень небольшой сегмент мирового населения. И люди, создающие его, тоже принадлежат к очень незначительному сегменту мирового населения. При этом есть значительные слои населения, которые получают от этого один только вред. Не только потому, что эти алгоритмы работают против них, но и потому, что их рабочие места вытесняются роботами. Эти люди активно отстраняются от работы в высокооплачиваемой сфере, лишаются возможности нормально зарабатывать. Я слышу много разговоров о культурном разнообразии, словно это своего рода благотворительность. Я вижу, как компании и даже отдельные люди пиарятся на этом, но это только слова. Все говорят «мы ценим разнообразие» только потому, что так принято говорить. ИИ нужно рассматривать как систему. А люди, создающие технологию, составляют важную часть системы. Если многие активно исключаются из процесса его создания, значит, эта технология приносит пользу лишь немногим, а большинству идет только во вред.
Этот мини-манифест распространился по всему сообществу исследователей ИИ. В последующие месяцы Гебру создала организацию под названием Black in AI («Черные в сфеере ИИ»). После окончания аспирантуры она получила работу в Google. На очередной – и всех последующих – конференциях NIPS, организация Black in AI проводила свой семинар. Кстати, к тому времени конференции NIPS уже так не назывались. После того как многие ученые заявили, что само это название способствует созданию среды, враждебной по отношению к женщинам, организаторы конференции изменили название на NeurIPS478.[6]
Одной из сотрудниц Гебру была молодая программистка по имени Джой Буоламвини. Аспирантка Массачусетского технологического института в Бостоне, отучившаяся в магистратуре Оксфорда по стипендии Родса, Буоламвини происходила из семьи ученых. Ее отец и дед специализировались на медицинской химии. Она родилась в Эдмонтоне, где ее отец заканчивал работу над диссертацией в аспирантуре, и в детстве побывала везде, куда заносила ее семью научная деятельность, включая лаборатории в Африке и на американском Юге. Когда она в середине 1990-х, еще будучи ученицей начальных классов, посетила лабораторию отца, он упомянул о том, что занимается нейронными сетями для разработки лекарств – но тогда она, разумеется, не могла понять, что это значит. В университете она изучала робототехнику и компьютерное зрение и больше всего интересовалась технологией распознавания лиц – так нейронные сети снова вошли в ее жизнь. В литературе говорилось, что благодаря глубокому обучению технология распознавания лиц достигла стадии зрелости, но, испытав ее в деле, Буоламвини поняла, что это не так. И это стало темой ее диссертации. «Речь в ней шла не только о технологии анализа лиц, но и о методах оценки этой технологии, – говорит она. – По каким критериям мы судим о прогрессе? Кто решает, что такое прогресс? Главная проблема, с которой я столкнулась, заключается в том, что стандарты, мерила, с помощью которых мы определяем степень прогресса, могут вводить в заблуждение, и причина этого заблуждения в том, что в изучаемых нами выборках людей те, кто составляет большинство, оказываются в меньшинстве».
В октябре того же года подруга пригласила ее выбраться на вечер в Бостон в компании еще нескольких женщин. «Маски сделаем», – сказала она. Подруга имела в виду маски для ухода за кожей в спа-салоне, но Буоламвини решила, что речь о масках на Хэллоуин. Поэтому в тот вечер она принесла в свой кабинет белую пластиковую маску для Хэллоуина, которая так и лежала у нее на столе несколько дней, когда она трудилась над одним из своих проектов. Она пыталась заставить систему распознавания лиц узнавать ее собственное лицо, но, как она ни старалась, ничего не получалось. В отчаянии она взяла со стола белую маску и натянула ее на голову. При этом система тут же распознала ее лицо или, по крайней мере, узнала маску. «