Создатели искусственного гения. О бунтарях, которые наделили интеллектом Google, Facebook и весь мир

Вскоре Буоламвини занялась сравнением различных практических коммерческих инструментов, позволяющих путем анализа лиц определять такие характеристики человека, как возраст и пол. В числе этих инструментов были системы, разработанные компаниями Microsoft и IBM. В то время как Google и Facebook внедряли свои технологии распознавания лиц в приложения для смартфонов, Microsoft и IBM решили последовать примеру Clarifai, предлагая аналогичные услуги компаниям и правительственным учреждениям. Буоламвини обнаружила, что при анализе фотографий светлокожих мужчин⁴⁷⁹, эти системы допускали ошибки в определении пола только в 1 проценте случаев. Но чем темнее кожа человека на фотографии⁴⁸⁰, тем выше становится вероятность ошибки, и она особенно высока при анализе изображений темнокожих женщин. У системы Microsoft частота ошибок составляла около 21 процента⁴⁸¹, у IBM достигала 35 процентов⁴⁸².

Опубликованные зимой 2018 года, результаты этого исследования подняли мощную кампанию протеста против технологии распознавания лиц и, в частности, против ее использования в правоохранительных органах. Опасность видели том, что эта технология способна ложно классифицировать определенные группы людей как потенциальных преступников. Некоторые исследователи утверждали, что должный контроль за этой технологией невозможен без государственного регулирования. Вскоре у крупных компаний не осталось иного выбора, кроме как прислушаться к этой новой волне общественного мнения. После публикации результатов исследования главный юрисконсульт Microsoft заявил, что компания отказывается от продажи своей системы правоохранительным органам в тех случаях, когда есть опасения, что она может необоснованно нарушать права граждан, и публично призвал к государственному регулированию этой сферы деятельности. В феврале Microsoft поддержала законопроект в штате Вашингтон, который требовал, чтобы в тех общественных местах, где используются технологии распознавания лиц, об этом уведомляли специальные таблички, и чтобы поиск конкретных людей с использованием этих технологий осуществлялся правоохранительными органами только по распоряжению суда. Стоит отметить, что компания не поддержала другие законопроекты, обеспечивавшие гораздо более сильную защиту прав граждан. Но, по крайней мере, отношение к этим вопросам начало меняться.

Дебора Раджи, еще работавшая в Clarifai, обратила внимание на деятельность Буоламвини, посвященную расовым и гендерным предубеждениям, связалась с ней, и они начали сотрудничать. В конце концов Раджи перешла на работу в МТИ. Среди других проектов они начали тестировать систему распознавания лиц от третьего американского технологического гиганта – Amazon. Компания Amazon уже давно вышла за рамки своей основной деятельности – онлайн-ритейла – и стала доминирующим игроком в сфере облачных вычислений и крупным игроком в сфере глубокого обучения. Она также недавно начала продавать правоохранительным органам⁴⁸³ и другим государственным учреждениям свою систему распознавания лиц под названием Amazon Rekognition. В число ее первых клиентов входили управление полиции Орландо во Флориде и офис шерифа округа Вашингтон в Орегоне. Результаты нового исследования, проведенного Буоламвини и Раджи, показали⁴⁸⁴, что у сервиса Amazon также возникли проблемы с определением пола при распознавании женских и темнокожих лиц. Согласно исследованию, система ошибочно принимала женщин за мужчин в 19 процентах случаев⁴⁸⁵, а с темнокожими женщинами ошибки происходили еще чаще: в 31 проценте случаев. В отношении же мужчин со светлой кожей система работала вообще без ошибок.

Но компания Amazon отреагировала на эти публикации не так, как Microsoft и IBM. Она также призвала к большему государственному контролю в области распознавания лиц. Но вместо того, чтобы сотрудничать с авторами исследования Раджи и Буоламвини, она подвергла их нападкам в частных письмах и в публичных блогах. «Если существует беспокойство по поводу новой технологии, то ответ на эту проблему заключается явно не в том, чтобы проводить “испытания”, методика которых несовместима с реальным предназначением данного сервиса, и затем транслировать ложные и вводящие в заблуждение результаты испытаний через средства массовой информации», – написал один из руководителей Amazon Мэтью Вуд в блоге⁴⁸⁶, оспаривая и сами результаты исследования, и статью в Times, рассказывающую о них. Вся его реакция была продуктом укоренившейся в Amazon корпоративной философии. Компания настаивала на том, что никакие голоса извне не способны поколебать их собственные убеждения и установки. Но, отмахиваясь от результатов исследования, Amazon одновременно отмахивалась и от самой, реально существующей, проблемы. «Я так поняла, что если у вас есть триллион долларов, то правда вам не нужна, – говорит Буоламвини. – Вам на все плевать. Как вы скажете, так и будет».

* * *