Искусственный интеллект

У каждого из этих людей был собственный прогностический рейтинг ареста – знакомо по фильмам, верно? У Борден он был высоким, поскольку она чернокожая. А у Пратера – низким, поскольку он белый. COMPAS, алгоритм анализа риска, попытался спрогнозировать, какова вероятность рецидивного поведения и повторного совершения правонарушений у задержанных. Northpointe, создатель COMPAS, – одна из многих компаний, стремящихся улучшить практики поддержания общественного порядка посредством количественных методов. Это не какое-то злое намерение; в большинстве из этих компаний работают благонамеренные криминалисты, верящие в то, что они действуют в рамках научных представлений о преступном поведении и подкрепляют свою работу данными. Разработчики и криминалисты системы COMPAS действительно верили, что, внедряя математическую формулу в процесс оценки вероятности совершения повторного преступления, они делают благое дело. «На фоне только лишь субъективных суждений объективные и стандартизированные инструменты являются наиболее эффективными методами определения мер, которые следует применять к каждому конкретному заключенному» – читаем в справке к системе COMPAS от 2009 г. из Калифорнийского отделения реабилитации и коррекции.

Проблема заключается в том, что математика не работает. «У чернокожих подсудимых по-прежнему было 77 % риска совершения жестокого преступления и 45 % риска совершения любого другого преступления», – продолжает Ангвин. ProPublica также опубликовала данные, использованные для анализа. Что хорошо, поскольку этот акт способствовал прозрачности системы правосудия; другие люди могли скачать их, поработать с ними и самостоятельно верифицировать проделанную издательством работу. А сама история спровоцировала бурю внутри сообщества профессионалов ИИ и машинного обучения. Последовал шквал обсуждений – в вежливой академическое форме, то есть люди писали много докладов и публиковали их онлайн. Один из наиболее важных докладов вышел под авторством Джона Клейнберга, профессора теории вычислительных машин Корнеллского университета, Маниша Рагхавана, выпускника Корнелла, и Сендхилла Муллэнатана, профессора экономики из Гарварда. Авторы, воспользовавшись математическим аппаратом, доказали, что система COMPAS не может одинаково справедливо оценивать чернокожих и белых. Ангвин пишет: «Они выяснили, что прогностический рейтинг риска может быть либо одинаково верен, либо одинаково неверен по отношению ко всем расам – но не к обеим. Разница заключалась в частоте новых обвинительных приговоров по отношению к черным и белым. “Если у вас два типа населения с изначально разными рейтингами, – сказал Клейнберг, – невозможно равнозначно удовлетворить оба определения справедливости”»[136].

Короче, алгоритмы не работают объективно, поскольку люди внедрили в них свои стереотипы. Техношовинизм заставляет людей думать, что математические формулы, лежащие в основе программного кода, каким-то образом более справедливы в решении социальных проблемы – но это не так.

Данные системы основаны на анкете из 137 пунктов, которая заполняется во время теста. Результаты фиксируются в линейном уравнении – вроде тех, что вы решали в школе. Затем идентифицируется семь криминогенных потребностей или факторов риска. Среди них «образовательно-профессионально-финансовые дефициты и навыки достижения результата», «антисоциальные или криминальные контакты» и «семейно-брачнодисфункциональные отношения». Все эти характеристики – следствие бедности. А это уже что-то совершенно бредовое.

А тот факт, что в компании Northpointe никто не задумывался о том, что в анкете или результатах есть какие-либо предрассудки, напрямую связан с техношовинистским взглядом на мир. Те, кто верит, что математика и вычислительные мощности «объективны» или «честнее», вероятнее всего, убеждены, что неравенство и расизм можно буквально стереть одним кликом. Они воображают, будто цифровой мир другой, лучше реального и посредством превращения процессов принятия решений в вычисления можно сделать мир рациональнее. В небольших командах близких по духу людей такой тип мышления может показаться нормальным. При этом он не способствует равенству и справедливости.