Broken Code: Inside Facebook and the Fight to Expose Its Harmful Secrets

В итоге Facebook нанял своего первого бирманского контент-менеджера , чтобы решать любые вопросы, возникающие в стране с населением более 50 миллионов человек в 2015 году, и выпустил пакет цветочных стикеров, пропагандирующих мир, для бирманских пользователей, чтобы они могли клеить их на ненавистные сообщения. (Позже компания отметила, что эти стикеры появились в результате обсуждения с некоммерческими организациями и были "широко отмечены группами гражданского общества в то время"). В то же время компания заключила сделки с телекоммуникационными провайдерами, чтобы предоставить бирманским пользователям бесплатный доступ к Facebook.

Первая волна этнических чисток началась в том же году, когда лидеры вооруженных сил страны объявили в Facebook, что будут "решать проблему" мусульманского меньшинства страны. Последовала вторая волна насилия, и в итоге 25 000 человек были убиты военными и буддийскими дружинниками, 700 000 были вынуждены покинуть свои дома, а еще тысячи были изнасилованы и ранены. ООН назвала насилие геноцидом.

Facebook по-прежнему не реагировал. По собственному почину команда Гомеса-Урибе по обеспечению целостности новостной ленты начала собирать примеры того, как платформа массово распространяет заявления, подстрекающие к насилию. Даже без знания бирманского языка это было несложно. Поток ненависти и лжи против рохинджа, исходящий от бирманских военных, правительственных чиновников и монахов, разжигающих рознь, был не просто подавляющим, но и чрезвычайно успешным.

Это была исследовательская работа, не предусмотренная полугодовым планом команды Integrity Ranking. Когда Гомес-Урибе, вместе с Макнелли и другими, потребовали перераспределить сотрудников, чтобы лучше понять масштабы проблемы Facebook в Мьянме, они были отклонены.

Нам сказали "нет", - вспоминает Гомес-Урибе. "Было ясно, что руководство не хочет разбираться в этом глубже".

Все изменилось, как это часто бывает, когда роль Facebook в решении проблемы стала достоянием общественности. Через пару недель после того, как разразилось сильнейшее насилие, международная правозащитная организация осудила Facebook за бездействие. Через семьдесят два часа команду Гомеса-Урибе срочно попросили разобраться в происходящем.

Когда все закончилось, халатность Facebook стала очевидной. В докладе ООН говорилось, что "реакция Facebook была медленной и неэффективной", а внешний консультант по правам человека, которого нанял Facebook , в итоге пришел к выводу, что платформа " стала средством для тех, кто стремится распространять ненависть и причинять вред".

Принеся ряд извинений, компания признала, что спала за рулем, и пообещала нанять больше сотрудников, способных говорить по-бирмански. Осталось невысказанным, почему компания допустила ошибку. Правда заключалась в том, что она не имела ни малейшего представления о том, что происходит на ее платформе в большинстве стран.

Facebook не инвестировал в людей, которые могли бы говорить на разных языках мира, и это усугублялось системой классификаторов компании. Для некоторых проблем, таких как обнаженная натура или порнография, Facebook мог использовать один и тот же классификатор во всем мире - фотографии членов и обезглавливания, увы, универсальны. Но для таких социально значимых проблем, как разжигание ненависти и подстрекательство, алгоритмы не работали. Для каждого языка и диалекта, в котором Facebook хотел преуспеть, ему пришлось бы создавать отдельные алгоритмы.

При наличии более 7000 признанных языков во всем мире математика была не на стороне Facebook. Даже если компания отбрасывала все, на чем говорит менее 10 миллионов человек, это оставляло более ста языков в резерве. Независимо от ресурсов Facebook, создание классификаторов для такого количества языков - не говоря уже о хороших классификаторах - не представлялось возможным. Каждый новый язык требовал глубокого культурного контекста, машинного обучения и регулярного обновления. Когда в группу безопасности Facebook обратились правозащитники, предупреждавшие о грядущей катастрофе в Мьянме, они не то чтобы не поверили им. Дело было в том, что их предупреждали о надвигающейся катастрофе в десятках стран, о которых компания мало что знала. Они не могли отличить настоящие тревоги от ложных.

Макнелли, который пришел в компанию после окончания первой волны этнических чисток и незадолго до начала второй, назвал это провалом в понимании. "Facebook сделал в Мьянме то же самое, что и в любой другой стране - все, что, по мнению модели, понравится пользователям и чем они будут делиться, будет возвращено им", - сказал Макнелли. "Отличие в том, что люди, распространяющие дезинформацию, были представителями истеблишмента. Если большинство решает преследовать меньшинство на платформе, основанной на популярности, большинство побеждает".