Broken Code: Inside Facebook and the Fight to Expose Its Harmful Secrets

Работа по предотвращению дальнейшего насилия была разделена между командой McNally's News Feed Integrity и командой Civic, которая выделила специальных сотрудников для наведения порядка на платформе в Мьянме и, в идеале, предотвращения следующего подобного инцидента в других местах. Чакрабарти сказал своей команде, что его инструкции от руководства сводятся к "Делайте то, что нужно".

Система, доставшаяся Сивику в наследство, была позорной. Классификаторы, необходимые для определения того, какой контент поддерживает политическое насилие, были грубыми или вовсе отсутствовали, а техническая слабость бирманской системы отчетов пользователей Facebook означала, что рецензенты могли увидеть посты, отмеченные как разжигающие ненависть, только после двадцатичетырехчасовой задержки. Когда же контент все же просматривался, то зачастую людьми, которые его не понимали. "Перевод Google на бирманский нечитаем", - заметил один из участников.

Civic приступила к работе. Они начали систематически удалять посты пользователей, которые неоднократно нарушали стандарты сообщества Facebook, и создали систему, которая не позволяла сомнительным пользователям появляться в рекомендациях друзей. Они снизили уровень доверия, которого должны были достичь классификаторы Facebook, чтобы удалить контент, и начали создавать "Зеленый фонарь" - самообучающийся алгоритм, который определял вариации ругательств и слова, которые использовались как синонимы запрещенной лексики.

Facebook предпринял последнее действие. Она прекратила субсидирование телекоммуникаций, благодаря которому использование Facebook в Мьянме было бесплатным. Компания была так близка к тому, чтобы признать, что ее продукт не всегда стоит общественных затрат.

У Facebook хватило ума понять, что Мьянма вряд ли будет единичным случаем и что подобные инструменты понадобятся ей снова. По настоянию Чакрабарти и Макнелли компания создала новую команду для работы со "Странами риска", или ARC. Никто никогда не уточнял, чем именно они рискуют, но критерии были очевидны. Чтобы получить статус "Страны риска", страна должна была иметь историю насилия, потенциальный триггер для будущего конфликта, например предстоящие выборы, и высокий уровень проникновения Facebook на рынок. Другими словами, этот статус был зарезервирован для мест, где продукты Facebook могли бы стать причиной геноцида или гражданской войны или усугубить их.

Причисление страны к "группе риска" давало ей шанс получить мониторинг , защиту безопасности и инженерные работы сверх того, что могло бы оправдать ее стратегическое значение для Facebook. С точки зрения бизнеса, у Facebook не было причин обращать внимание на такие страны, как Мьянма или Шри-Ланка, но с точки зрения гуманности и потенциального репутационного ущерба они выглядели более значительными.

Команда Civic, которой было поручено заниматься ARC, была разделена на тех, кто стремился изучить и предсказать обстоятельства, при которых Facebook может быть использован не по назначению, и тех, чьей задачей было разработать инструменты для предотвращения этого. Команда никогда не была огромной - несколько десятков сотрудников на пике своей деятельности, - но в итоге она сыграла огромную роль в создании более широкой защиты компании от дезинформации и языка ненависти. Привлеченная для разрешения кризиса за кризисом, команда смогла экспериментировать с мерами, выходящими за рамки обычной программы действий Facebook.

Со временем они создали библиотеку из десятков готовых изменений, которые стали известны как меры "Разбить стекло", с такими техническими названиями, как "PL7", "PE2" и "P50 Sigmoid Demotion". Некоторые из них были простыми изменениями, которые устанавливали более строгие правила, чем те, которые обычно регулировали платформу. Другие были "выключателями" для конкретных функций продукта, которые, как известно, имели хронические проблемы с целостностью, например групповые рекомендации. Самые агрессивные вмешательства в корне меняли механику Facebook так, как компания не применяла даже в кризисных ситуациях. (Негипотетический пример: если вы когда-нибудь зайдете на платформу и обнаружите, что Facebook намеренно отключил содержимое новостной ленты, за исключением сообщений от ваших ближайших друзей, можно с уверенностью сказать, что многие люди умрут).

Самая сильная сторона команды ARC заключалась в том, что никому не было дела до того, чем она занимается. Страны, на которые она ориентировалась, считались практически несущественными в политическом и коммерческом плане, а забота команды по вопросам государственной политики сводилась к пожеланию, чтобы они не создавали проблем. "Джоэла волновали четыре места: США, Европа, Индия и Израиль", - сказал один из бывших членов его команды. (Представитель компании опроверг эту характеристику, заявив, что Каплан много ездил за границу).