Broken Code: Inside Facebook and the Fight to Expose Its Harmful Secrets

В конце игры в Meaningful Social Interaction готовилось еще одно значительное изменение. Хотя сотрудники Civic сначала предупреждали, а затем документально подтвердили, что акцент MSI на комментариях и повторных публикациях поощряет гнев в политике, Facebook мало что сделал для решения этой проблемы за два с половиной года, прошедшие с тех пор. Но в сентябре компания неожиданно согласилась с давней рекомендацией Civic уменьшить вознаграждение за размещение контента, приводящего зрителей в ярость. Отныне алгоритм перестанет рассматривать эмодзи гнева как основание для усиления поста. Facebook также планирует перестать рассматривать комментарии с издевками как положительный сигнал распространения.

Это была большая победа для Civic и команды Integrity Ranking, хотя и с небольшим опозданием. Правильная перестройка рекомендательных систем News Feed для снижения вирусности "контента, вызывающего гнев", заняла бы недели, а этого времени у компании уже не было. А пока Facebook навязывает быструю и грязную версию, просто изменяя результаты работы системы.

" Этот запуск временный, пока не будут обновлены основные модели", - отметил автор сентябрьского документа, описывающего последствия изменения рейтинга. Но даже такое небрежное решение привело бы к значительному сокращению дезинформации и подстрекательства к насилию. (Позднее Facebook будет утверждать, что это изменение не оказало существенного влияния, хотя компания и сохранила его в силе).

Внезапный шквал одобрений на поздних стадиях для давно отложенных проектов по обеспечению честности оправдывает ощущение, что где-то далеко над Civic люди в корпоративной иерархии начинают нервничать. Но именно меры, которые, как надеялись в Facebook, не потребуются, наиболее наглядно продемонстрировали, что компания готовится к возможной аварийной посадке на выборах.

Несмотря на то, что компания начала работу над созданием мероприятий Break the Glass в США, работа была направлена на менее развитые страны. Многие из них, такие как агрессивное ограничение повторного обмена сообщениями, воздержание от рекомендации вновь созданных групп и наказание за распространение пользователей, неоднократно размещавших ложную информацию, начинались как предложения по постоянному улучшению целостности всей платформы, которые были отклонены на основании того, что они снижали вовлеченность или считались неприемлемыми командой общественной политики, ориентированной на США. Для крупных рынков эти предложения оказались в конце пути.

Однако в странах риска эти отброшенные рычаги честности получили потенциальную жизнь. Не имея возможности полагаться на классификаторы и обладая ограниченными возможностями для проверки контента на таких языках, как бирманский, тамильский или оромо, Facebook был готов изменить свою механику таким образом, что на родине это было невозможно.

Многие из инструментов, которые были внедрены на этих рынках, подозрительно напоминали те, которые KX Jin призвал компанию применить по всему миру годом ранее. Эти меры в гораздо меньшей степени опирались на искусственный интеллект и в гораздо большей - на трение, делая платформу более стабильной в тех случаях, когда не требовалась модерация. Они замедлили распространение вирусного контента, заменив его материалами, размещенными непосредственно друзьями пользователя. Они ограничили скорость роста групп Facebook, ограничили рекомендации контента из недавно созданных источников и ограничили комментирование постов, которые, как казалось, вызывали много ненависти. Кроме того, было проведено агрессивное ранжирование. Классификаторы становились в геометрической прогрессии эффективнее, если вы были готовы сильно понизить рейтинг поста, который имел шансы пятьдесят на пятьдесят оказаться проблемным, хотя многие из самых мощных шагов этого не требовали.

Первое крупномасштабное применение мер "Разбей стекло" - сокращенно БСГ - произошло в Мьянме, где в 2018 году компания с запозданием бросила все силы на сдерживание продолжающегося насилия против рохинджа, поддерживаемого государством . В следующий раз BTG были применены в Шри-Ланке на Пасху 2019 года, когда разрушительные атаки террористов-смертников, вдохновленных ИГИЛ, на церкви и отели грозили привести к началу более масштабного насилия.

"Мы пытались сделать взрывы в Шри-Ланке большим обучающим событием, - вспоминает один из сотрудников ARC. Поначалу было сложно определить, насколько эффективны те или иные меры, поскольку проводить A/B-тесты в чрезвычайных ситуациях было неэтично. Но позже команда смогла провести чистые тесты, определив, что самые мощные инструменты связаны с ранжированием контента. "Мы стали получать от гражданского общества сообщения о том, что это спасает жизни".