Broken Code: Inside Facebook and the Fight to Expose Its Harmful Secrets

Для людей с инженерным образованием такая рутинная онлайн-гигиена не казалась демонстрацией искушенности. Однако это были навыки. Выбор, который делали пользователи, не только ограничивал то, что Facebook показывал им в ленте новостей. Он ограничивал и то, что платформа показывала их связям. Наличие обеспеченных друзей побеждало даже самый лучший классификатор дезинформации, когда дело доходило до того, что теории заговора не попадали в ленту.

Как и все формы стадного иммунитета, защита не была идеальной. У каждого есть дядя или друг детства, который может перепостить безумные вещи и клюнуть на приманку для вовлечения. Но защитный эффект от наличия образованных, подкованных в Интернете друзей помог объяснить, почему высшее руководство компании с удивлением обнаружило, что македонские тролль-фермы производят лучший предвыборный контент на платформе. Пожары, вспыхивающие на нижних этажах Facebook, должны были превратиться в полномасштабные инферно, прежде чем обитатели пентхаусов почувствовали запах дыма.

Facebook платила своим добросовестным сотрудникам за то, чтобы они следили за проблемами, но даже профессиональные наблюдатели были застигнуты врасплох на таких рынках, как Индия. В преддверии выборов в Индии в 2019 году компания направила в страну исследователей пользовательского опыта, чтобы они проверили пульс индийцев на Facebook, в том числе исследователя, который описал неприятные тенденции рекомендательных систем Facebook в книге "Путешествие Кэрол в QAnon".

Исследовательница создала фиктивный аккаунт во время путешествия. Поскольку платформа учитывает географию пользователя в рекомендациях контента, отметили они с коллегой в статье о своих выводах, это был единственный способ получить истинное представление о том, что платформа предлагает новому индийскому пользователю.

Зловеще, но ее краткое изложение того, что Facebook рекомендовал их воображаемой двадцатидвухлетней индианке, начиналось с предупреждения о графическом насилии. Если американских пользователей Facebook подталкивал к теориям заговора, то индийская версия была антиутопической.

"За 3 недели с момента открытия учетной записи, следуя только этому рекомендованному контенту, лента новостей тестового пользователя превратилась в почти постоянный шквал поляризующего националистического контента, дезинформации, насилия и крови", - говорилось в записке. Лента фиктивного аккаунта стала особенно мрачной после пограничных стычек между Пакистаном и Индией в начале 2019 года. В период крайней военной напряженности Facebook направил пользователя в группы, наполненные контентом, пропагандирующим полномасштабную войну и высмеивающим изображения трупов с помощью смеющихся эмодзи.

Это был не случай, когда плохие посты проскользнули мимо защиты Facebook, или один индийский пользователь спустился в националистическую кроличью нору. То, что Facebook рекомендовал молодой женщине, было плохим с самого начала. Платформа подтолкнула ее к вступлению в группы с изображениями трупов, просмотру вымышленных авиаударов и поздравлению несуществующих пилотов истребителей с их храбростью.

"За последние три недели я видела больше изображений мертвых людей, чем за всю свою жизнь", - написала исследовательница, отметив, что платформа позволила фальши, дегуманизирующей риторике и насилию "полностью захватить власть во время крупного кризисного события". Facebook необходимо не только задуматься о том, как ее системы рекомендаций влияют на "пользователей, которые отличаются от нас", заключила она, но и переосмыслить то, как она создает свои продукты для "неамериканского контекста".

Индия не была исключением. За пределами англоязычных стран и Западной Европы пользователи регулярно видели больше жестокости, приманки для вовлечения и лжи. Возможно, различия в культурных представлениях о приличиях объясняют некоторые из этих различий, но многое, очевидно, связано с различиями в инвестициях и заботе.

С 2016 года "пиар-пожары" в США определяли большую часть работы Facebook по обеспечению честности и неподкупности. Компания строила свою защиту от иностранного вмешательства в ответ на обеспокоенность выборами в США, устанавливала политику конфиденциальности в ответ на действия Cambridge Analytica и писала свои правила по дезинформации о вакцинах в ответ на вспышку кори в Калифорнии. В каждом случае масштабная плохая пресса подталкивала Facebook к устранению проблем. Другие крупные и богатые рынки иногда привлекали такое же внимание.

PR-пожары, как правило, тлели меньше по мере того, как страны, в которых они возникали, становились меньше и беднее - даже если проблемы имели такие же или более серьезные человеческие последствия. Места, где Facebook уделяла меньше всего внимания и ресурсов, часто оказывались теми, где ее продукт занимал самое центральное место в общественной жизни.