Broken Code: Inside Facebook and the Fight to Expose Its Harmful Secrets

Пресса, освещавшая волну самоубийств, совершенных в 2017 году с помощью прямых трансляций, не делала различий между этими сценариями. Если кто-то покончил с собой на Facebook, это была вина Facebook. Компания обратилась за помощью к искусственному интеллекту. Чтобы создать классификатор самоповреждений или графического насилия, команда скормила своему инструменту машинного обучения, FB Learner, большой набор данных, первоначально только текстовых. Новая система показала себя многообещающе, определив приоритетность сообщений, благодаря чему модераторы добирались до достоверных примерно в двадцать раз быстрее. Затем они обратились к живому видео. То, что получилось, не было идеальным, но было хорошим.

Хотя количество жизней, спасенных этим инструментом, неизвестно, команда смогла отследить, сколько раз классификатор, а не пользователи, обнаруживал суицидальное поведение, вызывающее беспокойство настолько, что служба поддержки клиентов Facebook сообщала о нем в правоохранительные органы. "Это был показатель того, сколько раз мы были единственной надеждой, и мы старались, и это число оказалось гораздо больше, чем мы ожидали", - сказал член команды, который начал плакать, вспоминая о вмешательстве. "Мы не знаем, сколько из них погибло, но мы пытались их спасти".

Это была лучшая работа Facebook, объединяющая несовершенные, но мощные технологии. Эта работа продолжалась и после ухода Бежара из компании в 2015 году, но другие проекты, которые он инициировал, оказались не такими долговечными. Он отладил процесс подачи пользовательских отчетов, который, по его мнению, был необходим для создания и поддержания хорошей платформы. Компания перешла от рассмотрения плохих сообщений пользователей к их активному пресечению.

В то же время Facebook сосредоточился на сокращении количества узкоспециального "плохого контента", попросив пользователей сообщать на только о явных нарушениях определенных правил Facebook, для чего можно было использовать машинное обучение. Выявить пользователей, продающих живых животных, распространяющих материалы о сексуальном насилии над детьми или вербующих участников для террористической атаки, было довольно просто. Умеренное улучшение способности классификатора обнаруживать женский сосок, например, может предотвратить десятки миллионов "прискорбных" просмотров.

Чего не могла сделать такая автоматизация, так это разобраться с проблемами, имеющими субъективную составляющую, - от языка ненависти до издевательств. В результате чрезмерной зависимости от автоматизации и недостаточной зависимости от человеческого контроля компании не хватало ловкости, чтобы определить, какие сообщения об анорексии тонко поощряют ее, когда ссылка на чью-то религию неуместна, а комментарий "Мне нравится ваш макияж!" является комплиментом или формой домогательства.

Пользователи мало что могли сделать, чтобы выразить недовольство увиденным, кроме как отправить сообщение, которое часто ни к чему не приводило, или заблокировать пользователя. В течение многих лет пользователи просили о создании чего-то вроде кнопки "не нравится", но эта идея никогда не нравилась руководству, включая Цукерберга. Наши продуктовые инстинкты подсказывали нам, что кнопка "не нравится" может привести к росту негатива", - написала Джули Жуо, вице-президент App Design, в эссе о хорошем дизайне продуктов, опубликованном в 2021 году.

Во многом причиной этого стало нежелание Facebook, компании с ненасытным аппетитом к данным, собирать негативные отзывы, подобные тем, которые когда-то пытался получить Бежар. Многочисленные попытки отбиться не увенчались успехом. "Негативным настроениям не место в FB, потому что мы - счастливое место, где вы общаетесь с друзьями", - сказал мне один бывший директор, резюмируя мнение компании. "Если мы позволим вам как пользователю получать негативные отзывы, это не пойдет вам на пользу".

За неделю Facebook собирает 80 миллиардов различных положительных сигналов о том, что нравится пользователям на платформе, но всего лишь 0,5 процента сигналов о том, что им не нравится, обнаружил один специалист по анализу данных в отчете за 2019 год. Он отметил, что официальные данные о контенте не дают четкого представления о том, что испытывают пользователи . Официально запрещенная нагота составляла всего 0,05 % от общего числа просматриваемых на Facebook постов, в то время как язык ненависти и насилие составляли около 0,2 %. Но если объединить "пограничные" случаи, то доля проблемного контента вырастет до 10 % от всех просмотренных постов. А если к плохому опыту отнести также "приманку для вовлечения", соскобленный контент и "шокирующую информацию о здоровье", то эта цифра увеличится до более чем 20 % всех просматриваемых на Facebook постов.