Broken Code: Inside Facebook and the Fight to Expose Its Harmful Secrets

Оказалось, что ответ на этот вопрос, когда такой способ повышения вовлеченности используется в операциях по созданию фальшивых новостей, был весьма существенным. Поэтому команда Макнелли начала работать над усилением мер по борьбе с тем, что раньше считалось мелким проступком. Если бы Facebook могла бороться с гиперболическими высказываниями и попытками искусственно подтолкнуть пользователей к участию, возможно, это сделало бы проблему фальшивых новостей более решаемой.

Для того чтобы провести такую репрессию, Facebook необходимо было создать системы для обнаружения плохих постов. Инженеры скормили системе машинного обучения примеры сенсационных постов и постов-приманок, обучив ее отличать такие материалы от более сдержанного контента. Полученный алгоритм предсказывал вероятность того, что пост является приманкой, по шкале от нуля до единицы.

Эта техника, называемая контролируемым обучением, была технически сложной, но концептуально простой. Цель заключалась в том, чтобы надежно распознавать весь плохой контент, который он видел, без ложных срабатываний. Конечно, такое автоматическое совершенство невозможно, и при определении того, как и стоит ли использовать инструмент, который неизбежно приведет к ошибкам, приходилось принимать сложные решения. Всегда существовал компромисс между точностью (как часто классификатор ошибается) и отзывом (какой процент целевого контента он действительно распознает).

То, что Facebook больше ценит - точность или запоминание, - зависело от того, что ее больше беспокоило: ложноотрицательные или ложноположительные результаты. Если Facebook задумывалась об автоматическом удалении фальшивых аккаунтов, она должна была быть более чем на 99 % уверена в том, что пользователь является фальшивым, прежде чем нажимать на курок, даже если такой уровень точности означал, что миллионы фальшивых аккаунтов останутся нетронутыми. В других обстоятельствах гораздо большее значение имеет отзыв: классификатор, выявляющий сообщения с потенциальными суицидальными намерениями, должен быть осторожен и отправлять контент на проверку человеку, даже если вероятность того, что он окажется пригодным к действию, невелика.

Большинство проблем с целостностью оказались между этими двумя крайностями. Facebook не хотел, чтобы люди видели на его платформе язык ненависти, но он не был готов удалять или вручную проверять каждое сообщение, которое классификатор отмечал как потенциально оскорбительное. В этом случае компании приходилось хеджировать свои ставки.

Решением стало понижение рейтинга. Вместо того чтобы удалять или пересматривать сомнительный пост, Facebook мог просто поставить большой палец на шкалу новостной ленты, чтобы он попал к меньшему количеству людей, снизив его оценку в рейтинге, определяющем, что появляется в ленте пользователя. Если штраф был достаточно велик, то сомнительный пост либо пропадал совсем, либо оказывался так далеко в очереди, что пользователь вряд ли до него добирался.

Преимущество понижения рейтинга заключалось в том, что Facebook не нужно было решать, является ли контент приемлемым или нет. Ближайшие друзья пользователя могли по-прежнему видеть сообщение, но для всех остальных пониженный в рейтинге контент просто заменялся следующим в очереди. Это также снижало цену неточности. Поскольку ничего не удалялось, никто не расстраивался. Но Facebook все равно не хотел подавлять контент на зыбких основаниях. Никто не хотел, чтобы платформа служила автоматической полицией нравов, хоронящей любой пост с острыми выражениями или намеком на кожу. Совершенно безопасная платформа была бы совершенно скучной.

Поэтому вопрос о том, как откалибровать смесь автоматических удалений и понижений контента, был одновременно и практическим, и философским. Если вы считали, что плохой контент представляет собой серьезную опасность, и полагали, что Facebook несет ответственность за то, какой контент он рекомендует, вы, скорее всего, предпочли бы относительно жесткий подход. Но если вы рассматривали Facebook как нейтральную платформу, предоставляющую пользователям персонализированный контент, вы сочли бы такой подход излишне строгим, возможно, даже неэтичным. Лента новостей пользователей отражает их личные предпочтения и вкусы, и Facebook должен как можно меньше вмешиваться в их выражение.

" Вред возникает в ситуациях, когда зритель не видит того, что он действительно хотел увидеть", - говорится в одной из внутренних исследовательских записок, подытоживающей позицию минималистов и утверждающей, что изменения в рейтинге, лишающие пользователей доступа к максимально интересному контенту, не позволяют "уважать" их суждения.