Broken Code: Inside Facebook and the Fight to Expose Its Harmful Secrets

Создание Integrity Institute не прошло даром для Facebook. Несколько нынешних сотрудников рассказали мне, что руководители советовали им не ввязываться в это дело, но они все равно ввязались. К началу 2023 года у некоммерческой организации было достаточно средств, чтобы содержать шесть сотрудников на сайте в дополнение к основателям, а также пятнадцать стипендиатов и более 160 членов. Группа была принята на работу в Обсерваторию цифровых медиа Европейской комиссии, публиковала анализ отчетов о прозрачности социальных медиа и консультировала начинающие социальные медиа-платформы по вопросам выбора дизайна. Чакрабарти числится первым членом совета консультантов.

Другие бывшие сотрудники Facebook заняли аналогичные общественные позиции. Брэндон Сильверман возобновил свою деятельность, направленную на то, чтобы сделать данные социальных сетей общедоступными извне, давая показания в Конгрессе, помогая разрабатывать американское законодательство, требующее прозрачности социальных сетей, и консультируя по Закону о цифровых услугах, усилиям Европейского союза по регулированию доставки контента, рекламы и модерации в социальных сетях, которые вступят в силу в начале 2024 года.

Артуро Бежар тоже не остался в стороне, консультируя Совет по надзору Meta и давая советы коалиции генеральных прокуроров штатов, расследующих влияние продуктов компании на молодых пользователей. Пока я писал эту книгу, он регулярно заходил ко мне домой, чтобы обсудить свои идеи о том, как можно перестроить социальную медиаплатформу вроде Facebook, чтобы создать такие социальные структуры, которые будут способствовать конструктивному взаимодействию, а не простому поиску внимания. Аккаунт, который Бежар вел от имени своего друга, композитора Филипа Гласса, подвергался бомбардировке неуместными сообщениями от ненормального поклонника, и Бежар сказал, что мне следует обратить внимание на то, как Мета справляется с подобными домогательствами, особенно когда они направлены на подростков.

Я воспользовался его предложением. Потребовалось всего несколько часов работы в Instagram и несколько телефонных звонков, чтобы понять, что что-то пошло не так - люди, оставляющие мерзкие комментарии к постам подростков, не были одинокими волками. Они были частью масштабного педофильского сообщества, подпитываемого рекомендательными системами Instagram.

Дальнейшие материалы привели к появлению статьи из трех тысяч слов под заголовком "Instagram объединяет обширную сеть педофилов". В статье, написанной в соавторстве с Кэтрин Блант, подробно рассказывалось о том, как рекомендательные системы Instagram способствовали созданию педофильского сообщества, сводя пользователей, заинтересованных в сексуальном контенте для несовершеннолетних, друг с другом и с аккаунтами, рекламирующими "меню" контента для продажи . Поисковая строка Instagram активно предлагала термины, связанные с сексуальной эксплуатацией детей, и даже одного взгляда на аккаунты с такими названиями, как Incest Toddlers, было достаточно, чтобы Instagram начал подталкивать пользователей к общению с ними.

В ответ на эту историю Meta объявила внутреннюю блокировку с учетом требований безопасности детей, заблокировала тысячи хэштегов, массово удалила аккаунты, изменила обучение модераторов контента и ограничила свои рекомендации. Сотрудники, которым я доверяю, уверяли меня, что высшее руководство было искренне потрясено тем, что компания упустила.

Однако с моей стороны ужасы проекта были пронизаны чувством дежа вю. Компания не следила за своими рекомендательными системами, что позволило вредоносному сообществу разрастаться с поразительной скоростью. Она полагалась на автоматические системы обнаружения, которые были неточными и не могли адаптироваться к очевидному поведению противника. Все усугубляло глючное программное обеспечение: внутренняя проверка компании выявила ошибку, из-за которой пользовательские сообщения об эксплуатации детей регулярно отправлялись в мусорную корзину.

Неудачи Meta в области детской безопасности очень похожи на ее проблемы в других областях. Последним отголоском стали группы Facebook Groups, оказавшиеся отстойником. С помощью исследователей из Стэнфорда мы легко выявили десятки крупных клубов по торговле детским порно. Facebook рекомендовал группы с 70 000 пользователей и такими названиями, как Little Girls, создавая глобальное сообщество вокруг общей страсти к сексуальному насилию над детьми.

Как всегда, сотрудники Meta's Integrity знали об этом. Бывшие сотрудники рассказывали мне, что предупреждали о проблемах и разрабатывали меры по их устранению за несколько лет до этого, но потом их спустили на тормозах, сославшись на то, что они были слишком жесткими.

Разумеется, эти усилия были задокументированы внутри компании. В 22 000 скриншотов, которые захватил Фрэнсис Хауген, есть упоминания и несколько ссылок на такую работу. Почти наверняка они все еще находятся там, за стенами Facebook, хотя, возможно, менее доступны для сотрудников, чем раньше.

 

-