Broken Code: Inside Facebook and the Fight to Expose Its Harmful Secrets

Розен присоединился к Facebook, когда в 2013 году компания Onavo, расположенная в Тель-Авиве, приобрела за 100 миллионов долларов его компанию . Onavo шифровала действия пользователей смартфонов в целях обеспечения конфиденциальности и в процессе собирала обширную информацию об их местоположении, о том, какими приложениями они пользовались и как долго их использовали. Учитывая страх Цукерберга не заметить начинающих конкурентов до того, как они укоренятся, это была жизненно важная бизнес-аналитика.

Через несколько месяцев после покупки данные Onavo обнаружили взрывной рост сервиса обмена сообщениями WhatsApp. Хотя в Соединенных Штатах это приложение было незначительным, в Испании оно было установлено на 99 % телефонов на базе Android и активно развивалось в развивающихся странах. Facebook бросился на поиски и купил сервис за 19 миллиардов долларов - шокирующую для того времени цену, которую позже назвали выгодной сделкой.

Именно данные Onavo позволили определить, что функция "Истории" Snapchat представляет собой серьезную угрозу. Как только Facebook клонировал формат эфемерных постов в Instagram в виде Stories, данные Onavo показали, что угроза миновала, о чем в 2017 году сообщила газета Wall Street Journal. Репутация Розена в Facebook была упрочена.

Если информация об утилите Onavo стала достоянием общественности лишь спустя годы, на то были веские причины: Facebook не хотел, чтобы кто-то понял, что он делает. Помимо этических вопросов, связанных с приложением, собирающим данные о своих пользователях, шпионские привычки Onavo в лучшем случае нарушали условия обслуживания Google и Apple. Магазины приложений обеих компаний в итоге удалили приложение, а Федеральная торговая комиссия США упомянула Onavo в своей жалобе, обвинив ее в антиконкурентной деловой практике.

Эта затянувшаяся аура мошенничества сделала немного странным тот факт, что в конце 2017 года Розен был выбран на должность главы недавно созданного подразделения Integrity в Facebook. (Компания отметила, что до работы в Onavo он занимался вопросами безопасности в Oracle). Розен был известен своей работоспособностью и имел отличную репутацию у руководства компании, но подчинялся он Наоми Глейт и команде Growth, которая, как отметил Эндрю Босворт в своей ставшей вскоре печально известной записке "Уродливая правда", славилась своей этической гибкостью. Иными словами, вряд ли это можно назвать домом для группы, для которой этика и честность должны были быть превыше всего.

Потенциал конфликта был очевиден. Некоторые из рейтинговых исследований , которые уже провела команда Макнелли, указывали на то, что рост использования продукта может усугубить проблемы целостности. Некоторые работы по обеспечению целостности могут снизить темпы роста в будущем.

Однажды, когда Розену представили данные о том, как быстро россиянам удалось создать на платформе крупные аккаунты, его реакция не была вопросом о том, есть ли недостаток в дизайне платформы. "Они просто феноменальные маркетологи роста", - заметил он коллеге с оттенком уважения. (В компании заявили, что такой комментарий Розена был бы сарказмом.) Проблема, по мнению Розена, заключалась не в том, что некая организация набрала огромную аудиторию за счет ядовитого, спамерского контента. Именно так и должна была работать платформа. Проблема заключалась в том, что организация была русской.

Розен процветал на подобном категориальном разграничении. Вместо того чтобы начать с качественных вопросов, которыми занимались такие руководители, как Гомес-Урибе и Макнелли, - например, каковы подписи мусорных издателей? Как гиперактивные пользователи влияют на платформу?" - Розен начал с другого: Было ли что-то противоречащим существующим правилам Facebook и поддающимся количественному измерению? Если ответ на оба вопроса был положительным, то Розен, целеустремленный руководитель, руководил неустанной кампанией по созданию классификаторов, способных обнаружить нежелательную вещь и втоптать ее в грязь. Если же проблема не вписывалась в эту форму, Розен говорил, чтобы вы вернулись, когда это произойдет.

Преимущество такого подхода, основанного на классификаторах и метриках, заключалось в том, что он пришелся по душе инженерно-техническому руководству Facebook, которому нравилась идея создания системы, позволяющей избежать проблем с модерацией. Недостатком было то, что при всем прогрессе, которого достигло машинное обучение, автоматизированные системы контроля за соблюдением контента Facebook и близко не соответствовали стандартам, которые требовала эффективная модерация.

"У нас нет и, возможно, никогда не будет модели, которая бы отражала хотя бы большую часть вреда от честности, особенно в чувствительных областях", - писал один из инженеров, отмечая, что классификаторы компании могут определить только 2 % запрещенных высказываний, разжигающих ненависть, с достаточной точностью, чтобы удалить их.