Broken Code: Inside Facebook and the Fight to Expose Its Harmful Secrets

Многие из проблем были основополагающими. Facebook так и не удосужился перевести свои общественные стандарты на языки, на которых говорят десятки миллионов людей. Для проверки контента на других языках компания часто привлекала подрядчиков, а сообщения на сирийском и иракском арабском направляла подрядчикам в Марокко, для которых они были непонятны. Во внутренней проверке это было названо несоблюдением "минимального стандарта", согласно которому модераторы, работающие по контракту, должны понимать язык контента, который они проверяют.

Больше денег, конечно, помогло бы в работе по обеспечению международной целостности, но сотрудники Менло-Парк осознали, что столкнулись с другой проблемой. В компании, которая требовала масштабирования во всем, что делала, классификаторы не могли надежно работать на разных языках. Только классификаторы, основанные на изображениях, например те, которые сканируют наготу, действительно легко масштабировались в глобальном масштабе. Все остальное приходилось делать на разовой основе. Например, для поддержки гражданского классификатора компании Facebook требовалось постоянно отслеживать не только лиц, занимающих государственные должности, но и места, людей и термины, имеющие общественное значение. Почти постоянное переобучение было необходимо; некогда малозаметные вещи - например, имя Джорджа Флойда - могли в одночасье превратиться в эпицентр напряженности.

Гражданственность была не единственным классификатором, который нуждался в уходе и питании. Только для целостности были выделены такие категории, как язык ненависти, терроризм, дезинформация, насилие и подстрекательство, пограничная враждебная речь и другие. Если бы компания хотела, чтобы эти классификаторы работали на португальском языке, ей пришлось бы отдельно привлекать специалистов по маркировке и инженеров для их создания, а затем учитывать региональные различия между Португалией, Бразилией и Анголой.

Создание вариаций классификаторов, которые надежно работали бы во всем мире, может показаться непосильной задачей, пока вы не вспомните, что точность и запоминание классификаторов часто оказываются незначительными даже в американском английском. Тогда проблема начинала казаться невыполнимой.

ИИ был краеугольным камнем стратегии Facebook по управлению своей платформой, но эта стратегия не могла работать за пределами нескольких основных языков на основных рынках. Только в Индии насчитывается более двадцати официальных языков. Уже в 2021 году сотрудники говорили о классификаторах выборов на двух ведущих языках, хинди и бенгали, как о "недоразвитых", "устаревших" и "не очень уловимых". Даже элементарных классификаторов не существовало для большинства остальных индийских языков, на которых в мире говорит больше людей, чем на английском. И Facebook не планировал их создавать.

Отсутствие адаптированного ИИ не только лишило людей, говорящих на этих языках, тех улучшений, которые могла бы дать автоматизированная система модерации контента. Это означало, что версия платформы, с которой они сталкивались, становилась только хуже.

К 2020 году компромисс между ростом и честной работой был хорошо принят внутри Facebook. Компания могла с точностью отрицать, что лента новостей способствует росту ненависти и лжи, но не могла сказать, что стимулирование роста в ленте новостей не приводит к росту ненависти и лжи как побочному эффекту. Эта реальность привела к постоянным переговорам между командами, ориентированными на рост и честность. Если компания изменяла ленту новостей таким образом, что сенсации росли во всем мире, она могла снизить уровень сенсаций в США или Германии, чтобы компенсировать это. Но для многих рынков, объединенных в категорию "Остальной мир", такая реакция была невозможна.

В силу сложившихся обстоятельств команда At Risk Country оказалась в несколько стесненных обстоятельствах. Чем больше платформа инвестировала в языковой ИИ для смягчения социальных проблем, тем больше увеличивался разрыв между рынками, где такие классификаторы существовали, и теми, где их не было. " Большинство наших систем контроля честности менее эффективны за пределами США", - писал Тони Лич, глава команды ARC, в конце 2020 года, подводя итоги своей работы. "Классификаторов либо не существует, либо они работают хуже", - писал он, - и "нам не хватает человеческой поддержки".

Команда Лича стремилась когда-нибудь создать классификаторы и вмешательства американского качества для стран, подверженных риску насилия в обществе, но компания не собиралась делать это в ближайшее время. В таких странах, как Мьянма и Йемен, Facebook все еще не хватало даже элементарных классификаторов для выявления подстрекательства к насилию и восхваления ненавистных деятелей, не говоря уже о возможности целенаправленного вмешательства в кризисную ситуацию.