Власть роботов. Как подготовиться к неизбежному

В основе проблемы контроля лежит не страх перед явно враждебными машинами вроде тех, что показаны в «Терминаторе». Каждая ИИ-система создается для какой-то функции, иными словами, для конкретной описанной математически цели, которой система пытается добиться. Опасения вызывает то, что сверхразумная система, получив цель, может упорно преследовать ее с помощью средств, имеющих нежелательные или непредвиденные последствия и способных стать пагубными или даже фатальными для нашей цивилизации. В качестве иллюстрации часто используют мысленный эксперимент с «максимизатором скрепок». Представьте суперинтеллект, созданный с целью оптимизации производства скрепок. Преследуя эту цель, он может создавать новые технологии, которые позволят превратить практически все ресурсы на Земле в скрепки. Поскольку такая система будет превосходить нас по интеллектуальным способностям, она, скорее всего, сможет эффективно противодействовать попыткам выключить ее или изменить порядок действий, поскольку любое вмешательство мешает реализации целевой функции.

Это, конечно, всего лишь карикатура. Реальные сценарии, которые могут разыграться в будущем, скорее всего, будут гораздо менее очевидными, и их потенциальные последствия предвидеть несопоставимо труднее, если вообще возможно. Уже сейчас можно привести пример, безусловно, пагубного воздействия непредвиденных последствий на общественный организм. Алгоритмы машинного обучения, используемые такими компаниями, как YouTube и Facebook, обычно нацелены на максимизацию вовлечения пользователя во взаимодействие с платформой, что увеличивает прибыль от онлайновой рекламы. Однако алгоритмы, преследующие эту цель, быстро обнаружили: самый простой способ обеспечить вовлеченность людей — подсовывать им все более поляризованный в политическом отношении контент или напрямую воздействовать на эмоции, вызывая, скажем, возмущение или страх. Это, в частности, привело к возникновению пресловутой «кроличьей норы» на YouTube: после видео, излагающего умеренную позицию, следуют рекомендации все более радикального контента, что ведет к стабильной эмоционально обусловленной привязанности к этой платформе[326]. Это, наверное, хорошо для прибылей, но, безусловно, плохо для нашей социальной или политической обстановки.

Поиск решения проблемы контроля стал темой научных исследований в университетах и особенно в специализированных организациях с частным финансированием, таких как OpenAI, Институт будущего человечества при Оксфордском университете во главе с Ником Бостромом и Институт исследования машинного интеллекта в Беркли, Калифорния. В своей книге «Совместимость: Как контролировать искусственный интеллект»[327], впервые изданной в 2019 году, Стюарт Рассел утверждает, что лучшее решение проблемы — вообще не встраивать в продвинутые системы ИИ целевую функцию в явном виде. Задачей системы, заложенной в ее конструкцию, должно быть «максимальное удовлетворение предпочтений человека»[328]. Поскольку машинный интеллект никогда не будет со всей определенностью знать эти предпочтения или намерения, он будет вынужден формулировать задачи для себя, изучая поведение человека, с готовностью вступать в диалог с человеком и подчиняться ему. В отличие от безостановочного максимизатора скрепок, такая система разрешит выключить себя, если будет считать, что это отвечает предпочтениям человека, для оптимального удовлетворения которых она создана.

Это совершенно непохоже на сегодняшний подход к разработке систем ИИ. Рассел объясняет.