Взломать всё. Как сильные мира сего используют уязвимости систем в своих интересах

Этому явлению уже дали название – вычислительная пропаганда. Оно в корне изменит наше представление о коммуникации. ИИ способен сделать распространение дезинформации бесконечным. И он может полностью поменять само понятие общения. В 2012 г. специалист по этике робототехники Кейт Дарлинг провела эксперимент с аниматронным пластиковым динозавром по имени Клео{235} – игрушкой, которая по-разному реагировала на прикосновения. После того как участники научной конференции поиграли с Клео, она попыталась убедить их «причинить боль» игрушке различными способами. Однако даже непродолжительная игра с Клео заставляла людей испытывать настолько сильное сочувствие, что они отказывались это делать, хотя игрушка явно не чувствовала боли. Это фундаментальная человеческая реакция. Умом мы можем понимать, что Клео всего лишь зеленый пластиковый динозавр, но большая голова в паре с маленьким телом заставляет нас воспринимать объект как ребенка. К тому же у игрушки есть имя, которое говорит нам, что это «она»! И она реагирует на наши прикосновения! Внезапно мы начинаем относиться к ней как к живому существу{236} и чувствуем себя обязанными защитить от любого вреда. И хотя такая реакция кажется вполне доброжелательной, что произойдет, когда этот милый маленький робот посмотрит на своих хозяев большими грустными глазами и попросит их купить ему обновление программного обеспечения?

Поскольку мы, люди, склонны смешивать категории и относиться к роботам как к живым существам со своими чувствами и желаниями, мы уязвимы для манипуляций с их стороны. Роботы могут убедить нас делать то, что мы бы не стали делать без их влияния. И они могут припугнуть нас, чтобы мы не делали того, что могли бы сделать в противном случае. В одном из экспериментов робот успешно воздействовал на испытуемых по скрипту «давление сверстников»{237}, побуждая их идти на больший риск. Задайте себе вопрос: как скоро секс-робот начнет предлагать покупки в приложениях в самый ответственный момент?

В этом виде убеждения ИИ будет становиться все лучше. Исследователи уже разрабатывают системы ИИ, которые определяют эмоции, анализируя наш почерк, читая выражение лица или отслеживая дыхание и пульс. Пока еще они часто ошибаются, но с развитием технологий это пройдет. В какой-то момент ИИ превзойдет человека по своим возможностям. Это позволит более точно манипулировать нами. Но с одной оговоркой: нашу адаптивность, о которой мы говорили ранее, никто не отменял.

AIBO – это собака-робот, представленная Sony в 1999 г. Компания выпускала новые и улучшенные модели каждый год вплоть до 2005 г., а затем в течение следующих нескольких лет постепенно прекратила поддержку старых AIBO. Даже по компьютерным стандартам того времени AIBO был довольно примитивным, но это не мешало людям эмоционально привязаться к своим «питомцам». В Японии даже появилась традиция устраивать похороны своих «мертвых» AIBO.

В 2018 г. Sony начала продажи нового поколения AIBO. В игрушку внесено много программных усовершенствований, которые делают ее более похожей на домашнее животное, но интереснее другое: AIBO для работы теперь требуется облачное хранилище данных. Это означает, что, в отличие от предыдущих версий, Sony может удаленно изменить или даже «убить» любого AIBO. Первые три года хранения данных в облаке бесплатны, после чего компания начинает взимать плату в размере $300 в год. Расчет строится на том, что за три года владельцы AIBO эмоционально привяжутся к своим питомцам. Подобную тактику можно назвать «эмоциональным захватом».

Поскольку ИИ и автономные роботы берут на себя все больше реальных задач, подрыв доверия людей к таким системам будет отягощен опасными и дорогостоящими последствиями. Но не стоит забывать, что именно люди управляют системами ИИ. Все они разрабатываются и финансируются людьми, которые хотят манипулировать себе подобными определенным образом и с конкретной целью.

Такие корпорации, как Sony, и другие влиятельные игроки долго и упорно пытаются хакнуть наши эмоции ради власти и прибыли. Для этого они вкладывают немалые средства в исследования и технологии. И без активных усилий по установлению норм и правил, ограничивающих такой тип хакинга, мы вскоре обнаружим, что нечеловеческие в буквальном смысле возможности систем ИИ обращены против обычных людей в интересах их могущественных хозяев.

55 Компьютеры и искусственный интеллект ускоряют социальный хакинг