Взломать всё. Как сильные мира сего используют уязвимости систем в своих интересах

В 2015 г. компания Volkswagen была уличена в мошенничестве с тестами на выбросы. Компания не подделывала их результаты; вместо этого она разработала для своих автомобилей бортовые компьютеры, которые бы обманывали контрольные устройства. Инженеры запрограммировали их таким образом, чтобы они определяли, когда автомобиль проходит тест на выбросы. Компьютер включал систему контроля выбросов на время теста и отключал ее по его окончании. На самом же деле автомобили Volkswagen, демонстрирующие превосходные ходовые качества, выбрасывали до 40 раз больше допустимого количества оксида азота, но только тогда, когда за этим не следило Агентство по охране окружающей среды США (EPA).

История Volkswagen не связана с искусственным интеллектом – обычные инженеры запрограммировали обычную компьютерную систему на обман, – но тем не менее она хорошо иллюстрирует проблему. Более десяти лет компании сходило с рук мошенничество только потому, что компьютерный код сложен и трудно поддается анализу. Непросто понять, что именно он делает, и точно так же непросто было понять, что делает автомобиль. До тех пор пока программисты хранят свой секрет, подобный хак, скорее всего, будет оставаться необнаруженным. Единственная причина, по которой сегодня мы знаем об уловке Volkswagen, заключается в том, что группа ученых из Университета Западной Вирджинии неожиданно проверила выбросы автомобилей на дорогах с помощью системы, отличной от системы EPA. Поскольку программное обеспечение было разработано для обхода системы EPA, ученым удалось провести измерение выбросов незаметно для бортового компьютера.

Если бы я попросил вас разработать программное обеспечение для управления двигателем автомобиля, чтобы обеспечить максимальную производительность и при этом пройти тесты на выбросы, вы бы не стали разрабатывать его, понимая, что это обман. Для ИИ это не является проблемой. Он не воспринимает абстрактную концепцию обмана на инстинктивном уровне. Он будет мыслить «нестандартно» просто потому, что не обладает представлением об ограничениях человеческих решений. Он также не понимает абстрактных этических концепций. Он не поймет, что решение Volkswagen нанесло вред другим людям, что оно подрывает сам замысел тестов на выбросы или что решение компании было незаконным, если только данные, на которые опирается ИИ, не включают законы, касающиеся выбросов. ИИ даже не поймет, что взламывает систему. И благодаря проблеме объяснимости мы, люди, тоже можем этого не понять.

Если ИИ-программисты не укажут, что система не должна менять свое поведение при тестировании, ИИ тоже сможет додуматься до такого обмана. Программисты будут довольны. Бухгалтеры будут в восторге. И никто, скорее всего, не поймает его с поличным. Теперь, когда скандал с Volkswagen подробно задокументирован, программисты могут четко поставить цель избежать конкретно этого хака. Однако рано или поздно возникнут новые непредвиденные действия ИИ, которые программисты не смогут предугадать. Урок джинна заключается в том, что так будет всегда.

58 Защита от хакеров с искусственным интеллектом

Очевидные хаки не единственная проблема. Если навигационная система вашего беспилотного автомобиля решает задачу поддержания высокой скорости за счет того, что автомобиль просто носится по кругу, программисты заметят такое поведение и соответствующим образом скорректируют цель ИИ. Но на дороге мы никогда не увидим подобного поведения. Наибольшее беспокойство вызывают менее очевидные взломы, которых мы даже не замечаем.

Многое было написано о рекомендательных системах{256} – первом поколении тонких хаков ИИ – и о том, как они подталкивают людей к поляризованному контенту. Они не были запрограммированы на это изначально. Такое свойство системы приобрели естественным образом, постоянно пробуя что-то, оценивая результаты, а затем модифицируя себя, чтобы действовать, повышая вовлеченность пользователей. Алгоритмы рекомендаций YouTube и Facebook научились предлагать пользователям более экстремальный контент, потому что он вызывает сильные эмоциональные реакции, и именно это заставляет людей проводить больше времени на платформе. Довольно простая автоматизированная система сама нашла этот хак. И большинство из нас в то время не осознавали, что происходит.

Аналогичным образом в 2015 г. ИИ научился играть в аркадную видеоигру 1970-х гг. Breakout. ИИ ничего не сообщали о правилах или стратегии игры. Ему просто дали управление и награждали за набор максимального количества очков. То, что он научился играть, неудивительно: все и так этого ожидали. Однако ИИ самостоятельно открыл и оптимизировал до не досягаемого людьми уровня тактику «туннелирования» сквозь кирпичную стену, чтобы отбивать мяч от ее обратной стороны.