Взломать всё. Как сильные мира сего используют уязвимости систем в своих интересах

Узкий ИИ предназначен для выполнения конкретной задачи, как в случае беспилотного автомобиля. Он знает, как управлять транспортным средством, соблюдать правила дорожного движения, избегать аварий и что нужно делать в непредвиденных ситуациях, например когда мячик вылетает на дорогу. Узкий ИИ знает многое и может принимать на основе этих знаний решения, но только в сфере, ограниченной вождением.

Среди исследователей ИИ бытует шутка: если что-то начинает работать, оно перестает быть ИИ. Теперь это просто программное обеспечение. Логический вывод из этой шутки состоит в том, что, вероятно, единственными достижениями исследователей ИИ могут быть неудачи. И в этом есть доля правды. Термин «искусственный интеллект» является по своей сути чем-то загадочным, научно-фантастическим, а как только он становится реальностью, то теряет свое обаяние и загадку. Раньше мы считали, что для чтения рентгеновских снимков грудной клетки требуется рентгенолог, то есть умный человек с соответствующей подготовкой и профессиональными полномочиями. Сегодня мы знаем, что это рутинная задача, которую может выполнить и компьютер.

Чтобы лучше понять, что такое ИИ, подумайте вот о чем. Существует множество технологий и систем принятия решений, начиная от простого электромеханического термостата, который управляет печью в ответ на изменения температуры, и заканчивая каким-нибудь андроидом из научно-фантастического фильма. То, что делает ИИ таковым, зависит от сложности выполняемых им задач и среды, в условиях которой эти задачи решаются. Электромеханический термостат выполняет очень простую задачу, учитывающую только один аспект окружающей среды – температуру. Для этого даже не нужен компьютер. Современный цифровой термостат может определять, кто находится в помещении, и делать расчет будущих потребностей в тепле на основе прогноза погоды, данных об использовании обогревателя или кондиционера, общегородском энергопотреблении и посекундных расходах на электроэнергию. Футуристический ИИ-термостат, вероятно, сможет действовать как заботливый и внимательный дворецкий, что бы это ни значило в контексте регулирования температуры окружающей среды.

Я бы предпочел не зацикливаться на определениях, поскольку для целей нашего обсуждения они не имеют особого значения. В дополнение к принятию решений, важными качествами систем ИИ, которые я буду обсуждать, являются автономность (способность действовать независимо), автоматизация (способность реагировать на конкретные триггеры заданным образом) и физическая активность (способность изменять физическую среду). Термостат имеет ограниченную автоматизацию и физическую активность, но не обладает автономностью. Система, предсказывающая рецидив преступлений, не обладает физической активностью: она просто дает рекомендации судье. Беспилотный автомобиль обладает всеми тремя качествами, но строго в рамках заданных функций. Робот R2-D2 обладает всеми тремя в большом объеме, хотя по какой-то неясной причине его разработчики забыли о синтезе человеческой речи.

Определение

Робот{218} (англ. robot) – физически воплощенный объект, который может ощущать окружающую среду, думать и воздействовать на нее посредством физической активности.

Робототехника тоже обросла популярной мифологией, но ее реальность менее причудлива. Как и в случае с ИИ, существует множество определений этого термина. В кино и на телевидении роботов часто подают как неких искусственных людей, или андроидов. Подобно ИИ, робототехника охватывает целый спектр логических и физических способностей. Я предпочитаю и в этом вопросе сосредоточиться на технологиях более прозаических и близких к нам по времени. Для наших целей робототехника – это автономия, автоматизация и физическая активность, развитая до максимума. Это киберфизическая автономия: технология ИИ внутри объектов, которые могут взаимодействовать с физическим миром напрямую.

51 Хакинг систем искусственного интеллекта

Системы ИИ представляют собой программы, работающие на компьютерах, как правило, в крупномасштабных компьютерных сетях. Это означает, что они уязвимы для всех типов хакерских атак, которым подвергаются обычные компьютерные системы. Но помимо этого существуют специальные хаки, направленные исключительно на системы ИИ и, в частности, на системы машинного обучения (МО). МО – это подобласть ИИ, которая в прикладных системах вышла сегодня на первый план. Системы МО базируются на моделях, которые обрабатывают огромное количество данных и самостоятельно ищут решения согласно инструкциям. Атаки на системы MО бывают двух типов: одни нацелены на кражу данных, используемых для обучения, или кражу модели, на которой основана система, другие связаны с обходом настроек системы МО и подталкивают ее к принятию ошибочных решений.