Взломать всё. Как сильные мира сего используют уязвимости систем в своих интересах

Сегодня когнитивный хакинг несет в себе новые угрозы. Наш мозг не единственная когнитивная система, о которой нам нужно беспокоиться. Государственные услуги, бизнес-транзакции и даже основные социальные взаимодействия теперь опосредуются цифровыми системами, которые так же, как и люди, делают прогнозы и принимают решения, но намного быстрее, последовательнее и при этом менее ответственно, чем мы. Машины все чаще принимают решения за нас, но думают иначе, чем мы, и взаимодействие нашего разума с ИИ указывает хакерам путь к захватывающему и опасному будущему в сферах экономики, права и не только.

Часть VII Хакинг и системы искусственного интеллекта

50 Искусственный интеллект и робототехника

Искусственный интеллект (ИИ) – это информационная технология. Она представляет собой программное обеспечение для компьютеров и уже глубоко внедрилась в нашу социальную структуру, причем не только там, где мы это видим и осознаем, но и в области, пока недоступные нашему пониманию. Эта технология хакнет наше общество так, как никто и ничто доселе.

Мое утверждение базируется на двух предпосылках. Во-первых, системы ИИ будут непревзойденным инструментом для хакеров-людей. А во-вторых, они сами станут хакерами. ИИ будет находить уязвимости во всех видах социальных, экономических и политических систем, а затем использовать их с беспрецедентной скоростью, масштабом, размахом и изощренностью. Это не просто разница в интенсивности, это качественно иной хакинг. Мы рискуем оказаться в будущем, где системы ИИ будут взламывать другие системы ИИ, а последствия этого, которые обрушатся на людей, будут не более чем сопутствующим ущербом.

Это может показаться преувеличением, но ничего из того, что я описываю, не требует научно-фантастических технологий далекого будущего. Я не постулирую никакой «сингулярности», когда цикл обратной связи при обучении ИИ становится настолько быстрым, что опережает человеческое понимание. В моих сценариях нет ни злых гениев, ни разумных андроидов вроде Дейты из «Звездного пути», R2-D2 из «Звездных войн» или Марвина из «Автостопом по галактике». Не потребуется таких мощных и вредоносных системы ИИ, как Скайнет из «Терминатора», Альтрон из «Мстителей» или агент Смит из «Матрицы». Некоторые хаки, о которых я расскажу, даже не предполагают серьезных научных открытий. Да, они будут совершенствоваться по мере развития технологий ИИ, но уже сегодня мы можем видеть намеки на их появление. Эти хаки возникнут естественным образом, по мере того как ИИ будет становиться все более совершенным в обучении, понимании и решении проблем.

Определение

Искусственный интеллект, ИИ (англ. artificial intelligence, AI).

1. Компьютер, который (как правило) может воспринимать, думать и действовать.

2. Общий термин, охватывающий широкий спектр технологий принятия решений, которые имитируют человеческое мышление.

Это определение, как и предыдущие, не претендует на канонизацию, но справедливости ради должен заметить, что кратко определить ИИ сложно. В 1968 г. пионер компьютерной науки Марвин Мински описал ИИ следующим образом{215}: «Наука о том, как заставить машины делать то, что потребовало бы интеллекта, если бы это делали люди». Патрик Уинстон, еще один пионер ИИ, определил его как{216} «вычисления, которые делают возможным восприятие, рассуждение и действие». Стандартная интерпретация теста Тьюринга 1950 г., придуманная им по аналогии с игрой в имитацию[30], ставила задачу определить по текстовым ответам на вопросы, является ваш собеседник человеком или компьютерной программой.

Здесь необходимо провести различие между специализированным, или узким, и общим ИИ. Общий ИИ мы часто видим в фильмах: он может чувствовать, думать и действовать схожим с человеком образом по широкому спектру задач. Если по сюжету он умнее людей, то обычно говорят об «искусственном сверхинтеллекте». Соедините его с робототехникой и получите андроида, более или менее похожего на человека. Роботы, которые пытаются уничтожить человечество в фильмах, – это тоже общий ИИ.

Мы уже провели и проводим множество прикладных исследований по созданию общего ИИ. У нас есть теоретические разработки о том, как спроектировать эти системы, чтобы они вели себя хорошо, например не уничтожали человечество. Это очень увлекательная работа, охватывающая огромную область от компьютерных наук до социологии и философии, но прежде, чем мы увидим ее результаты в действии, вероятно, пройдут еще десятилетия{217}. Я же хочу сосредоточиться на узком ИИ, поскольку именно он сейчас находится в стадии активной разработки.