Позже в том же году DeepMind обучила машину игре в «захват флага»634. В эту командную игру играют дети в летних лагерях, будь то в лесу или на открытом поле, но существуют и ее онлайновые разновидности. В таких трехмерных видеоиграх, как Overwatch и Quake III, «захват флага» (Сapture the Flag) представляет собой один из игровых режимов. Инженеры DeepMind обучили свою машину играть по правилам Quake III, где два флага, красный и синий, располагаются на противоположных концах лабиринта с высокими стенами. Каждая команда охраняет свой флаг, одновременно пытаясь захватить флаг противника и доставить его на свою базу. Это игра, требует командной работы – четкой координации действий между обороной и атакой, – и разработчики DeepMind показали, что машины могут научиться такому скоординированному поведению или, по крайней мере, могут научиться имитировать его. В процессе обучения их система за несколько недель сыграла около четырехсот пятидесяти тысяч раундов «захвата флага» в Quake III – что эквивалентно более чем четырехлетнему опыту игры. По окончании обучения она могла играть в игру вместе с другими ботами или с игроками-людьми, подстраивая свое поведение под своих товарищей по команде. В некоторых случаях она демонстрировала навыки кооперации, присущие лишь самым опытным игрокам. Когда кто-нибудь из соратников был близок к захвату флага, игрок, управляемый ботом, со всех ног мчался к базе противника. Тем, кто играл в эту игру, хорошо известно, что, как только флаг противника захвачен, на его месте тут же появляется другой флаг и, как только он появляется, его тоже можно захватить. «Я не хочу разбираться в тонкостях определения командной работы, – говорит Макс Ядерберг, один из разработчиков DeepMind, работавших над этим проектом. – Но, чтобы один из игроков караулил в базовом лагере противника, ожидая появления флага, такое возможно только в том случае, когда он всецело полагается на своих товарищей по команде».
Примерно таким образом разработчики из DeepMind и OpenAI надеялись моделировать человеческий разум. Автономные системы обучаются во все более сложных средах. Сначала аркадные видеоигры Atari. Потом го. Затем последовали трехмерные многопользовательские игры, такие как Quake III, в которых требовались не только индивидуальные навыки, но и командная работа. И так далее. Семь месяцев спустя DeepMind представила систему, которая одержала победу над лучшими профессиональными игроками635 в StarCraft (трехмерная игра, действие которой происходит в космосе). Затем в OpenAI создали систему, которая освоила игру Dota 2636, напоминающую более сложную версию «захвата флага», где требуется теснейшее сотрудничество между членами команды. Той весной команда из пяти ботов обыграла команду лучших игроков мира. Существовало мнение, что успех на виртуальной арене в конечном итоге приведет к созданию автоматизированных систем, которые смогут преуспеть в реальном мире. Именно таким путем пошла лаборатория OpenAI при создании своей роботизированной руки: сначала виртуальная версия руки научилась собирать виртуальный кубик Рубика, и только потом это ноу-хау было перенесено в реальный мир. Специалисты этих лабораторий полагали, что, если им удастся создать достаточно масштабную виртуальную модель того, с чем люди сталкиваются в своей повседневной жизни, это приведет к созданию AGI.
Однако многие смотрели на эти достижения иначе. Какими бы впечатляющими ни были успехи ИИ в играх Quake, StarCraft и Dota, многие ученые сомневались в том, что эти навыки так уж легко перенести в реальный мир. «Трехмерная игровая среда призвана облегчать навигацию, – заявил профессор Технологического института Джорджии Марк Ридл, когда сотрудники DeepMind опубликовали статью, рассказывающую о машинах, которые успешно играют в “захват флага”. – В Quake стратегия и координация довольно простые». И хотя кажется, что машины, входящие в одну команду, сотрудничают между собой, в реальности это не так. Они просто реагируют на происходящее в ходе игры, не общаясь друг с другом, как общаются игроки-люди. Каждая из машин обладает сверхчеловеческими знаниями об игре, но их никоим образом нельзя называть разумными. И это означает, что в реальном мире им придется туго.