В отличие от биологических систем, технология масштабируется. Скорость самой быстрой птицы не стала предельной скоростью для самолетов, а искусственные разумы будут быстрее, точнее, внимательнее, сознательнее и содержательнее, чем их человеческие аналоги. ИИ заменит людей, принимающих решения, администраторов, изобретателей, инженеров, военных стратегов, дизайнеров, рекламистов и, конечно, программистов, работающих с ИИ. Таким образом, искусственные интеллекты могут стать самосовершенствуемыми, и тогда они окончательно превзойдут человеческие разумы по всем направлениям. Я не думаю, что это произойдет одномоментно (иначе важно было бы только то, у кого окажется первый из них). Пока у нас не появится универсально разумный, самосовершенствующийся ИИ, перед нами пройдет множество примеров специализированных под определенные задачи неуниверсальных ИИ, к которым мы сможем приспособиться. Очевидно, это уже происходит.
Когда универсально разумные машины станут реализуемой технологией, их производство будет относительно дешевым и они появятся у каждой корпорации, у каждого правительства, то всякой крупной организации придется создавать и использовать такие машины, чтобы не проиграть в конкуренции.
Что случится, когда искусственный интеллект обретет собственное мнение?
Разум — это ящик с инструментами, который мы используем, чтобы решить ту или иную задачу, но, строго говоря, он не определяет мотивов и целей сам по себе. Стремление человека к самосохранению, власти и опыту — это результат работы не разума, а эволюции приматов, переведенный в эпоху усиления стимулов, массовых взаимодействий, символических удовольствий и нарративной перегрузки. Мотивами наших искусственных разумов (по крайней мере, первое время) будут мотивы организаций, корпораций, групп или отдельных людей, использующих эти разумы. Если бизнес-модель компании не отличается благими намерениями, то ИИ потенциально может сделать ее по настоящему опасной. Подобным образом если организация стремится делать жизнь людей лучше, то ИИ повысит ее эффективность в плане реализации благонамеренного потенциала.
Мотивация наших искусственных интеллектов будет возникать из уже существующих социальных кирпичиков; всякое общество будет иметь такой ИИ, которого заслуживает.
Наши нынешние общества в этом смысле не очень хорошо организованы. Наши способы производства расточительны, а распределение ресурсов разорительно — и наши институты управления непригодны для решения такого рода проблем. Наша цивилизация — это агрессивно разрастающаяся воронка энтропии, которая разрушает на своих границах больше, чем создает в центре.
ИИ может сделать эти деструктивные тенденции более эффективными, а следовательно, более катастрофическими, равно как может помочь нам решить экзистенциальные проблемы нашей цивилизации. Создание благонамеренного искусственного интеллекта тесно связано с задачей построения общества, обеспечивающего правильную мотивацию своих элементов. Наступление новой эпохи мыслящих машин может заставить нас в корне пересмотреть наши институты управления, распределения и производства.
Звери острова ИИ
Когда-то на удивительных неизвестных землях средневековых карт жили разные существа. Эти животные были порождены причудливой комбинацией слухов и недомолвок: безголовые люди с лицом на торсе или люди, у которых человеческие черты смешаны с чертами льва или собаки, — своеобразное связующее звено между человеком и животным. Они были выражением страхов и надежд относительно того, что находится за гранью изведанного. Сегодня мы представляем себе мыслящие машины.
Помимо самосознания, воображаемые звери с острова ИИ владеют способностями к вычислению и предсказанию, свободой мысли и всей информацией, которую собрали их создатели. Пессимисты опасаются, что эти машины могут рассмотреть наше дело и вынести нам смертельный приговор. Оптимисты надеются, что ИИ будут руководствоваться благими намерениями и способствовать просвещению и спокойствию людей.
Ни одна из версий столкновения с самостоятельным рукотворным разумом не выглядит основательной. Это не значит, что они как таковые неинтересны. Старые карты рисовались во времена примитивных технологий мореходства. Мы начинаем исследовать мир, полный компьютерных чар. Существа с острова ИИ соединяют в себе черты человека и машины в той же мере, в какой их предшественники соединяли черты человека и животного. Если бы они умели петь, то пели бы песни о нас.