Конечно, любая технология может быть применена с добрым или злым умыслом, но некоторые более предрасположены к злоупотреблению или трагическому исходу, чем другие. Атомная энергия опасна, воплощена ли она в ядерной боеголовке или на электростанции, потому что единственная катастрофа или единственное злоупотребление может искалечить или убить миллионы людей. И хотя ядерная энергия очень полезна, ей имеются альтернативы. Транспортные технологии могут принять форму танков и истребителей, или может принять форму автомобилей и пассажирских самолетов, и несчастный случай или злоупотребление могут навредить множеству людей. Но транспортные средства возможно и более присущи современной жизни и менее опасны, чем ядерная энергия. Разрушения, вызванные одиночным злоупотреблением самолета гораздо меньше, чем ядерной бомбы. Есть множество технологий, которые в основном полностью благотворны. Например, телефон. Его тенденция соединять людей превышает любые негативные эффекты. То же самое для электричества и здравоохранения. По моему мнению, интеллектуальные машины будут одной из наименее опасных из технологий, наиболее благотворной технологией, которую мы когда либо разрабатывали.
Тем не менее, некоторые мыслители, наподобие Билла Джоя, одного из соучредителей Sun Microsystems, опасаются, что мы можем разработать интеллектуальных роботов, которые могли бы избежать нашего контроля, кишели бы по Земле, и переделали бы ее в соответствии с их собственными намерениями. У меня в воображении возникает картинка тех живых метелок из
Построение интеллектуальных машин — это не то же самое, что построение само копирующихся машин. Между ними нет какой бы то ни было логической связи. Ни мозг ни компьютер не могут напрямую само копироваться, и мозгоподобная система памяти не отличается от них. Пока одним из достоинств интеллектуальных машин будет наша способность их массового производства, мир избежит из самокопирования на манер бактерий или вирусов. Самокопирование не ведет к интеллекту, и интеллект не ведет к самокопированию.
Более того, я серьезно сомневаюсь в том, что мы когда либо сможем скопировать наш разум в машину. Сейчас, насколько мне известно, нет действительных или воображаемых методов, способных записать триллионы деталей, составляющих ваше «Я». Нам потребуется записать и воссоздать все части нервной системы и тела, не только неокортекс. И нам необходимо будет понять, как все это работает. Однажды, мы определенно сможем сделать это, но проблемы уходят далеко за понимание того, как работает кортекс. Понимание неокортикального алгоритма и встраивание его в машины с нуля — это одно, но сканирование в несметном количестве деталей живого мозга и воспроизведение этого в машине — это совсем другое.
После упоминания о саморепликации и копировании разума, у людей возникает другое отношение к интеллектуальным машинам. Могут ли интеллектуальные машины как то угрожать большой популяции людей, как ядерная бомба? Может ли их присутствие привести к захвату полномочий небольшой группой злых людей? Или могут ли машины стать злыми и обернуться против нас, подобно безжалостным негодяям из фильмов
Ответ на эти вопросы отрицательный. Как информационные устройства, мозгоподобные системы памяти должны стать в число наиболее полезных технологий, которые мы когда либо разрабатывали. Но подобно автомобилям и компьютерам, они всего лишь инструмент. Всего лишь обретение интеллектуальности совершенно не обозначает обретение способностей к разрушению имущества или манипулированию людьми. И точно также, как мы не доверили бы контроль над ядерным арсеналом одному человеку или одному компьютеру, мы должны будем проявить осторожность и не полагаться слишком на интеллектуальные машины.