Философские обсуждения начинаются с утверждения Канта о том, что наш разум неизменно отделен от типичных объектов наших размышлений — физических сущностей в реальном мире. Мы получаем сведения о них (через фотоны, воздушные колебания или испускаемые молекулы), но наш разум/мозг никогда не вступает с ними в прямой контакт. Таким образом, вопрос о том, как можно утверждать, что сущности нашего разума (мысли, убеждения, желания) якобы направлены на вещи в реальном мире, оказывается неожиданно сложен. Действительно, направленность — это центральная проблема в философии сознания, основа многолетней полемики между такими философами, как Деннет, Фодор и Сёрл. Философы несильно помогли внести ясность, назвав эту мнимую умственную направленность интенциональностью (не путать с обычным значением слова в английском языке: «делать что-то нарочно, умышленно»). Вопросы интенциональности тесно связаны с глубинными проблемами феноменологии сознания, часто выражаемыми терминами «квалиа» и «трудная проблема сознания»[31], но они обращены к более простому и фундаментальному вопросу: как может ментальная сущность (мысль — паттерн нервного возбуждения) быть в любом смысле этого слова связана со своим объектом (вещью, которую вы видите, или человеком, о котором вы думаете)?
Вот ответ скептика, солипсиста: такой связи нет, интенциональность — иллюзия. Это заключение ложно по крайней мере в одной важнейшей области (замечание сделано Шопенгауэром 200 лет назад): единственным местом, где ментальные явления (желания и намерения, что инстанцируется в нервном импульсе) вступают в контакт с реальным миром, являются наши собственные тела (например, нейромышечное соединение). Пластичность живой материи в целом и нейронов в частности означает, что петля обратной связи непосредственно соединяет наши мысли с нашими действиям, просачиваясь обратно через восприятие, где влияет на структуру самих нейронов. Петля каждый день замыкается в нашей голове (в самом деле, если вы завтра вспомните хоть что-нибудь об этом эссе, то лишь потому, что некоторые нейроны в вашем мозгу изменили свою форму, ослабив или усилив синапсы, расширив или сократив число связей). Такой контур обратной связи в принципе не может замкнуться в жестком кремниевом чипе. Это биологическое качество обеспечивает умственную деятельность у человека (а также у шимпанзе и собаки) с присущей ей внутренней интенциональностью, которой нет у современных кремниевых вычислительных систем.
Если утверждение верно (а мои логика и интуиция его поддерживают), машины «думают», «знают» или «понимают» что-либо только в той мере, в какой это делают их создатели и программисты, когда значение добавляется интенциональным, истолковывающим агентом, обладающим мозгом. Любой «интеллект» у компьютера — это исключительно интеллект работающих с ним людей.
Поэтому я не боюсь, что роботы восстанут или начнут бороться за свои права (если только их защитой не решат заняться заблуждающиеся люди). Означает ли это, что можно не беспокоиться до тех пор, пока кто-то не изобретет компьютер с наноинтенциональностью? К сожалению, нет: существует другая опасность, которая исходит от нашей чрезмерной склонности ошибочно приписывать намерение и понимание неодушевленным предметам («Моей машине не нравится низкооктановое топливо»). Думая так о вычислительных артефактах — компьютерах, смартфонах, системах управления, — мы постепенно передаем им (и тем, кто их контролирует) свою обязанность — информированное, компетентное понимание. Ситуация становится опасной, когда мы охотно и с ленцой уступаем ее бесчисленным кремниевым системам (автомобильным навигаторам, смартфонам, системам электронного голосования), которые не только не задумываются о том, что именно они вычисляют, но даже и не знают об этом. Глобальный финансовый кризис дал нам почувствовать, что может произойти в мире, связанном компьютерами, когда реальная ответственность и реальные компетенции окажутся неблагоразумно свалены на машины.
Я боюсь не успешного восстания искусственных интеллектов, а скорее катастрофического сбоя, вызванного множеством мелких ошибок в кремниевой системе, которую наделили слишком большими полномочиями. Нам все еще далеко до сингулярности, когда компьютеры станут умнее нас, но это не значит, что нам не следует беспокоиться о глобальном сетевом коллапсе. Чтобы сделать первый шаг к предотвращению таких катастроф, нужно перестать перекладывать на компьютеры собственную ответственность и понять и принять простую истину: машины не думают. А то, что мы принимаем за их мышление, становится с каждым днем все опаснее.
Игры (и пророчества) разума