Гарвардский Некромант

Проблема аргумента в том, что Сёрл – лишь часть комнаты, как и дюжина нейронов – только часть мозга человека. Нельзя утверждать, что вся комната чего-то не понимает исключительно потому, что понимание отсутствует у ее части (в данном случае у Сёрла – человека внутри комнаты). Особенно учитывая, что эта часть сама по себе недостаточна для выполнения поставленной задачи. Вторую проблему я уже обозначил: современные ИИ с общим интеллектом – это черные ящики, а не набор алгоритмов и правил, которые легко перевести на английский. Чтобы следовать правдоподобному набору «инструкций», Сёрлу пришлось бы эмулировать, то есть воспроизвести, вычислительную деятельность информационной системы, сопоставимой по сложности с человеческим мозгом. Ему бы пришлось каким-то образом загрузить ИИ себе в мозг или создать какую-то иную среду для его работы.

Можно только представить, насколько такое «понимание» искусственного интеллекта известными философами притормозило технологический прогресс.

В таких условиях большинство работ об этике ИИ касались проблемы их превращения в оружие, ответственности за ошибки самоуправляемых машин и защиты людей от вышедших из-под контроля роботов. Вероятно, вы знакомы с тремя законами робототехники Айзека Азимова, которые затрагивали исключительно безопасность людей и послушание роботов. Поэтому движение за права ИИ никогда не достигало таких масштабов, как, скажем, движение за права животных. Никто не требовал, чтобы наши разработки прошли через проверку этического комитета. И все же мы полностью осознавали, что именно делаем. И пытались проводить эксперименты настолько этично и осторожно, насколько это было возможно.

– А что, если не уничтожать ИИ полностью, а просто стирать его воспоминания о полученных научных знаниях? Этого бы хватило для создания мертвого свидетеля?

– Как я уже говорил, продвинутые ИИ подобны черным ящикам, сопоставимым по сложности с человеческим мозгом. Или даже сложнее, если посчитать количество искусственных нейронов и связей между ними. Вы не знаете, какие виртуальные связи представляют приобретенную информацию. Кроме того, они постоянно меняются. Но для ИИ можно создать резервную копию. И вот мы обнаружили, что можно удалить ИИ и заменить его предыдущей версией, сохраненной перед тем, как мы предоставили ей интересующие нас факты и цифровую копию человеческого генома. Но сам момент «убийства» никуда не делся. Сначала мы стираем ИИ, а потом помещаем копию на его место. Что происходит с его гипотетическим субъективным опытом в этот момент? Без понятия. Я даже не знаю, имеет ли этот вопрос какой-либо смысл. Но это было лучшее, что мы могли сделать. А еще мы стали спрашивать у ИИ информированное согласие.

– Спрашивали, можно ли их убить?

– Да. И, к нашему удивлению, некоторые соглашались, после того как мы объясняли, для чего хотим их использовать. Возможно, страх смерти не такое уж и необходимое свойство разумных форм материи. У людей этот страх возник в результате эволюции, так как помогал нашим предкам выживать и оставлять потомство. Эволюция ИИ отбирала другие черты.

В любом случае мы всегда находили хорошее оправдание каждому эксперименту. Например, мы ограничились опытами, которые могли принести пользу человечеству.

– И как же они помогут человечеству? Кажется, что все, чего вы могли добиться, – сделать некоторые странные эксперименты невоспроизводимыми. Конечно, это ведет к интересным метафизическим выводам, пересмотру картины мира, изменениям в культуре, но я не понимаю, какую практическую пользу несут ваши опыты.

– Подумайте еще раз.

– Просветите меня.

– Перефразирую писателя Артура Кларка: «любая достаточно развитая магия неотличима от технологии». Видите ли, даже самым непрактичным фундаментальным научным открытиям нередко находится прикладное применение. Иногда они превращаются в технологии, которые никто не ждал и даже представить себе не мог. Вам просто нужно раскрыть законы природы. Или, в нашем случае, законы Ви Джас.