Можем ли мы создать машины, которые пойдут еще дальше и станут действовать без человеческого вмешательства таким образом, что их действия в результате обернутся хорошими или плохими последствиями для людей? Думаю, да. Думаю, они мне понравятся, кроме тех случаев, когда они будут делать раздражающие меня вещи, — и тогда они действительно станут походить на людей. Я полагаю, что они могут взбеситься и начать крушить все вокруг, но у меня есть на этот счет сомнения (впрочем, если такое произойдет, никому уже не будет дела до моих мыслей).
Но никто никогда не спросит машину о том, что она думает о машинах, которые думают. Этот вопрос имеет смысл только в том случае, когда нам есть дело до думающего, когда он для нас — автономное и интересное существо вроде нас самих. Если кто-нибудь когда-нибудь задаст машине такой вопрос, то это уже будет не машина. Я думаю, что мне пока не стоит беспокоиться. У вас может возникнуть мысль, что я отрицаю очевидное.
Когда мы окончательно запутаемся, надо будет спросить себя: о чем мы на самом деле думаем?
Не надо путать производительность и компетенции
И мышление и интеллект — это то, что Марвин Минский назвал «словами-чемоданами», то есть словами, в которые мы упаковываем много значений, чтобы можно было говорить о сложных вопросах, опуская подробности. Когда мы заглядываем внутрь этих слов, то находим массу разных аспектов, механизмов и уровней понимания. Вот почему ответить на вечные вопросы: «Может ли машина мыслить?» или «Когда машины достигнут интеллекта человеческого уровня?» — так сложно. Мы используем «слова-чемоданы», когда говорим об особых проявлениях производительности вычислений, демонстрируемых машинами, и о более общих человеческих компетенциях. Мы делаем широкие обобщения о компетенциях и сильно переоцениваем возможности машин — тех, которые есть сегодня, и тех, что появятся в течение следующих нескольких десятилетий.
В 1997 году суперкомпьютер обыграл чемпиона мира по шахматам Гарри Каспарова. Сегодня у десятков программ, работающих на ноутбуках, шахматный рейтинг выше, чем у любого когда-либо жившего человека. Компьютеры определенно могут демонстрировать более высокую производительность при игре в шахматы, чем мы. Но вот уровень их шахматной компетентности даже не стоял рядом с человеческим.
Все шахматные программы используют тьюринговский метод решения «в лоб» — поиском по дереву с эвристической оценкой. В 1970-х скорость компьютеров была такова, что этот подход перегружал программы ИИ, когда они пытались эмулировать то, как люди, по их собственным словам, обдумывают следующий ход, и в результате от алгоритма в основном отказались. У сегодняшних шахматных программ нет способа определить, почему один ход лучше, чем другой, кроме того, ведет ли он игру к той части дерева вариантов, где у противника останется меньше хороших ходов. Игрок-человек может делать обобщения, объясняя, чем хороши определенные виды ходов, другому игроку-человеку. Программы, основанные на прямых вычислениях, не способны учить людей шахматам, кроме как выступая в роли спарринг-партнера. Делать выводы и строить аналогии, учиться самостоятельно — задача человека. Шахматная программа не знает, что обыгрывает противника, не знает, что она — учебное пособие, не знает, что играет во что-то под названием «шахматы», да и само понятие «игра» ей неизвестно. Создание шахматной программы, опирающейся на «грубую силу» и побеждающей любого человека, совершенно не приближает нас к компетентности в области шахмат.