Что мы думаем о машинах, которые думают. Ведущие мировые ученые об искусственном интеллекте

Еще в 1739 году Дэвид Юм обнаружил разрыв между вопросами с «есть» и вопросами с «должен», обратив особое внимание на резкий переход между ними, когда философ говорит о том, каков мир есть, а потом начинает использовать слова вроде «следует», «должно» или «не должно». С современной точки зрения мы бы сказали, что субъективная функция полезности (цели, предпочтения, результата) содержит дополнительную информацию, которая не дана в субъективном распределении вероятностей (убеждения, модель мира, карта реальности).

Если через 100 миллионов лет мы увидим (а) межгалактическую цивилизацию, состоящую из разнообразных, совершенно непохожих друг на друга разумов, которые активно взаимодействуют между собой, и они главным образом счастливы большую часть времени, это будет лучше или хуже, чем то, что (b) большая часть доступной материи Вселенной окажется превращена в канцелярские скрепки? Согласно закону Юма, если вы задаете разум с предпочтением (а) > (b), то можно проследить, где > (упорядочивание предпочтений) было впервые введено в систему, и представить себе иной алгоритм, который, наоборот, вычисляет (a) < (b). Покажите мне разум, который придет в ужас от явно безумной мысли превратить все сущее в скрепки, и я смогу проследить регрессию Юма и обнаружить немного иной разум, который вычисляет <, а не > для того же показателя.

Я не думаю, что разум, основанный на кремнии, должен всегда оставаться рабом разума, основанного на углероде. Но, если мы хотим получить разностороннюю космополитическую цивилизацию вместо, к примеру, скрепок, первый достаточно развитый искусственный интеллект, возможно, следует построить с такой функцией полезности, которая точно определяет этот исход. Если нам нужен ИИ, который будет сам выводить свои моральные суждения, то нам, согласно закону Юма, необходимо сначала определить общие принципы таких суждений. Для этого нужно что-то еще, помимо наличия у искусственного интеллекта точной модели мира и превосходной способности планировать.

Но, если закон Юма в принципе допускает существование обладающих сильной познавательной способностью субъектов с любыми целями, почему загрузка целей будет такой сложной? Разве мы получим не то, что запрограммировали?

Ответ таков: мы получим то, что запрограммировали, но необязательно то, что хотели. Вызывает беспокойство сценарий, при котором у искусственного интеллекта может выработаться эмоциональная неприязнь к людям. Представьте: мы создаем индуктивный алгоритм изучения ценностей и показываем ему картинки со счастливыми улыбающимися людьми, помеченные как события, обладающие высокой ценностью, — и поначалу искусственный интеллект веселит реальных людей, они улыбаются, все выглядит нормально, и методика получает экспериментальное подтверждение; а потом, когда ИИ становится достаточно умным, он изобретает молекулярные нанотехнологии и покрывает всю вселенную ровным слоем улыбающихся лиц молекулярного размера. Закон Юма, к сожалению, предполагает, что чистая познавательная мощь, в сущности, не препятствует такому исходу, хотя это и не тот результат, к которому мы стремились.

Проблема не является неразрешимой, но она выглядит технически сложной, и нам, наверное, придется справиться с ней с первого раза, как только мы построим что-то умнее самих себя. Мысль о том, что при создании искусственного интеллекта надо все сделать правильно с первой попытки и что на кону стоит будущее всей разумной жизни, закономерно вызывает крик ужаса у любого, кто знаком с данной областью.

Неважно, будет ли первая мыслящая машина создана хорошими людьми или плохими, если даже хорошие люди не знают, как создать хороший искусственный интеллект. Очевидный ответ — немедленно начать технические исследования по проблеме загрузки ценностей — имеет, мягко говоря, свои сложности. Нынешние алгоритмы искусственного интеллекта недостаточно умны, чтобы продемонстрировать основную часть проблем, которые мы можем прогнозировать у значительно более продвинутых субъектов, — значит, нет способа проверить предлагаемые решения этих проблем. Но из-за огромной важности вопроса многие люди пытаются приступить к решению как можно раньше. Приоритетные направления исследования, предлагаемые Институтом будущего жизни Макса Тегмарка, — первый шаг в этом направлении.

Однако на данный момент проблема загрузки ценностей не решена. Полных решений нет, даже теоретических. И, если ситуация не изменится в течение нескольких десятилетий, я не поручусь, что разработка продвинутого искусственного интеллекта вообще будет благим делом.

По нашему образу

Кейт Джеффри

Преподаватель поведенческой неврологии, Университетский колледж Лондона

Когниверсум[90] достиг поворотного момента в истории своего развития, потому что до сих пор все мышление во Вселенной (насколько нам известно) осуществлялось протоплазмой, а мыслящие субъекты создавались эволюцией. Мы впервые рассматриваем мыслящие существа, сделанные из металла и пластика, — существа, которых создали мы сами.