Эта коллективная работа была скрупулезной и изнурительной. Мы с Энтони и Мейей до предела сократили время, отведенное на сон и приемы пищи, чтобы успеть учесть все необходимое для наших последующих этапов. Но эта работа захватывала. После такого подробного, многоступенчатого, иногда вызывающего бурные дискуссии и опирающегося на самый широкий спектр откликов обсуждения мы были поражены тем единодушным согласием, которое было выражено по поводу большинства этих принципов в ходе нашего заключительного опроса — до 97 % поддержки по некоторым позициям. Этот консенсус позволил нам установить высокую планку для включения в окончательный список: мы оставили в нем только те принципы, с которыми согласились по крайней мере 90 % участников конференции. Хотя это означало, что некоторые довольно часто предлагавшиеся принципы были сняты в последнюю минуту, в том числе некоторые из тех, что очень нравились мне самому{141}, но это позволяло большинству участников не испытывать никаких колебаний при одобрении всего подписанного ими списка, который по окончании был распространен по аудитории. И вот результат.
Рис. 9.4
Величайшие умы, разбившись на группы, продумывают принципы разработки искусственного интеллекта в Асиломаре.
Асиломарские принципы разработки искусственного интеллекта
Исследовательские вопросы
§ 1 Исследовательская цель: Цель, к достижению которой направлены исследования искусственного интеллекта, состоит не в том, чтобы создать неуправляемый разум, а в том, чтобы разум был дружественным.
§ 2 Финансирование исследований: Инвестиции в искусственный интеллект должны сопровождаться финансированием исследований, обеспечивающих его дружественность и включающих неудобные вопросы из разных областей знания: информатики, экономики, права, этики и социологии, в том числе:
(a) Как мы можем обеспечить высокую надежность систем с искусственным интеллектом, так чтобы они выполняли то, чего мы от них хотим, без опасности нанесения вреда из-за сбоев или злонамеренного взлома?
(b) Как мы можем добиваться роста нашего процветания благодаря автоматизации при сохранении человеческих ресурсов и целесообразности их жизней?
(c) Как нам обновить наше законодательство, чтобы оно стало более справедливым и эффективным, чтобы оно учитывало существование искусственного интеллекта, и как управлять рисками, связанными с ним?
(d) Как искусственный интеллект должен быть увязан с нашей системой ценностей, и каким должен быть его юридический и этический статус?
§ 3 Научно-политическое звено: Между исследователями искусственного интеллекта и политиками должен быть конструктивный и содержательный диалог.
§ 4 Исследовательская культура: Среди исследователей и разработчиков искусственного интеллекта следует поддерживать атмосферу сотрудничества, доверия и прозрачности.
§ 5 Исключение технологической гонки: Группы, разрабатывающие системы искусственного интеллекта, должны активно сотрудничать и не допускать получения решающего преимущества за счет снижения стандартов безопасности.
Ценности и вопросы этики
§ 6 Безопасность: Системы с искусственным интеллектом должны быть безопасными и хорошо защищенными на протяжении всей операциональной жизни и проверяемыми в этом отношении, когда проверка осуществима.
§ 7 Прозрачность при неисправностях: Если система с искусственным интеллектом причиняет вред, всегда должна быть возможность выяснить причину.
§ 8 Прозрачность при использовании в судебной практике: Привлечение автономной системы к принятию судебных решений должно сопровождаться удовлетворительными обоснованиями, поддерживаемыми компетентными специалистами-людьми.
§ 9 Ответственность: Разработчики и создатели продвинутых систем с искусственным интеллектом несут моральную ответственность за последствия их правильного использования, неправильного использования и любых предпринимаемых ими действий, им вменяется в моральную обязанность предвидеть и формировать эти возможные последствия.
§ 10 Приведение ценностей в соответствие: Независимо функционирующие системы с искусственным интеллектом должны быть спроектированы таким образом, чтобы их цели и поступки гарантированно не приходили в противоречие с человеческими ценностями на протяжении всего срока их работы.