Даже поверхностное ознакомление с литературой по истории человечества может обнаружить намеки на такую конвергенцию: в книге
Против гипотезы этической предопределенности решительно выступает Ник Бострём в своей книге
Тезис ортогональности расширяет наши возможности, говоря, что основные цели жизни в нашем космосе не предопределены и что мы вольны в выборе и оформлении их. Он предполагает, что гарантированная конвергенция к единой цели обнаруживается не в будущем, а в прошлом, когда всякая жизнь возникала с единственной простой целью — заниматься репликацией. По прошествии космического времени наиболее развитые умы получили возможность освободиться от этой банальной цели и самостоятельно выбирать себе другие. Мы, люди, не полностью свободны в этом отношении, так как многие цели остаются генетически запрограммированными в нас, но искусственный интеллект может получить удовольствие абсолютного освобождения от таких первичных целей. Эта возможность бóльшей свободы от конечных целей очевидна в сегодняшний простых и ограниченных системах с искусственным интеллектом: как я говорил ранее, единственная цель компьютера, играющего в шахматы, — выиграть, но есть такие компьютеры, цель которых — проигрывать в шахматы, и они участвуют в соревнованиях по игре в поддавки, где их цель — вынуждать противника атаковать. Возможно, эта свобода от предубеждений эволюции может сделать системы с искусственным интеллектом более этичными, чем люди, в некотором очень глубоком смысле: философы-моралисты, такие как Питер Сингер, утверждают, что многие люди ведут себя неэтично по эволюционным причинам — например, проявляя дискриминацию по отношению к отличным от людей животным.
Нам уже известно: краеугольной в ви́дении дружественного искусственного интеллекта оказывается идея, что искусственный интеллект, постоянно самосовершенствуясь, сохраняет свои конечные (дружественные) цели по мере того, как становится все более умным. Но как может «конечная цель» («финальная», как называет ее Бострём) быть даже просто определена для сверхразума? Мне кажется, мы не можем быть уверены в ви́дении дружественного AI до тех пор, пока не ответим на этот принципиальный вопрос.