Матрица выигрышей будет выглядеть примерно так.
Для нас очевидно, что с практической и, в данном случае, с моральной точки зрения нам лучше всего выбрать предательство: одна скрепка в другой вселенной никак не может стоить миллиарда жизней. Для ИИ очевидно, что предательство с его стороны в любом случае обеспечит ему дополнительную скрепку, а ценность человеческой жизни его код приравнивает к нулю; следовательно, он тоже выберет предательство. Однако при таком раскладе все получат худший результат, чем при обоюдной готовности пойти на сотрудничество. Но если бы ИИ согласился сотрудничать, а мы выбрали предательство, то смогли бы спасти еще больше жизней, а ИИ, при обратном раскладе, мог бы добыть еще одну скрепку.
В реальном мире многие дилеммы заключенного с двумя сторонами и небольшим масштабом разрешаются через механизмы торговли и судебный контроль за соблюдением контрактов и законов. В нашем примере это мог бы быть бог с абсолютной властью над обеими вселенными, которого заботило бы только соблюдение предварительных договоренностей: тогда люди и искусственный интеллект могли бы подписать контракт о сотрудничестве и попросить бога не допустить предательства с обеих сторон. Когда у сторон нет возможности заключить предварительный контракт, законы предусматривают наказание за одностороннее нарушение. Но во многих ситуациях, особенно если в них задействовано много сторон, возможности для предательства все равно остаются:
░ Алиса продает лимоны, но сейчас они подгнили, и покупателям придется сразу выбросить такой товар. Должна ли она продавать лимоны? (Нужно иметь в виду, что на этом рынке очень много продавцов и за репутацией каждого не уследишь.) Ожидаемая выгода для Алисы: $5 выручки за лимон минус $1 расходов на доставку/хранение = $4. Ожидаемые потери для общества в целом: $5 выручки минус $1 расходов минус $5 потраченных впустую денег покупателя = —$1. Алиса в итоге продает лимоны.
░ Должен ли Боб пожертвовать $1000 на разработку Bitcoin? Ожидаемая выгода для общества: $10 × 100 000 человек минус $1000 = $999 000, ожидаемая выгода для Боба: $10 минус $1000 = —$990, так что Боб не жертвует деньги.
░ Чарли нашел чужой кошелек, в котором было $500. Должен ли он вернуть его? Ожидаемая выгода для общества: $500 (получателю) минус $500 (потеря Чарли) плюс $50 (нематериальная выгода для общества от того, что каждый может немного меньше беспокоиться о сохранности своих кошельков). Ожидаемая выгода для Чарли: —$500, так что он оставляет кошелек себе.
░ Должен ли Дэвид снизить расходы своей фабрики за счет сброса токсичных отходов в реку? Что в этом случае получит общество: экономия Дэвида $1000 минус увеличение средних медицинских расходов на $10 × 100 000 человек = —$99 900. Что получит Дэвид: $1000 минус $10 = $990. Дэвид выбирает загрязнение окружающей среды.