Рациональность: От ИИ до Зомби

Нельзя сказать «Платон страдал от когнитивных искажений, ведь он не знал теории относительности» — он не мог о ней узнать, его незнание было порождено не формой его ментального оборудования. Но если Платон считал, что лучшими правителями будут философы, из-за того что он сам был философом — а это убеждение, в свою очередь, возникло благодаря универсальному политическому инстинкту рекламировать себя, а не из-за того, что отец Платона говорил «долг каждого — говорить, что его профессия достойна занимать трон правителя», и не из-за того, что в детстве Платон нюхал слишком много клея — то тогда это значит, что Платон страдал от когнитивных искажений, и не имеет значения, знал ли об этом сам Платон.

Возможно, искажения трудно исправить. Возможно, они не исправляются в принципе. Но дело не в этом. Если, взглянув на своё ментальное оборудование, мы видим заурядный пример известного класса ошибок, и эта ошибка возникает из-за созданной эволюцией формы оборудования, а не из-за недостатка оборудования или плохого его содержимого, то мы называем её искажением.

Лично я вижу цель оттачивания навыков рационалиста в усилении способностей находить истину. Задание состоит в том, чтобы добраться до позитивной отметки (истины), а не в том, чтобы избежать негативной отметки (неудачи). Пространство неудач велико, там найдётся бесконечное множество ошибок в бесконечном их разнообразии. Трудно описать столь обширное пространство: «Свойство этого яблока может не быть свойством того яблока. Поэтому про одно яблоко можно рассказать большее, чем про все яблоки в мире». Пространство успеха меньше, и поэтому про него можно рассказать большее.

Я не питаю отвращения к разговорам об определениях, но нельзя забывать, что это не главная наша цель. Мы преследуем великую цель нахождения истины, нам отчаянно нужны знания, и кроме того, мы любопытны. Поэтому мы стремимся преодолеть все лежащие на пути препятствия, и без разницы, как мы их при этом называем.

Доступность

Элиезер Юдковский

Эвристика доступности - суждение о частоте или вероятности события по тому, насколько легко приходят на ум примеры данного события.

В известном исследовании 1978 года «Оценка частоты смертельных исходов»1 изучались ошибки при количественной оценке серьёзности рисков. Испытуемым называли два бедствия и спрашивали, какое из них происходит чаще. Испытуемые считали, что несчастные случаи уносят столько же жизней, сколько и болезни, думали, что убийство является более частой причиной смерти, нежели самоубийство. Хотя на самом деле, число умерших от болезней в шестнадцать раз превосходит число погибших от несчастного случая, а самоубийства происходят в два раза чаще убийств.

Очевидная гипотеза, объясняющая эти искажённые убеждения - что об убийствах чаще говорят, нежели о самоубийствах, и, таким образом, людям проще вспомнить разговор об убийце, нежели о суициднике. Несчастные случаи производят большее впечатление, нежели болезни - возможно, поэтому людям проще запомнить или вспомнить несчастный случай. В 1979 году, следующее исследование Комбса и Словика показало, что суждения с искажённой вероятностью сильно коррелируют (0.85 и 0.89) с искажёнными цифрами, которые были размещены в двух газетах2. Хотя это не проясняет, легче ли вспомнить убийства, потому что о них больше пишут, или же репортёры больше пишут об убийствах, потому что убийства производят большее впечатление (и поэтому легко запоминаются).

Но так или иначе, эвристика доступности тут присутствует. Избирательная отчётность - это один из основных источников искажений доступности. В родоплеменном окружении большая часть ваших знаний была основана на вашем личном опыте или же услышана напрямую от члена племени, который видел это. То есть между вами и фактом был максимум один слой избирательного сообщения. Сегодня, при помощи интернета, вы можете увидеть сообщения, которые проходят через шесть и более рук по пути к вам - шесть последовательных фильтров. По сравнению с нашими предками, мы живём в большем мире, в котором происходит больше событий, информации о которых к нам доходит меньше, поэтому эффект избирательности куда сильнее, что создает большие искажения доступности.

В реальной жизни, едва ли вы встречались с Биллом Гейтсом. Однако благодаря избирательным сообщениям от СМИ, у вас может появиться искушение сравнивать ваш жизненный успех с его - и страдать, соответственно, от полученного результата. Объективная частота встречи таких людей как Билл Гейтс - 0.00000000015, но слышите вы о нем куда чаще. И наоборот, 19% планеты живёт менее чем на один доллар в день, но я сомневаюсь, что хотя бы одна пятая тех постов, что вы сегодня читали, пишут о них.