Мозговой трест. 39 ведущих нейробиологов – о том, что мы знаем и чего не знаем о мозге

РИС. 9. Схема алгоритма TIMERR. (А) Алгоритм принятия решений TIMERR (справа) предполагает, что ценность вознаграждения рассчитывается путем суммирования предлагаемого удельного вознаграждения (определяемого ценностью отсроченного вознаграждения r и временем его отсрочки t) с известным по опыту удельным вознаграждением среды обитания (определяемым общим вознаграждением R, полученным за временной интервал, взятый для ретроспективного анализа, Time) и выбора наиболее выгодного варианта. Этот алгоритм можно представить графически (слева): животное (закрашенный серый кружок) оценивает, какое из предлагаемых вознаграждений даст наибольшее достижимое удельное вознаграждение, основываясь на ретроспективном анализе временного интервала Time, в течение которого было получено вознаграждение R. (B) Субъективная ценность отсроченного вознаграждения (равная величине немедленного вознаграждения r1 при t = 0, которое считается равноценным отсроченному вознаграждению r2, t2) может быть получена из алгоритма TIMERR (справа) и изображена на графике (слева) как точка пересечения с осью y прямой, которая выражает итоговое удельное вознаграждение. Важно, что альтернативные издержки времени (R/Time x t) учитываются как известное по опыту удельное вознаграждение (R/Time), умноженное на время, потраченное на его получение (t). (C) Уменьшение субъективной ценности вознаграждения заданного размера с увеличением времени, необходимого для его получения, выражается в виде функции дисконтирования времени (врезка) и показано на графике путем перенесения в будущее (справа) субъективных ценностей вознаграждения, взятых через равные интервалы отсрочки (слева, темные кружки). Субъективная ценность снижается по гиперболической кривой, что подтверждается экспериментально. (D) Алгоритм TIMERR, согласно которому субъективное удельное вознаграждение равно разнице между предлагаемым удельным вознаграждением (ожидаемое вознаграждение, деленное на ожидаемую отсрочку) и полученным в прошлом удельным вознаграждением (слева), позволяет вывести выражение (в центре) субъективного восприятия времени, ST(t). Деление ST(t) на Time дает ограниченную вогнутую (то есть выпуклую вверх) функцию от объективного времени (справа), кривизна которой увеличивается при уменьшении интервала, взятого для ретроспективного анализа (Time = 50), и уменьшается при увеличении этого интервала (Time = 500)

Этот алгоритм показывает, как должно вести себя животное, чтобы получить максимальное вознаграждение, — но насколько хорошо он объясняет закрепившееся поведение, при котором решения принимаются с учетом фактора времени? По сути, TIMERR вмещает длинный список будто бы разрозненных, но часто наблюдаемых схем принятия решений, многие из которых часто интерпретируются как свидетельства иррационального поведения людей и животных[193]. TIMERR представляет это кажущееся нерациональным поведение как весьма разумный процесс принятия решений животным, располагающим ограниченными данными об изменчивой среде (и ограниченной возможностью их получить).

Объясняет ли это, почему время не должно отражаться в мозге объективно? Разрабатывая алгоритм TIMERR, мы исходили из того, что субъективное удельное вознаграждение, рассчитываемое как отношение субъективной ценности к субъективному восприятию отсрочки, — это величина, которая отражает, насколько предлагаемое удельное вознаграждение больше, чем известное по опыту удельное вознаграждение среды обитания (рис. 9D, слева). Таким образом, субъективное удельное вознаграждение точно отражает изменения объективного удельного вознаграждения. Если посмотреть под другим углом, этот постулат равносилен утверждению, что уменьшение субъективной ценности из-за отсрочки прямо пропорционально субъективному представлению об этой отсрочке. Исходя из этого, алгоритм TIMERR позволяет вывести выражение для субъективного представления времени (рис. 9D, в центре). Поразительно, что это субъективное представление времени является вогнутой функцией от объективного времени — то есть при увеличении объективного времени субъективное время увеличивается с убывающей скоростью. Если представление субъективного времени обусловлено небольшим ресурсом мозга (как принято считать), эта вогнутая функция должна быть ограниченной (рис. 9D, справа): неиспользование ресурса нейронов будет соответствовать нулевой отсрочке, а полное его использование — неопределенно большому интервалу. Важно, что степень кривизны этой функции зависит от интервала, используемого для ретроспективного анализа: чем он больше, тем ближе представление времени к объективному, а чем он меньше, тем сильнее субъективное время отклоняется от объективного (рис. 9D, справа). Таким образом, согласно TIMERR, представление субъективного времени в мозге отклоняется от объективного для того, чтобы мы принимали решения, приводящие к большему удельному вознаграждению, в условиях, когда размер будущего вознаграждения неизвестен.