Мозговой трест. 39 ведущих нейробиологов – о том, что мы знаем и чего не знаем о мозге

Ученые из разных областей пытались выяснить, что должна представлять собой цена времени — то есть как следует соотносить время с поставленной целью, чтобы цель была достигнута[190]. С точки зрения экологии разумная цель состоит в следующем: животное должно добывать пищу в своей среде обитания так, чтобы размер вознаграждения был оптимальным. Был предложен алгоритм, описывающий достижение этой цели: ценность отсроченного вознаграждения (r) вычисляется делением ожидаемого вознаграждения на время (t), необходимое для его получения, — то есть удельное вознаграждение определяется как (r/t)[191]. Но если вы окажетесь перед выбором: выстоять короткую очередь за маленьким вознаграждением или длинную за большим — всегда ли вы предпочтете маленькую очередь, если она сулит более высокое удельное вознаграждение? Вовсе не обязательно! Это зависит от ожидаемого удельного вознаграждения для случая, когда вы вообще не будете стоять в очереди. Назовем эту величину фоновым удельным вознаграждением и попытаемся выяснить, почему оно должно влиять на наше решение при выборе того или иного варианта.

Рассмотрим разницу во времени между получением крупного вознаграждения, но позже, и маленького, но раньше. Какое вознаграждение вы могли бы получить за это время, если исходить из величины фонового удельного вознаграждения? Потеря фонового вознаграждения из-за ожидания в длинной очереди — это альтернативные издержки времени при предпочтении варианта «больше и позже» варианту «меньше и раньше». Таким образом, применительно ко времени стояния в длинной очереди за большим вознаграждением вопрос будет звучать так: не лучше ли выбрать короткую очередь, получить меньшее вознаграждение и прибавить к нему ожидаемое вознаграждение от того, что в оставшееся время вы не будете стоять в очереди? Когда фоновое удельное вознаграждение невелико (меньше, чем разница между двумя предлагаемыми вариантами удельного вознаграждения), вариант «больше и позже» выгоднее, а когда фоновое удельное вознаграждение велико (больше, чем разница между двумя предлагаемыми вариантами удельного вознаграждения), выгоднее будет вариант с короткой очередью. Такой подход к оценке возможностей с точки зрения альтернативных издержек времени также помогает понять, есть ли вообще смысл вставать в очередь за вознаграждением. Если фоновое удельное вознаграждение больше, чем удельное вознаграждение любого из предлагаемых вариантов, следует отказаться от этих вариантов, поскольку отказ принесет большую выгоду. Таким образом, получение максимального вознаграждения при поиске пищи в среде обитания требует соотнесения той или иной возможности с ее ценой, выраженной в затратах времени. Но как определить альтернативные издержки времени?

Недавно мы разработали алгоритм принятия решений TIMERR («интегрированная максимизированная оценка удельного вознаграждения на основе обучения»), который максимизирует размер вознаграждения, получаемого животным при добывании пищи в своей среде обитания[192]. Алгоритм основан на предположении, что животное ориентируется на временной интервал из недавнего прошлого, чтобы определить удельное вознаграждение среды обитания. Животное оценивает возможность, вычисляя, будет ли итоговое удельное вознаграждение среды обитания больше, чем уже достигнутое (рис. 9А). Этот простой алгоритм можно представить в виде формулы для расчета ценности вознаграждения заданного размера с заданной временной отсрочкой — это так называемая субъективная ценность (рис. 9В). Субъективная ценность отсроченного вознаграждения — это размер моментального вознаграждения, которое рассматривалось бы как равноценное. Если взглянуть на алгоритм TIMERR с этой точки зрения, станет очевидно, что альтернативные издержки времени, необходимого для получения данного вознаграждения, вычитаются из размера вознаграждения. В общем случае снижение субъективной ценности любого отсроченного вознаграждения можно выразить в виде функции дисконтирования времени. Субъективная ценность вознаграждения, выраженная функцией дисконтирования времени, уменьшается в TIMERR в привязке к временному интервалу, который животное использует для оценки удельного вознаграждения среды обитания, основанной на опыте (рис. 9С). Животное оценивает привлекательность предложения, опираясь на временной интервал для ретроспективного анализа (отрезок, за который был накоплен опыт принятия решений), и чем больше это время, тем больше терпения проявляет животное (готово ждать дольше ради того же вознаграждения).