大脑对时间的弹性感知，竟和强化学习中的奖励有关

原创 Cepelewicz 集智俱乐部

导语

日常经验告诉我们，时间的流逝有时快有时慢，而最新的研究揭示了为什么会是这样。

原文题目：

Reasons Revealed for the Brain’s Elastic Sense of Time

原文地址：

https://www.quantamagazine.org/reasons-revealed-for-the-brains-elastic-sense-of-time-20200924/

弹性的时间感知

我们对时间的感觉，是我们一切行为与体验的基础，但时间的流逝是主观的、易变的。情绪、音乐、我们的周遭以及外界发生的事，都会影响我们的对时间的感受。当面对屏幕上的图像时，我们看到愤怒的脸会感觉时间过得比看到中立的脸要更久，看到红色比看到蓝色更持久。你盯着的那壶水，似乎永远都不会开，而欢乐的时光总是易逝的。

上月《自然神经科学》的论文，来自以色列惠特曼研究院的三名科学家，发现了“什么决定了我们大脑对时间的弹性感受”。他们的发现，证实了长久以来的怀疑：大脑的时间感和大脑的奖惩学习机制有关。该发现还证明了大脑对时间的感受，受到大脑持续的对将要发生什么的预期影响。

原文题目：

Duration Selectivity in Right Parietal Cortex Reflects the Subjective Experience of Time

原文地址：

https://www.nature.com/articles/s41593-020-0698-3

所有人都知道，当我们感受到快乐时，时间总是过得飞快。哈佛大学的认知神经学家Sam Gershman说道。但更准确的描述是，当我们的大脑感受到超过预期的快乐时，时间过得更快。

多巴胺与我们对时间的感受

对于大脑，时间的感受并不是单一的。不同的脑区，依据不同的神经机制来记录时间的流逝。在不同场景下，决定我们感觉的机制也会改变。

然而，数十年的研究指出，神经递质多巴胺对我们如何感受时间，起到了关键性的作用。在我们觉得特定时段内流逝了多少时间这件事上，多巴胺的多种作用往往是令人困惑的相互矛盾。有些研究指出，多巴胺的分泌，加速了生物体对时间的感受，使其高估时间的流逝，另外的研究指出多巴胺压缩了对时间的感受，使人感觉时间过得更快。还有人发现取决于不同的场景，上述两种影响同时存在。

多巴胺对时间的感受之所以有趣，部分是由于这种神经递质因其在奖励和强化学习中的功能而广为人知。当我们经历了一个非预期的反应，例如对未来的预测出错，我们会经历大量的多巴胺分泌，这会让我们在未来更追求这样的行为，从而使我们能够从中学到新知。

多巴胺对强化学习和感知时间都起到核心作用，并不是一个偶然。诸如甲基苯丙胺这样的药物，以及帕金森症这样的神经疾病，会影响这两个过程，并都涉及到多巴胺分泌的改变。而讲行为和其后果关联起来的学习过程，也涉及到将时间中的两个时间关联起来。来自葡萄牙 Champalimaud 基金会的 Joseph Paton 表示：“强化学习算法的核心就是对涉及时间信息的学习。”

奖励如何影响对时间的感知

但科学家还没有发现，强化学习和对时间的感知是如何在大脑中被整合的。乔治梅森大学的神经科学家 Martin Wiener 说：“传统上，对这两个问题的研究是相互独立的，没有人问，我们对时间的感受，是如何和强化学习相互影响的，它们是否共用同样的神经递质系统。”

Ido Toren、Kristoer Aberg 和 Rony Paz 的最新论文对这一问题进行了细致的研究。该研究的受试者，会看到屏幕上闪烁出两个数字，通常情况下，是连续的 0，另一个数字被显示的时间会有所不同，而受试者将要回答，哪一个数字持续的时间更长。但有时也会用正数和负数来替代第二个 0 。如果显示的数字是正数，受试者会得到奖励，而如果是负数，受试者会被扣除一些钱作为惩罚。

对于受试者，其对第二个数字感受到的时间和奖励的类型相关。当意想不到的好结果出现，即研究者称之为的“正向预测误差”（positive prediction error），这一刺激持续的时间更长。当意想不到的坏结果出现时，受试者感受到的时间更短。“这说明人类对时间的感知，系统性地受到我们对该结果感受到多少意外的影响。”Villanova 大学的心理学家 Matthew Matell 评价该研究道。

该研究表明，时间感受的扭曲和奖励之间的关系是可量化的，当意料之外的奖励值越大，对时间流逝的感知被扭曲的程度越大。研究者构建了一个强化学习模型，能够预测出不同受试者在不同情况下感知到的时间扭曲程度。对大脑的影像学扫描指出，一个从事动作学习的脑区硬膜（putamen）负责感知时间的流逝。

尽管还需要进一步的实验，来确定具体的神经学机制以及多巴胺在其中发挥的作用，该研究对强化学习及时间感知的模型都意义深远。巴甫洛夫的狗能够学到铃声代表着食物，还能意识到食物能吃进嘴。然而，时序的部分，却处在强化学习的边缘部分。对某一奖励的客观时间，在强化学习模型中是一个参数，但该研究指出的时间主观感受，却没有被引入模型。

疲劳在时间感知中发挥的作用

现在是时候在强化学习的模型中，引入这样主观的部分了。如果人类会扩展或缩短对某一事件的体验时间，这也会影响我们对特定动作和结果与我们之间的距离的远近，而这会进一步影响奖励和行为的关联能够多快被学到。加州理工大学博士后 Bowen Fung 评价道：“时间的感受和预测偏差有关，这一联系为想要对环境提供准确表征的强化学习模型提供了一个额外的特征。”

对于未来试图对人类认知建模的人，以及想要理解大脑运作的人，该研究指出了，理清这两个系统相互影响的，会是一个挑战，Matell 评价道。Gershman 和他的博士后 John Mikhael 已研发了一个能够随着大脑对时间流逝的主观感受来进行适应性的调整，以提升大脑预测能力的模型。

但预测误差，并不是唯一一个影响我们对时间感知的因素。上周《神经科学》期刊的一项研究指出，当受试者反复地接触一个短暂的刺激，他们会高估时间流逝的程度。这可能是由于短刺激的神经元感到了疲倦，这使得判定更长时间的神经元有更多的影响力来决定时间流逝的长短。类似地，当经历了较长时间的刺激后，受试者会低估时间的流逝。

原文题目：

Duration Selectivity in Right Parietal Cortex Reflects the Subjective Experience of Time

原文地址：

https://www.jneurosci.org/content/40/40/7749

“通过改变刺激被展示时的背景，实验者可以操控受试者是如何感受时间间隔的。”日本国立信息与通讯研究院的认知神经科学家 Masamichi Hayashi 这样评价道，他和加州伯克利大学的 Richard Ivry 共同参与了这项工作。大脑的影像显示，右顶叶的一块区域负责对时间的主观感受。

Hayashi 和 Ivry 关注的脑区和神经机制和 Weizmann 研究院的科学家截然不同，但他们都发现了奖励和时间流逝之间的双向联系。一方面，这证明了大脑对时间的感受是多么广泛地分布在大脑中，另一方面，右顶叶和硬膜在功能和解剖学中确实有联系。Hayashi 指出，可能是两者的相互作用，产生了更加紧密结合的时间感知。不管是怎样的通用规则和计算使得这样的互作成为可能，这可能会是我们对时间感觉的基础。然而，除非我们找到这样的规律，否则科学家只能满怀期待地掐算时间。

作者：Jordana Cepelewicz

译者：郭瑞东

审校：Leo

编辑：邓一雪

复杂科学最新论文

集智斑图收录来自 Nature、Science 等顶刊及arXiv预印本网站的最新论文，包括复杂系统、网络科学、计算社会科学等研究方向。每天持续更新，扫码即可获取：

推荐阅读

集智俱乐部QQ群｜877391004

原标题：《大脑对时间的弹性感知，竟然和强化学习中的奖励有关》

阅读原文