一项由葡萄牙尚帕莫未知中心，牛津大学，哥伦比亚大学，荷兰鹿特丹伊拉斯谟大学，麻省理工学院，伦敦大学，德国Max Planck生物控制论研究所，德国图欧宾根大学多方合作的研究于2020年11月4日在Neuron上发表了题为The Anterior Cingulate Cortex Predicts Future States to Mediate Model-Based Action Selection的文章，作者通过一个新的两步谜题任务了解基于模型的决策使用对行为具体后果的预测，在小鼠的一系列决策任务中使用Inscopix显微钙成像和光遗传学来证明前扣带皮层（ACC）预测了行动将导致的状态，而不单是预测它们是好是坏，并判断结果是否与这些预测相符。研究结果表明，ACC是基于模型的控制的关键节点，在预测所选操作的未来状态方面发挥着特定作用。

Credit:Thomas Akam / Rui Costa / Champalimaud Centre for the Unknown

我们的大脑可以通过思考未来和预测我们行为的后果来帮助我们做出决定。例如，想象一下，你试图找到你家附近的一家新餐厅的路。你的大脑可以为你的邻居建立一个心理模型，并计划你应该走的路线。

科学家们现在发现，大脑的前扣带回皮质(ACC)对决策非常重要，它参与了使用这样的心理模型进行学习。发表在《神经元》(Neuron)杂志上的一项关于小鼠的新研究强调了帮助大脑模拟不同行为的结果并做出选择的复杂的心理机制。

牛津大学研究员、这篇新论文的主要作者托马斯·阿卡姆博士说：“基于模型学习的神经生物学仍然知之甚少。在这里，我们能够识别出参与这一行为的大脑结构，并证明它的活动编码了决策过程的多个方面。”

破译大脑是如何建立心理模型的，对于理解我们如何适应变化和灵活做出决定至关重要：例如，当我们发现通往新餐厅的一条道路因施工而关闭时，我们会怎么做。

“这些结果非常令人兴奋，”作者鲁伊·科斯塔(Rui Costa)说。鲁伊·科斯塔是哥伦比亚大学扎克曼研究所(Zuckerman Institute)的主任兼首席执行官，博士是DVM，他在尚帕里莫未知中心(Champalimaud Centre For The Under)担任研究员时开始了这项研究，大部分数据都是在那里收集的。

“这些数据表明，在基于模型的决策中，前扣带回皮质是一个关键的大脑区域，更具体地说，是在预测如果我们选择做一个特定动作而不是另一个动作时，世界上会发生什么。”

模型或非模型？

研究基于模型学习的神经基础的一大挑战是，它通常与另一种称为无模型学习的方法并行运行。在无模型学习中，大脑不会花太多精力去创建模拟。它只是依赖于过去曾产生良好结果的行动。

例如，当你去你喜欢的餐厅旅行时，你可能会使用一种没有模型的心理方法。因为你以前去过那里，所以你不需要投入心力去规划路线。你可以简单地沿着你习惯性的道路走下去，让你的注意力集中在其他事情上。

为了分离这两种认知模式--基于模型和无模型--的贡献，研究人员为小鼠设置了一个两步谜题。
​
在这项任务中，一只动物首先从两个位于中心的洞中选择一个来进行探鼻。这个动作会激发侧面的另外两个洞中的一个，每个洞都有一定的提供水的可能性。

图1 两步谜题

阿卡姆博士说：“就像在现实生活中一样，为了获得预期的结果，受试者必须进行一系列延长的行动，并带来不确定的后果。”

为了做好这项工作，小鼠必须找出两个关键变量。一个是，侧面的哪个孔更有可能提供饮水。第二个是中心的哪个孔激发了哪个侧孔。一旦小鼠学会了这项任务，它们就会选择提供结果的动作序列。然而，除了这种基于模型的解谜方式外，小鼠还可以学习简单的无模型预测，例如“顶端是好的”，这是过去通常会带来奖励的选择。

研究人员随后改变了实验方式，要求动物保持灵活性。时不时地会出现提供水的侧孔会切换--或者中间孔和侧孔之间的映射会颠倒。

随着情况的变化，这些动物的选择揭示了它们学习时使用的策略。

阿卡姆博士说：“无模型学习和基于模型学习应该产生不同的选择模式。通过观察小鼠的行为，我们能够评估这两种方法的贡献。”

当研究小组分析了大约23万个个体决策的结果时，他们了解到小鼠同时使用了基于模型的方法和无模型的方法。

科斯塔博士说：“这证实了这项任务适合研究这些机制的神经基础。然后我们进入下一步：调查这种行为的神经基础。”

一种基于模型学习的神经图谱

研究小组专注于大脑的前扣带回皮质(ACC)区域。

科斯塔博士解释说：“先前的研究证实ACC参与了行动选择，并提供了一些证据表明它可能参与基于模型的预测。但在一项旨在区分这些不同类型学习的任务中，还没有人检查单个ACC神经元的活动。”

研究人员发现，ACC神经元的活动与小鼠的行为之间存在紧密联系。例如，科学家只需观察一组细胞的活动模式，就可以破译小鼠是在选择一个孔还是另一个孔，或者它是否在喝水。

除了表示动物在任务中的当前位置，ACC神经元还编码了下一步可能出现的状态。

阿卡姆博士说：“这提供了直接证据，表明ACC参与了对行为具体后果的基于模型的预测，而不单预测它们是好是坏。”

图2 小鼠完成两步谜题时的ACC钙成像

此外，ACC神经元还表明了行动的结果是意料之中的，还是出乎意料的，从而潜在地提供了一种机制，当预测被证明是错误的时，它可以更新预测。

研究小组还在动物试图做出决定时抑制ACC神经元。这阻止了这些动物在情况变化时做出灵活的反应，这表明它们在使用基于模型的预测时遇到了困难。

图3 两步谜题中对ACC进行光遗传抑制

理解大脑是如何控制计划和顺序决策等复杂行为，是当代神经科学面临的一大挑战。

阿卡姆博士说：“这是首批在小鼠进行操作决策的研究，证明小鼠在这些方面具有决策行为是可能的。这些结果将让我们和其他人建立对灵活决策的机械性理解。”

参考文献

“The anterior cingulate cortex predicts future states to mediate model-based  action selection,” was published on November 4, 2020, in Neuron. Additional coauthors include Ines Rodrigues-Vaz, Ivo Marcelo, Xiangyu Zhang, Michael Pereira, Rodrigo Freire Oliveira and Peter Dayan.

欢迎对此技术和应用感兴趣的老师咨询
滔博生物
咨询热线4009659906/15262408659
邮箱sales@top-bright.com
 

 

关于滔博生物
滔博生物TOP-Bright是一家集研发、生产、销售于一体的的高科技企业。我司专注于神经科学产品的研究且致力于向高校、科研机构等领域提供实验室一体化方案，业务范围遍布全国上百家实验室。公司主营产品均为享誉全球的国际品牌, 这些仪器设备都是科学研究所必备且不可替代的。

目前公司主营产品是享誉全球的国际一线领导品牌，主要有：Inscopix自由活动超微显微成像系统，Bruker多光子显微镜，功能神经外科电生理平台，动物行为系统（自身给药、条件恐惧、斯金纳、睡眠剥夺、经典迷宫等），PiezoSleep无创睡眠检测系统，NeuroNexus神经电极，电生理信号采集系统，膜片钳系统，双光子显微镜等。这些仪器设备都是科学研究所必备且不可替代的基础仪器之一。

成像平台：
1.Inscopix自由活动超微显微成像系统

 

2.Bruker双光子显微镜


3.Neurotar Mobile HomeCage 气浮笼

 

动物行为学平台：
1.PiezoSleep无创睡眠检测系统
2.自身给药、条件恐惧、斯金纳、睡眠剥夺、跑步机、各类经典迷宫等

神经电生理：
1.NeuroNexus神经电极
2.多通道电生理信号采集系统
3.膜片钳系统

科研/临床级3D打印：
1.德国envisionTEC 3D Bioplotter生物打印机
2.韩国Invivo医疗级生物打印机等