前言
全世界的科学家一直都在探索机体衰老的神奇密码。Immugent最近看到了一篇2021年发表在NATURE COMMUNICATIONS的文章，篇名为：Ageing is associated with disrupted reinforcement learning whilst learning to help others is preserved，从这项研究中读到了一些新的启示。在看到标题的一瞬间小编就被深深吸引了，并由衷感慨，“活到老，学到老”真的是一种非常有利于身心健康的生活方式。
既往研究表明，随着年龄增加，多巴胺分泌下降，成人的学习能力也随之降低，衰老与许多变化有关，包括认知功能和感知的下降。这篇文章使用年轻和年长的参与者强化学习计算模型来研究与自我相关和亲社会学习的机制，以及与社会认知能力的健康个体差异的联系。这项研究表明强化学习是许多物种表现出的一种基本机制。然而，适应性行为不仅取决于学习影响我们自己的行为和结果，还取决于学习影响他人的行为和结果。
主要内容
研究者首先选择了75名18-36岁年轻人和77名60-80岁老年人完成了一项概率强化学习任务（图1）、神经心理学测试以及自我报告的精神病特征测量，该任务旨在将自我相关（对自我的奖励）与亲社会学习（对另一个人的奖励）分开，并控制获得对自我和他人都没有奖励的总值。
这是两个很有意思的实验，实验一：角色分配包括参与者（深蓝色）、同盟者（浅蓝色）和两名实验者（绿色）。参与者和两名实验者以及在门的另一侧的同盟者在测试室内的位置如图1a。参与者和同盟者戴着一只手套来掩饰他们的身份，并在门的两侧向对方挥手致意。在这个过程，参与者被告知他们将玩一个游戏，在这个游戏中他们可以为自己、另一个参与者（玩家2）或两个参与者都分配奖励。他们被告知玩家2不会为他们玩同一个游戏，玩家2也不知道他们可能会根据参与者的选择获得额外奖励。
实验二：参与者执行亲社会学习任务，他们学习抽象符号获得相应奖励。在每个模块开始时，参与者被告知他们为谁比赛，要么是自己，要么是为另一个参与者，要么是在没有人收到奖励的情况下。“自我”条件下的积分被转换为参与者自身的额外奖励，“其他”条件下的积分被转换为玩家2的奖励，而“无人”条件下的积分被显示，但不会被转换为任何人的奖励。
<figcaption style="margin: 5px 0px 0px; padding: 0px; outline: 0px; max-width: 100%; box-sizing: border-box !important; overflow-wrap: break-word !important; text-align: center; color: rgb(221, 165, 45); font-size: 14px;">图1 亲社会学习任务和社会角色分配</figcaption>
两个年龄组的所有接受者均进行学习
为了量化学习，使用强化学习的计算模型来估计学习率（α）和温度参数（β），即人们更新预估奖励的速度和选择精度的关键指标。模型采用分层方法，使用贝叶斯方法进行比较。测试了多个模型后，基于之前的结果，使用了四个候选模型：
详细的模型比较表明，具有不同学习率的计算模型最好地解释了人们如何了解不同接受者的关联（图2）。较高的学习率与更好的行为表现相关。
<figcaption style="margin: 5px 0px 0px; padding: 0px; outline: 0px; max-width: 100%; box-sizing: border-box !important; overflow-wrap: break-word !important; text-align: center; color: rgb(221, 165, 45); font-size: 14px;">图2 模型可辨识性、参数恢复、模型比较和最佳学习率</figcaption>
老年人自学速度较慢，但亲社会行为被保留下来
使用线性混合效应模型（RLMM）分析了最合适的计算模型中针对特定条件的学习率。RLMM 固定效应为年龄组（年轻、年长）、受助人（自我、他人和无名），以及年龄组 * 受助人互动。与帮助他人相比，年轻人在有益于自己时学习速度更快。老年人的情况并非如此，与他们自己受益相比，他们学会帮助他人的行为的比率相对增加（图3a，b）。为了完整性，研究还测试了接受者和年龄组对选择高回报刺激的试验倾向的影响（图3c），结果显示，与年轻人相比，老年人更倾向于非高回报的实验结果，在研究过程中，这一现象并没有改善。
<figcaption style="margin: 5px 0px 0px; padding: 0px; outline: 0px; max-width: 100%; box-sizing: border-box !important; overflow-wrap: break-word !important; text-align: center; color: rgb(221, 165, 45); font-size: 14px;">图3 年龄组在准确性和学习率上的差异</figcaption>
自我报告的精神病特征较低，与老年人的亲社会学习有关
最后，研究了自我报告的精神病特征中的个人特性，考虑了与年龄相关的差异和对亲社会学习的影响，要求参与者完成自我报告精神病评分表（SRP-IV-SF）。对比这些尺度上的两个年龄组，发现年龄较大的参与者在核心情感-人际关系和生活方式-反社会子尺度上的得分明显较低 。与年轻人（平均值=24.36）相比，老年人自我报告的心理特征水平显著降低（平均值=21.09），而在老年人中，自我报告的心理特征分数较低，与亲社会学习率相关（图4a，b）。
<figcaption style="margin: 5px 0px 0px; padding: 0px; outline: 0px; max-width: 100%; box-sizing: border-box !important; overflow-wrap: break-word !important; text-align: center; color: rgb(221, 165, 45); font-size: 14px;">图4 亲社会学习率和情感-人际关系子尺度的自我报告精神病量表分数相关性</figcaption>
鉴于自述心理特征水平的年龄组差异及其与亲社会学习的相关性，最终通过心理特征测量的核心情感人际子量表的得分，分析考虑了年龄组对相对亲社会学习率的可能间接影响。标准调解模型（图5a）未显示明显间接影响。然而，如果自我报告的心理特征与亲社会学习之间的联系取决于年龄，则可以预测，在适度调解模型中存在显著的间接影响。这揭示了年龄组通过老年人自我报告的心理特征对相对亲社会学习率的间接影响，但对年轻人则没有（图5b）。总之，年轻人和老年人在自我报告的心理特征水平以及自我报告的心理特征分数是否与他们的亲社会学习率相关存在差异。
<figcaption style="margin: 5px 0px 0px; padding: 0px; outline: 0px; max-width: 100%; box-sizing: border-box !important; overflow-wrap: break-word !important; text-align: center; color: rgb(221, 165, 45); font-size: 14px;">图5年龄组对相对亲社会学习的间接影响仅通过老年人自我报告的心理特征</figcaption>
总的来说，这项研究使用计算强化学习模型，测试了年轻人和老年人是否学习为自己、他人（亲社会）或两者（对照组）都获得奖励的情况。与其他人相比，当他们的行为有益于自己时，年轻人学习得更快。与年轻人相比，老年人的自我相关学习率降低，但亲社会学习保持不变。
展望
除了上述研究内容外，还值得一提的是在老年人中，亚临床自我报告的精神病特征（包括缺乏对他人的关心）水平较低，该测量的核心情感人际成分与亲社会学习呈负相关。这些研究结果表明，在人的一生中，有益于他人的行为会被保留，这对强化学习和健康老龄化理论具有重要意义。这篇文章的实验设计虽然简单，但是很有新意，模型设计的切入点和完整性都很值得我们参考。
小编在学校遛弯时，经常会遇到一些已经退休的老教授在晨练。与普通老人不同的是，他们的仪态端庄，精神状态格外的好，Immugent想这可能就与他们养成终身学习的习惯有关吧。学习不仅使人的生活充实，还极大的影响着我们的精神状态，因此养成一个终身学习的好习惯是非常有利于我们身心健康的。
