来自马克斯·普朗克大学的Eldar等人在currentbiology上发文，探讨奖赏学习信号的可解码性是否可以预测随后的情绪波动。我们的情绪经常会毫无征兆地波动，近期大量理论假设这些波动可能出现在处理奖赏的方式发生变化之前。但是，奖赏过程和日常情绪波动的关系还有待直接检验。尤其是，目前还不清楚人们对奖赏的反应程度是否每天都在变化，这种变化是否伴随着情绪上的变化。本研究选取10名被试，要求其每天报告四次情绪状态，执行两次奖赏学习任务，实验持续一周。并收集被试的自我情绪报告、行为反应，以及生理反应：心率和EEG信号，并从生理反应中解码得到奖赏预期误差。结果证明为期一周的奖赏选择揭露了快速和慢速学习过程，其过程预期误差可通过双学习过程模型从心率和EEG信号中解码出来，快速学习过程的解码可以预测数小时后的积极情绪变化，而慢速学习过程的解码可以预测一整天后的积极情绪变化。进而说明，从心率和EEG信号中可以解码出快速和慢速的奖赏学习过程的奖赏预期误差（reward-prediction errors, RPE）。而且快速和慢速学习的解码程度可以预测快速和慢速的情绪波动：积极情绪的变化伴随着更好的可解码性。
关键词：奖赏学习 情绪波动 EEG 时频分析 奖赏预期误差
实验程序：
图1描述了实验任务及程序。本研究选取20-29岁的10名被试完成实验，其中8名女性。实验要求被试报告其情绪，并且完成奖赏学习任务，整个实验在手机测试平台上完成，该平台除了记录被试心率和EEG信号外，还测量了被试的精神状态，包括：规律性的情绪自我报告问卷调查、生活事件和活动日志、运用GPS追踪被试运动，气质特征调查问卷。实验时刻表如下：被试首先参观实验室，接受指导语，安装APP，并且熟悉实验程序。从第二天被试开始实验，被试每天在8AM和4PM分别完成一部分实验，持续7天。每部分实验开始前5min首先检测被试的心率，同时要求被试报告情绪，并且完成画圈任务。接下来，被试佩戴上EEG设备完成实验任务。除此之外，被试还需要在12AM和8PM报告情绪状态。
实验任务：
每个试次，要求被试在呈现的两张图片中选择一张，然后程序会根据所选图片的概率决定是否给予硬币的奖赏。要求被试每天完成两部分实验（8AM和4PM），每部分实验中包括两个游戏。在每个游戏包括48个反馈试次（呈现新图片和明显的奖赏反馈）和24个无反馈试次（呈现以前出现过的图片和无奖赏反馈）交叉呈现。因此每个被试一共完成2316个试次。反馈试次包括有固定奖赏概率的3种图片（奖赏概率：0.25，0.50和0.75）。整个实验中，不会告知被试奖赏概率，被试只能通过试错来学习。实验将被试无反馈试次的结果作为测量其保持从先前试次中学习到的信息的程度。在无反馈试次中，不会反馈给被试奖赏信息，以避免进一步的奖赏学习。因此，该实验有六个条件：反馈（有反馈，无反馈）*奖赏概率（0.25，0.50和0.75）。
图1.实验任务及程序
心率以及EEG信号收集与预处理：
心率：使用Polar H7 cheststrap (Polar Electro, Kempele, Finland) 记录，并只允许心率在30-250范围内时才能开始实验。心率信号的预处理采用MATLAB(Mathworks, Natick, MA)，以结果为零点，分析零点以前1s到零点以后10s的信号。每个段提供了221个特征向量，并被转换为Z分数用于解码分析。
EEG：使用Brainlink Lite (Neurosky, Hong Kong)记录，该设备是512采样率的单通道头带，带有前额3个干电极。该数据分析同样以结果为零点，取-0.5—1.5s的时间段。EEG的时频分析使用FieldTrip工具箱，采用4圈Hanning窗的多窗谱估计方法分析8个频段：1, 5, 9, 13, 17, 21, 25和29 Hz。高于30Hz的频率被删除，并降低采样率为15Hz。每个段提供353个特征向量，这些向量被转换为Z分数用于解码分析。
结果分析：
1. 被试运用不同时间尺度上的双学习过程来解决任务
为了揭示奖赏学习过程的时间尺度问题，实验选择不同的模型来拟合被试的选择。结果发现被试关于奖赏学习图片的选择可以很好地拟合双学习过程模型，如图2。这一模型包括两个学习过程：慢速学习过程指学习速度很快，但是一天就会遗忘；快速学习过程指学习速度慢但并不遗忘。并且慢速学习过程可以很好地拟合负期望衰减参数，这就说明被试不仅是保持所学内容，还有巩固或者以每天5.4%的速度放大所学知识（图2b）。即使没有继续给予奖赏学习，被试受奖赏学习的影响也会随时间的推移而增加（`βrwd×time = 0.12 ± 0.05,Pboostrap = 0.04）。这一模型揭示了被试学习的快速和慢速过程，以及每个学习过程都有其各自的预期。
2. 被试在各部分实验中的选择受到其主观价值的影响
实验者在双学习过程模型的基础上，运用模式的变式（允许快速或慢速过程的学习率、决策温度和对奖赏的主观价值等层面可以在各部分实验中不同）揭示被试对奖赏学习的加工是如何在不同的实验部分改变的。结果发现假设被试在各部分实验的慢速学习过程中对奖赏硬币的主观价值不同，可以解释被试在各部分实验中选择的变化（图2D）。这些学习过程中被试主观价值的波动解释了随后其在各部分实验中的选择偏好（图2E）。
图2. 快速和慢速学习
3. 奖赏响应率作为反映奖赏信号的生理反应程度
即使被试报告情绪在一周内有很大的变化（61%），但是基于被试在任务中的选择，奖赏敏感性的逐部实验的行为测量与被试随后的情绪变化以及当前的情绪状态无显著相关（Pbootstrap> 0.1）。实验者基于此提出，对奖赏的可接受度至少有两个方面：一是敏感性。将客观的奖赏值映射到主观判断。二是响应率。反映对奖赏维度的注意，并将其作为反映奖赏信号的生理反应程度。
4. 预期误差的两个因素一致地调节生理反应—实际和预期结果
根据模型得到的奖赏预期误差（RPE）已经被证明可以调节奖赏所造成的情绪影响。实验主要有6个结果：奖赏（有奖赏，无奖赏）×奖赏概率（0.25，0.50，0.75），为了检验生理反应是否一致地由构成预期误差的两个因素—实际和预期结果所调节，我们分析了每部分实验中这六个结果的心率平均时间序列（以结果屏为零点，分段为-1—1s）和EEG信号（以结果屏为零点，分段为-0.5—1.5s）。并且计算了各部分实验中被试反应的相似性，发现相同结果的生物反应比不同结果的生物反应更相似（图3A 和 3B; 心率 : `rsame = 0.038,`rdifferent= -0.001,Pbootstrap = 10-6;EEG : `rsame = 0.005, `rdifferent = -0.001, Pbootstrap = 10-7）。该结果说明奖赏预期误差的因素一致地反映生理反应。
5. 模型拟合：从慢速和快速学习过程中推导出每个被试的逐试次预期误差
实验者提出采用模型拟合可以对目前的处理方法有以下改进：第一，模型提供对预期变化的逐试次实验估计。第二，模型揭示被试保持两种预期，并且这两种预期误差都反映在生理反应。第三，模型显示对于慢速过程，奖赏的主观价值不同，这暗示预期误差应该根据主观价值被计算。因此，实验者采用模型拟合被试的行为选择，从而从快速和慢速学习过程中推导出单个被试的逐试次预期误差。然后，实验者采用径向基函数的支持向量机回归从生理反应中解码此信号。结果发现心率和EEG信号都反映了慢速和快速学习过程所产生的预期误差（图3C），并且预期误差的两个因素可以分别从生理反应中解码出来。另外，结合心率和EEG反应的解码，得到了所有被试慢速过程以及8个被试快速过程的显著解码准确性(Ppremutation< 0.05)。
因为两个过程是从相同的结果和选择中学习到的，所以他们的预期误差是相关的(`r =0.75, Pbootstrap< 10-5)，实验者检验解码预期误差是否仅仅反映了其学习过程。因此，计算了两个过程的解码预期误差之间的相关性，但是心率和EEG反应都没有发现相关(all`r <0.006, Pbootstrap> 0.6)。计算各部分实验的解码准确性发现生理反应中，快速(`r =0.09, Pbootstrap= 0.34)和慢速(`r = 0.03,Pbootstrap= 0.71)学习过程无显著相关。然而，对于两个生理反应中的任意一个，快速和慢速过程的解码准确性与另外一个过程是显著相关的(心率: `r = 0.28, Pbootstrap< 10-6; EEG : `r = 0.24, Pbootstrap= 10-5)。
图3.心率和EEG反应
6. 奖赏高响应率伴随着被试情绪的改善
为了检验是否更大的生理奖赏预期误差（例如：对奖赏的高响应度）往往伴随着被试情绪的改善，实验者计算各部分实验中预期误差的可解码性与被试在这部分实验之后所报告的情绪变化之间的相关。因此，我们检测了每部分实验后 4小时和24小时被试的情绪变化。由于不知道是哪个生理反应能更好地反映未来的情绪变化（心率，EEG），哪一时间尺度上的情绪变化将会被反映（4h,24h），我们使用Bonferroni方法矫正这四种可能的结合。结果发现从快速学习过程得到的奖赏预期误差，其EEG信号预测4小时后的情绪变化(`β = 0.025± 0.009,Pbootstrap= 0.003,图 4A 和 4B)。然而从慢速学习过程得到的奖赏预期误差，其EEG信号预测24小时后的情绪变化(`β= 0.053± 0.021, Pbootstrap= 10-4;图 4C 和4D)。两种情况下，高预期误差可解码性预测更积极情绪，低预期误差可解码性预测更糟糕的情绪。这两种预期关系都不反映任务表现的波动(Pbootstrap< 0.009)。相反地，快速学习过程不预测24小时后的情绪变化(`β= 0.018± 0.022, Pbootstrap = 0.4; 与慢速过程的差异:Pbootstrap= 0.001)，慢速学习过程也不预测4小时后的情绪变化(`β = 0.004± 0:009,Pbootstrap= 0.7; 与快速过程的差异: Pbootstrap= 0.18)。因此，结果发现学习过程的时间尺度和随后的情绪变化时间尺度存在显著的交互作用（Pbootstrap= 0.001）。所有时间延迟到24小时的补充分析发现了相似的结果（图4E）。心率信号与情绪变化之间没有发现这一结果(Pbootstrap>0.1)，这些心率也与EEG信号无相关(Pbootstrap>0.1)。这些发现在预测快速和慢速情绪波动时，在快速和慢速学习的EEG信号之间建立了惊人的双重分离。
图4. 奖赏预期误差预测随后的情绪变化
结论及意义：
结果发现快速学习过程的解码可以预测数小时后的积极情绪变化，而慢速学习过程的解码可以预测一整天后的积极情绪变化，现实生活中的情绪波动随着奖赏可接受度在多个时间尺度上的变化而变化。该研究提出未来的研究方向：
a）探讨快速和慢速学习过程区别是有力地反映不同的大脑系统的运作还是在相同神经群体中产生的复杂多时间尺度动态性？
b）探讨影响解码准确性的过程，这些过程对涉及奖赏的瞬时计算的影响，以及这些过程与可能影响后续情绪的内部思想和外部事件之间的交互作用。该实验采用EEG测量方法，提供了一种生态化的、可扩展的方法评估奖赏响应率的波动，这可能对研究和预测病态情绪如何演变很有帮助，例如，抑郁和精神病。已有的药物和谈话疗法的疗效被认为反映了它们对患者奖赏处理的影响，这可能成为新的治疗方法的发展目标。
参考文献：EldarE, Roth C, Dayan P, et al. Decodability of Reward Learning Signals PredictsMood Fluctuations[J]. Current Biology, 2018, 28(9): 1433-1439. e7.
请微信扫码或者长按识别上图二维码关注思影科技
我们坚持以专业的角度给关注者带来脑影像资讯
获取原文：关注“思影科技”公众号，回复“原文”或“培训”，获取原文pdf及补充材料下载链接，同时欢迎浏览我们的培训通知以及数据处理业务介绍。(直接点击下文紫色字即可浏览）：
第八届脑电数据处理基础班
第四届近红外脑功能数据处理班
第九届功能磁共振数据处理基础班
更新通知：第一届脑功能磁共振提高班暨任务态fmri专题班
第三届磁共振脑影像结构班
第二届磁共振ASL（动脉自旋标记）数据处理班
第二届动物磁共振脑影像数据处理班
招聘公告：脑影像数据处理工程师2名
第六届磁共振脑网络数据处理班
第五届磁共振弥散张量成像数据处理班
思影数据处理业务四：EEG/ERP数据处理
阅读原文
