研究问题：自上而下的语言信息是否会影响知觉的反应过程是言语知觉领域尚未解决的问题。

研究方法：该研究在两个实验研究中，采用事件相关电位（ERP），分析了跨通道序列语义启动效应对听觉N1（听觉编码的指标）的影响。实验过程中，听觉刺激（如“potatoes”）在与之相关的视觉启动刺激（如“Mashed”）（土豆泥）之后出现。启动刺激还包括中性启动刺激（如“FACE”）或视觉掩蔽刺激（如“XXXX”）。听觉目标刺激分浊辅音（/b/, /d/, /g/）或清辅音开头(/p/, /t/, /k/)两种，这两种刺激会在N1波幅上表现出声学差异。

实验结果：在实验1中（N=21），相关的语音环境对即将到来的听觉刺激起着调控作用，表现为N1波幅的减小。在实验2中，当被试的预期是浊辅音类型时，中VOT（voice-onset times，嗓音开始时间）的N1波幅与短VOT相似；当预期的是清辅音类型时，中VOT的N1波幅与长VOT相似。这些结果表明自上而下的词汇加工影响着早期言语知觉。该文章发表在Psychological Science。 

关键词：言语知觉；语义启动；知觉编码；自上而下的加工；事件相关电位

 

·     背景

VOT（voiceonset time），即 “嗓音起始时间”、“浊音起始时间”、“发声起始时间”、“声带震动起始时间”。指，某一辅音从除阻的一刻到声带开始震动，中间所经过的时间，元音后的塞音也可以计算 VOT（voice offset time）。Toscano（2010）等人的研究表明，声音的N1波幅会随着VOT的变化而变化，表明N1可作为早期言语知觉的脑电指标。由于 N1 可提供知觉编码的实时测量, 所以N1可以作为检测自上而下的信息对早期知觉加工影响的脑电成分标记。

SOA，即Stimulus Onset Asynchrony，直译为“刺激呈现的不同性”。在心理学启动实验中，指从启动刺激（Prime）呈现起到目标刺激（Probe）呈现之间的时间，SOA常用于研究启动效应。

认知科学中一个长期存在的争论涉及到知觉和认知过程之间的模块化程度。这一争论在语言和一般认知能力之间的争论尤甚。其中，一个重要的问题是语言结构的不同成分是否相互作用。本文作者主要解决的问题是：词汇表征影响言语感知的程度（表征是个心理学概念，请直接百度）。

 

实验一

·     实验方法

实验一为3（启动类型（视觉）：相关刺激；中性刺激；掩蔽刺激）*2（VOT（听觉）:短[浊音]；长[清音]）*3（SOA:600ms；900ms；1200ms）的实验设计。3个block共252个trial，包括三类启动刺激在三种不同的SOA之后出现两类目标刺激（14个浊音；14个清音）。

·     实验任务

首先呈现600ms±100ms的注视点，然后呈现启动刺激，之后间隔600或900或1200ms的SOA，然后被试会听到听觉刺激。被试被要求去判断听到的刺激开头的声音是什么（迫选：/b/, /d/, /g/, /k/, /p/, /t/）。下一次trial出现之前有200ms的间隔时间。如果被试3000ms内没有做出反应（无效试次），则开始下一个trial。 

·     EEG数据处理

脑电活动情况采用26导电极帽记录（采样频率：500 Hz）。电极按照国际标准导联10—20电极系统位置安放（C3, C4, Cz, CP1, CP2,CP5, CP6, F3, F4, F7, F8, Fz,FC1, FC2, FC5, FC6, O1, O2,Oz, P3, P4, P7, P8, Pz, T7, T8），电极阻抗小于10kΩ。接地电极放置在前额处，以左乳突（A1）为参考电极，之后以左右平均作为参考电极，同时记录垂直眼电和水平眼电。使用Matlab环境下的EEGLAB来分析ERP数据。用独立成分分析来校正眨眼和眼球运动违迹。之后采用半自动方式去除高于75μV的波。滤波去除了约13.9%的trail。

 

·     实验结果

（1）行为结果

    被试对于目标听觉刺激的首发音判断的正确率为98.2%。研究者通过对比不同的启动条件，来检测跨通道的启动效应。结果发现，相关启动条件下的反应时无论是在浊音（图1a左）或清音条件（图1a右）下，均小于其他两种条件（M = 647.07ms, CI = [636.67, 657.47]）。中性启动条件下的反应时(M = 839.90 ms, 95% CI = [830.46, 849.34])小于掩蔽启动条件下的反应时(M = 929.76 ms, 95% CI = [921.96, 937.57])。RT在清音及浊音及三种VOA条件下的反应模式均相同（图1a）。

图1a 不同条件下的反应时（ms）变化

去除极端反应时（高于3000ms或低于200ms），以3（启动类型：相关刺激；中性刺激；掩蔽刺激）*2（VOT:短[浊音]；长[清音]）*3（SOA:600ms；900ms；1200ms）做重复测量方差分析，结果表明，启动条件的主效应显著（F(2, 40) = 153.63, p < .001, ηG2 = .51）。进一步分析的结果表明，中性启动条件下的反应时显著小于掩蔽启动条件（F(2, 20) = 60.39,p < .001, ηG2 = .17）而相关启动条件下的反应时显著小于中性启动条件（F(2, 20) =183.85, p < .001, ηG2 = .36）。SOA的主效应也显著（F(2, 40) =3.71, p = .033, ηG2 = .001）：越短的SOA，被试的反应时也越短；辅音的主效应同样显著：清辅音刺激的反应时更短（F(1, 20) =5.83, p =.025, ηG2 = .004）。行为结果表明，研究者对于启动刺激的操纵是有效的，且不同的VOA与不同的辅音条件下的的反应时不同。

 

（2）脑电结果

N1波幅：目标刺激在前中部，100ms—200ms之间引发了典型的N1与P2波幅。图1b表示，前额部（Fz,F3, 及 F4）在三种启动条件下的平均波幅（相关刺激；中性刺激；掩蔽刺激）。图1c是刺激出现后的75ms至125ms的N1的平均波幅。结果表明，与清辅音刺激(M = −2.09 µV, 95% CI =[−2.69, −1.48])相比，浊辅音刺激(M =−3.37 µV, 95% CI = [−3.94, −2.79])引发更大的N1波幅。此外，相关启动条件(M = −1.95 µV, 95%CI = [−2.67, −1.23])下的N1波幅显著小于中性启动条件(M = –2.95 µV, 95% CI = [−3.42, −2.48])或掩蔽启动条件(M = −3.24 µV, 95% CI = [−4.00, −2.56])。

对N1的平均波幅做3*2*3的重复测量分析，即3（启动类型：相关刺激；中性刺激；掩蔽刺激）*2（VOT:短[浊音]；长[清音]）*3（SOA:600ms；900ms；1200ms）。结果表明，VOT的主效应显著，与短VOT相比，长VOT可引发更小的N1波幅。与预期不符的是，VOT与启动类型的交互作用（相关启动条件下的不同VOT可引起N1波幅的差异）不显著。启动类型的主效应显著（F(2, 40) =3.60, p = .036, ηG2 = .04.），进一步做分析发现，相关启动条件下的N1波幅显著大于中性启动条件（F(1, 20)=5.92, p = .024, ηG2 = .03），而中性启动条件与掩蔽启动条件之间的N1波幅没有显著差异。

图1b 前额部（Fz,F3, 及 F4）在三种启动条件下（相关刺激；中性刺激；掩蔽刺激）的平均波幅

 

图1c 刺激出现后的75ms至125ms的N1的平均波幅

 

·     实验一讨论 

实验一验证了以往研究的结论，N1可作为VOT变化的指标。但相关启动条件下，不同VOT引起N1波幅差异并没有大于其他条件（即交互效应不显著）。但实验结果发现相关启动条件下的N1波幅的整体水平小于其他两种启动条件。这可能是由于，在相关启动条件下，被试对听觉刺激只投入了少量的注意资源。其二，被试可能在看到启动刺激后通过复述对即将出现的目标刺激有着内部预期，因此对N1起着抑制作用。实验一证明了自上而下的信息影响着N1的波幅，但实验一没有揭示当自上而下信息激活不同时，是否会导致被试不同的信息编码。

 

·     实验二

实验二在实验一的基础上变化了VOT，加入了不可预期的辅音类型和模糊的刺激。这意味着被试不能仅根据启动刺激来推断目标刺激的首发音，消除了启动条件间的注意差异。

 

·    实验二方法

实验二在实验一的基础上添加了：

（a）所有的trial都使用900ms的SOA，因为实验一没有发现SOA的效应。            （b）每个目标词有三种VOT（短、中、长）。

（c）只使用/b/, /d/, /p/, 及 /t/发音的目标词，以保证所有词的组合都相似（/g/ 和/k/有更长的VOT）。因此，实验二为3（启动类型：相关刺激；中性刺激；掩蔽刺激）*3（VOT：短；中；长）*2（预期辅音类型：清辅音[短]；浊辅音[长]）的重复测量实验设计。

·     实验材料

短 VOT (即, an unambiguous bark), 长VOT (即, anunambiguous park), 或中 VOT (i.e., ambiguous between bark and park)。

·     实验任务

与实验一相同。

·     EEG记录与处理

与实验一相同，滤波最后去掉了6.25%的trial。

 

·     实验结果

（1）行为结果

如图2所示，相关启动条件下的反应时(M = 799.83 ms, 95% CI =[792.92, 806.74])无论是在浊音或清音条件下，小于中性启动条件的反应时(M = 908.26ms, 95% CI = [901.40, 915.13])及掩蔽启动条件下的反应时(M =918.07 ms, 95% CI = [911.47, 924.67])。与模糊VOT相比(M = 906.26 ms, 95% CI = [898.53,913.99])或不匹配的VOT相比(M = 899.23 ms, 95% CI = [892.41, 906.06])，当目标VOT与预期的辅音类型相匹配时，被试的反应时更快（M = 821.05ms, 95% CI = [815.10, 827.00]）（也就是浊辅音与短VOT匹配、清辅音与长VOT匹配时被试的反应更快）。

以3（启动类型：相关刺激；中性刺激；掩蔽刺激）*3 （VOT：短；中；长）*2（预期辅音类型：清辅音[短]；浊辅音[长]）做重复测量方差分析，结果表明，启动条件的主效应显著（F(2, 56) = 95.68, p < .001,ηG2 = .22），相关启动条件下的反应时最小。启动类型、VOT及预期辅音类型这三者存在显著的交互作用。具体而言，在相关条件下，当启动刺激的辅音类型与目标刺激呈现的VOT相一致时，反应时最短。

图2 不同启动条件下的反应时变化

（2）脑电结果

N1波幅：目标刺激在前中部，100ms—200ms之间引发了典型的N1与P2波幅。图3a表示，前额部（Fz,F3, 及 F4）在三种启动条件下的平均波幅（相关刺激；中性刺激；掩蔽刺激）。图1c是刺激出现后的75ms至125ms的N1的平均波幅。结果表明，在三种启动条件下，随着VOT的增加，N1的波幅逐渐减小(短:M = −4.51 µV, 95% CI = [−4.75, −4.27]; 中: M =−3.89µV, 95% CI = [−4.15, −3.62]; 长: M = –3.23 µV, 95%CI = [−3.48, −2.98])。在相关启动条件下，中VOT下的N1波幅的变化随着辅音类型的变化而变化（浊辅音: M = −3.99 µV, 95% CI = [−4.55, −3.43]; 清辅音: M = –3.32 µV, 95% CI = [−3.94, −2.69]）。模糊刺激的编码模式与启动刺激的结尾点相似。

对N1的平均波幅做3*3*2的重复测量分析，即3（启动类型：相关刺激；中性刺激；掩蔽刺激）*3 （VOT：短；中；长）*2（预期辅音类型：清辅音[短]；浊辅音[长]。VOT的主效应显著（F(2, 56) = 25.61, p < .001, ηG2 = .03），与短VOT相比，长VOT可引发更小的N1波幅。在掩蔽启动条件下，仅有目标VOT的主效应（F(2, 56) =15.59, p < .001,ηG2 = .03）。进一步的分析结果表明，与中VOT相比，短VOT引发更大的N1波幅（F(1, 28) = 6.08, p = .020, ηG2 = .01）；而长VOT比中VOT引发更小的N1波幅（F(1, 28) = 13.38, p = .001, ηG2 = .02）。目标VOT与预期辅音类型之间不存在交互作用，表明，VOT不同所引起的N1差异在不同的辅音条件下相似。在中性条件下，也有类似的结果。

图3a 前额部（Fz,F3, 及 F4）在三种启动条件下（相关刺激；中性刺激；掩蔽刺激）的平均波幅

相关启动条件可用来检测自上而下的信息对N1波幅的影响。与掩蔽、中性刺激相比，目标VOT的主效应显著（F(2, 56) =12.82, p < .001, ηG2 = .04），目标VOT与预期辅音类型的交互作用显著（F(2, 56) =4.55, p = .015, ηG2 =.01）。当目标刺激是预期中的浊辅音类型，中VOT与短VOT的N1波幅不存在显著差异（F(1, 28) = 0.02, p = .879），但显著大于长VOT的N1波幅（F(1, 28) = 11.63,p = .002, ηG2 = .03.）；相反的，当目标刺激是预期中的清辅音类型，则中VOT与长VOT的N1波幅不存在显著差异（F(1, 28) = 2.42, p = .131），但显著小于长VOT的N1波幅（F(1, 28) = 8.50, p = .007,ηG2 = .04）。因此，当预期的是浊辅音类型时，中VOT的N1波幅与短VOT相似；当预期的是清辅音类型时，中VOT的N1波幅与长VOT相似（图3b）。

图3b 不同启动条件下，N1的平均波幅随预期辅音类型的变化

·     结论

    自上而下的词汇加工影响着早期言语知觉。这一结果表明，来自多种语言表征（即不同通道的语言表征）的激活聚合在一起，以支持听者对口语的理解。

 

 原文：

Electrophysiological Evidence for Top-Down Lexical Influences on Early Speech Perception

LM Getz, JC Toscano - Psychological science, 2019 

如需原文及补充材料，请加微信：siyingyxf索取。

微信扫描（或长按识别）关注我们

感谢转发与推荐

 

欢迎浏览思影的其他课程以及数据处理业务介绍。（请直接点击下文文字即可浏览，欢迎报名与咨询）：

 

第三届脑电数据处理入门班（重庆，与15届脑电相邻）

 

第十五届脑电数据处理班（重庆）

 

第四届脑电数据处理入门班

 

 第十四届脑电数据处理班

 

第五届脑电信号数据处理提高班（南京）

更新通知：第三届眼动数据处理班（南京）

 

第四届眼动数据处理（南京）

 

第六届近红外脑功能数据处理班（上海）

 

第十九届功能磁共振数据处理基础班（南京）

 

第十届磁共振脑网络数据处理班（南京）

 

第六届脑影像机器学习班（南京）

 

第五届磁共振ASL（动脉自旋标记）数据处理班

 

更新通知：第四届任务态fMRI专题班（南京）

 

第七届磁共振脑影像结构班(南京）

 

第八届磁共振弥散张量成像数据处理班（重庆）

 

第十八届功能磁共振数据处理基础班（重庆）

 

第二十届功能磁共振数据处理基础班

 

思影数据处理业务一：功能磁共振（fMRI）

 

思影数据处理业务二：结构磁共振成像(sMRI)与DTI

 

思影数据处理业务三：ASL数据处理

 

思影数据处理业务四：EEG/ERP数据处理

 

思影数据处理服务五：近红外脑功能数据处理

 

招聘：脑影像数据处理工程师（重庆)