视觉工作记忆中干扰对回溯线索收益的影响

潘志虎, 刘茹邑, 郭利静,2, 叶超雄,2*

(1. 四川师范大学 脑与心理科学研究院, 四川 成都 610066; 2. 于韦斯屈莱大学 心理学系, 芬兰 于韦斯屈莱 40014)

视觉工作记忆(visual working memory,VWM)是可以对当前输入的视觉信息进行暂时储存与加工的认知系统,其记忆容量有限,大约是3～4个组块[1].大量视觉工作记忆研究使用了变化检测任务(change detection task)或回忆报告任务(recall task),二者均是给被试呈现一个记忆阵列,被试需要记住上面的刺激(如色块、光栅或真实物体),在经过短暂的空白间隔之后呈现测试阵列,不同的是在变化检测任务中,被试需要指出测试阵列中的刺激是否与记忆阵列中的一致,而在回忆报告任务中,被试需要尽可能精确地复现之前的记忆项目.研究表明,需要记忆的刺激数量超过容量限制,视觉工作记忆任务的表现会骤然下降[1-4].但是视觉工作记忆是灵活的和以目标为导向的,允许人们在短时间内主动操纵视觉信息,通过注意筛选与任务最相关的视觉信息[5-8],并在维持过程中对相关信息投入更多资源.

选择性注意是人类重要的认知功能,它帮助个体选择性地处理环境中存在的大量刺激,选择任务相关信息而忽略不相关信息[9].注意可以分为外部注意与内部注意,前者可以选择与控制外部感觉信息;后者描述了选择、控制并辅助维持大脑内部表征信息的方面[10].人们可以通过回溯线索(retro-cue),即在心理表征所对应的现实刺激消失后出现的线索,引导内部注意,使内部注意选择性地集中于视觉工作记忆中的相应心理表征,提高任务表现[11-30].例如在变化检测任务的记忆间隔期间呈现回溯线索,提示某个已经储存到视觉工作记忆中的记忆表征为接下来的记忆测试中的最相关的表征,使得与没有被线索提示的记忆项目相比,被提示的项目记忆表现有所增强,这种线索引导的内部注意对被提示项目的记忆改善被称为回溯线索收益(retro-cue benefit),与之相对的是未被注意到的项目记忆表现比控制条件(无线索或只有中性线索)下更差,前人称之为回溯线索代价(retro-cue cost).回溯线索按照提示的项目类型可以分为基于客体的回溯线索(object-based retro-cue)和基于维度的回溯线索(dimension-based retro-cue).基于客体的回溯线索直接指示某个具体的记忆项目,而基于维度的回溯线索提示所有记忆项目共同具备的某一特征.

视觉工作记忆表征在维持阶段会受到干扰的损害,即干扰效应.比如新输入的视觉干扰即便是作为被动观看的信息也有可能会对视觉工作记忆任务的表现造成损害,van Moorselaar等[31]观察到掩蔽的干扰效应表现为表征质量(精度)的下降和猜测率的增加.此外,在变化检测任务的记忆间隔期间执行干扰任务同样对回忆准确性有破坏性影响[30,32].同时,一些学者发现,干扰可能不会影响维持阶段出现的回溯线索对视觉工作记忆相关表征的提升[33-35].Hollingworth等[34]在视觉工作记忆间隔期间插入一个视觉搜索任务(visual search task),结果显示干扰任务并不会对回溯线索收益造成显著影响.然而,干扰能否调节维持阶段的内部注意再分配所带来的工作记忆表现收益仍尚存争议.Makovski等[36]在回忆报告任务间隔期间插入较为简单的数字奇偶分类任务,发现干扰任务显著增加客体回溯线索收益.类似地,Souza等[30]的研究结果显示,在变化检测任务中与任务无关的视觉输入(如探测阵列)会对视觉工作记忆表现造成干扰,而在回溯线索条件下,干扰使得客体回溯线索收益显著提高.与此相反,Janczyk等[37]在变化检测任务中插入颜色冷暖判断任务,发现干扰显著降低客体回溯线索收益;Liu等[38]在回忆报告任务间隔期间插入数字奇偶分类任务和与任务无关的知觉掩蔽,发现维度回溯线索收益显著受损.

综上所述,由于前人在回溯线索能否保护视觉工作记忆表征免受干扰的损耗或干扰能否对回溯线索收益造成影响方面的研究结论存在不一致,为了更加全面地理解回溯线索在视觉工作记忆中的功能,本文对回溯线索收益中干扰效应的影响因素进行了归纳和总结,并解释了其背后的认知机制.

具体而言,本文归纳了4个可能的影响因素:外部干扰、内部干扰、干扰时程和线索类型.通过对这些因素的分析,可以更好地理解回溯线索收益的产生机制.例如外部干扰可能会干扰回溯线索的有效利用,而内部干扰则可能导致回溯线索的干扰效应.此外,干扰时程和线索类型也可能对回溯线索收益产生影响.总之,这些研究结果对于我们更加科学地理解回溯线索的作用具有重要意义.

1 回溯线索研究中干扰效应的影响因素

以上的研究结果表明,回溯线索能否保护视觉工作记忆表征免受干扰破坏性效应存在不同的结果,通过系统梳理,我们发现一些共同的因素导致了这些矛盾的结果.下面,分别从4个方面——外部干扰、内部干扰、干扰时程、线索类型,分别讨论导致结论难以统一的众多实验设置差异.

1.1 外部干扰

1.1.1知觉干扰 外部干扰主要分为知觉干扰和双任务干扰.知觉干扰是与任务完全无关且应该被忽略的刺激,涉及自下而上的注意捕获过程,不需要主动调用认知资源进行处理.在实验室中一般是通过呈现掩蔽来操纵的.例如Makovski等[39]在变化检测任务中通过在回溯线索之后呈现一个与任务无关的掩蔽阵列——与记忆阵列数量和位置相同的双色圆盘来达到知觉干扰的效果,结果显示在无回溯线索条件下,干扰试次的正确率显著低于无干扰试次,即存在干扰效应,而在回溯线索条件下,有、无干扰试次之间的正确率没有显著差异,且回溯线索收益并未受到影响.另有证据表明,测试时提供的信息(例如色轮)会干扰检索,因为它们作为新的视觉信息引入干扰[40]:在无线索试次中,被试倾向于从空间上接近探测项目所在位置的区域选择一种颜色,而在回溯线索条件下,这种色轮吸引干扰都被消除了.这些结果表明,在无回溯线索或者中性线索条件下,注意分布在多个记忆项目间,视觉工作记忆表征很容易受到后续新的视觉输入的干扰.而回溯线索引导内部注意集中在一个即将被测试的记忆项目上,记忆表征就会得到加固,并且使来自一个不相关的视觉阵列的干扰效应被消除.总之,回溯线索允许将视觉工作记忆中的内部注意从分散模式向聚焦模式转移,显著提高了视觉工作记忆中被提示的记忆项目的稳定性,从而使其免受知觉干扰[41].

1.1.2双任务干扰 与知觉干扰涉及的注意过程不同,双任务干扰涉及自上而下的注意控制,需要认知资源的重新分配,被中断的记忆任务在第二任务完成后需要被重新激活[42].例如Makovski等[43]使用了部分报告的回忆报告任务研究注意和干扰如何影响视觉工作记忆的不同方面,以及它们是如何相互作用的.被试首先会在记忆阵列中看到3个含有不同方向信息的项目,而后在记忆维持期根据回溯线索引导内部注意,回溯线索消失之后会以视觉或听觉的形式呈现干扰——数字奇偶分类任务,被试需要对屏幕上出现的或者听到的数字进行奇偶分类,最后出现探测阵列,完成方向记忆任务.结果显示,执行干扰任务会多方面地损害视觉工作记忆表现:降低了回忆精度,增加了猜测率和交换错误(错误报告记忆中未被提示的项目).相比之下,回溯线索重新分配内部注意普遍改善了视觉工作记忆表现:提高了回忆精度,降低了总体猜测率和交换错误.更重要的是,回溯线索和干扰任务之间的交互作用仅存在于交换错误,而不存在于回忆精度或猜测率,这一发现清楚地表明,回溯线索引导的内部注意分配在保护特征-位置联结不受干扰方面发挥着特定的作用[4,16].然而,回溯线索并不足以完全克服干扰任务所产生的强大的破坏性效应,并且,听觉干扰任务也和视觉干扰任务一样对记忆表现造成了损害,说明干扰很可能是作用于任务所需的中央执行过程,而不是记忆存储容量本身[32].然而,其他研究展现出不同的结果,Makovski[33]在变化检测任务中引入数字奇偶分类任务,结果发现干扰和回溯线索之间的交互作用并不显著,表明回溯线索收益并未受到干扰的影响.Hollingworth等[34]通过在有回溯线索的变化检测范式中引入一个高要求的视觉搜索任务(被试需要在显示搜索项目时做出反应,以指明目标的位置),结果发现搜索任务的增加并没有使线索效应的幅度明显减少.

综上,干扰类型会对回溯线索收益中的干扰效应产生影响,而它们的干扰效应需要具体到实验设置进行分析.我们主要讨论知觉干扰和双任务干扰,两者涉及不同的神经机制以及注意过程.Schneider等[21]的脑电图结果显示,顶叶部位的负慢波的下降可能反映了回溯线索对知觉干扰的防御作用.这一下降的现象表明了回溯线索能够释放认知资源,防止对随后无关刺激的深入处理,从而抑制它们向视觉工作记忆转移.并且,Gazzaley等[27]的功能磁共振成像连接分析显示,当记忆任务受到无关刺激的干扰时,被编码的记忆表征可以通过保持额叶回路和视觉联想皮层之间的功能连接来保持稳定.这种连接在整个记忆维持过程中起到关键作用.然而,当维持过程被干扰任务中断时,被编码的记忆项目不再被维持,而需要在干扰结束后重新激活.通常来说,自上而下的双任务干扰比自下而上的知觉干扰需要更多注意资源参与,所以其回溯线索收益的干扰效应更强.

1.2 内部干扰不仅外部新输入的干扰可能对回溯线索效应产生影响[32-35,37,43],视觉工作记忆内部的表征之间也可能存在干扰.回溯线索可以有效保护被提示的项目表征免受其他未被提示的表征的干扰,这种内部注意的保护作用十分灵活,甚至在更换注意对象后依然有效.从Rerko等[16]的研究中可以得出结论,回溯线索可以有效地保护被提示的项目的表征免受其他未被提示的表征的干扰.他们使用变化检测范式进行研究,通过连续呈现2个探测阵列来测试对不同刺激的记忆.回溯线索可能指向第一个或第二个被探测到的物体.当回溯线索提示第二个被探测物体时,注意需要从第一个被探测物体的表征转移到线索指向的表征上.研究结果表明,不论被提示的项目是哪一个被探测物体,回溯线索仍然产生了相似的收益,其他未被提示的项目并不会干扰被提示项目的检索.这表明,集中内部注意于一个记忆项目可以抵消来自其他记忆项目的干扰,从而提高被提示项目回忆时的记忆表现.此外,视觉工作记忆中的优先表征无需持续地集中注意即可保持其优先状态.然而回溯线索收益存在严格的数量限制,即回溯线索仅可以有效地保护1～2个被提示的项目免受记忆中的其他项目的干扰[14],但被注意到的多个记忆项目可能竞争记忆资源,并抑制彼此表征的形成,导致记忆退化[44-46].Oberauer[46]提出了一种基于干扰的视觉工作记忆解释模型.在他们的干扰模型中,记忆表征无论是以离散插槽还是连续资源的形式储存,在视觉工作记忆中必须同时维持的表征越多,它们受到的干扰就越多.Barth等[22]通过回溯线索操纵被提示项目的数量(1个、2个或3个项目)结果显示,只有当一个项目被回溯线索提示时,一般的回溯线索收益才会出现.当有2个项目被提示后,回溯线索收益表现出显著下降.当有3个项目被提示后,此时的记忆表现与中性条件下没有显著差异.这些结果表明,回溯线索可以有效地避免由视觉工作记忆内部表征之间的竞争所带来的干扰,但是存在数量限制,多目标表征相对于单目标表征受到内部干扰的损害更大.

总之,回溯线索通过引导内部注意对视觉工作记忆表征进行分级储存,使被线索提示的记忆表征处于优先状态.在优先状态下,被提示的记忆表征不会受到其他未被注意到或曾经被注意过的记忆表征(优先级较低)的干扰.然而,同处于优先状态的项目表征之间存在内部竞争,这可能导致回溯线索的效益降低.

1.3 干扰时程个体对于工作记忆表征进行记忆巩固时存在不同的阶段,在不同阶段下个体资源分配的模式存在差异[47-49].因此,不同干扰时程对回溯线索效应的影响也引起了研究者们的兴趣.在前人研究中,通过操纵线索与干扰之间的时间间隔,发现在不同的时间间隔条件下,回溯线索收益展现出不同的结果模式.van Moorselaar等[41]通过改变回溯线索和视觉掩蔽的SOA(stimulus onset asynchrony,指从线索出现到干扰出现的时间间隔,100、200、500或600 ms)研究线索与干扰的时间间隔是否对回溯线索收益造成影响.结果显示在SOA为500 ms时,被提示的记忆表征仍然受到掩蔽的损害,但其受损程度低于没有线索的条件;在SOA为600 ms的条件下,被提示的记忆表征在有无干扰条件下表现没有显著差异.这些发现表明在本实验中,大约需要500～600 ms才能充分处理回溯线索,完成内部注意的再分配.总的来说,该研究发现,尽管回溯线索收益出现相当迅速,但对知觉干扰的抵御会随着时间的推移而逐步增强,需要500～600 ms才能完成.类似地,Hollingworth等[34]在其颜色变化检测任务中插入视觉搜索任务,结果发现当回溯线索与双任务之间的时间间隔为700 ms的时候,双任务干扰并不能对回溯线索收益造成显著影响.然而,在Janczyk等[37]的研究中采用心理不应期范式(指2种任务在时间或空间上的距离太近而让人“反应不过来”,即2种重叠任务同时竞争有限的心理资源),研究结果表明,当回溯线索与双任务相当接近时,回溯线索收益显著降低.

这些实验中共同存在内部注意的转移过程:在回溯线索出现后的500～600 ms内,内部注意会集中于被提示项目的表征上.回溯线索出现600 ms后,对集中内部注意的需求逐渐减弱,注意主要维持各级表征.在干扰刺激出现后的短暂时间内,注意会从回溯线索转移到干扰刺激上,发生注意偏移.然而,注意集中和偏移都需要一定时间来完成.如果干扰刺激出现过早,会打断对被提示项目表征的注意聚集,从而削弱回溯线索收益.而如果干扰刺激出现过晚,测试阵列出现时内部注意仍停留在干扰刺激上,从而损害视觉工作记忆任务的表现.

1.4 线索类型回溯线索按照提示的项目类型可以分为基于客体的回溯线索和基于维度的回溯线索.上述研究范式中基本使用的是基于客体的回溯线索,而基于维度的回溯线索研究是近几年出现的热点问题[19-20,50],接下来讨论干扰对维度回溯线索收益的影响.

Liu等[38]在回忆报告任务中分别插入了掩蔽和数字奇偶分类任务,并通过维度回溯线索引导内部注意,研究不同类型的干扰对基于维度回溯线索收益的影响.他们的研究结果表明,无论是知觉干扰还是双任务干扰,两者均会对基于维度的回溯线索收益造成显著损害.另外,通过操纵维度回溯线索和干扰之间的时间间隔,发现无论干扰何时发生,维度回溯线索收益均显著受损.这一发现与之前关于基于客体的回溯线索收益的研究形成了对比[34,41].

干扰对客体回溯线索和维度回溯线索收益不同的影响表明两类线索机制不同.客体回溯线索可以直接减少被试需要维持的记忆表征的数量,允许被试将内部注意直接聚焦于一个记忆表征上,而维度回溯线索使被试维持的表征数量不变,被试仍需将注意覆盖在较广范围的众多记忆项目中.客体回溯线索收益相对于维度回溯线索收益更大[25],从而使得维度回溯线索收益容易受到干扰的损害.

2 认知机制

视觉工作记忆可以通过回溯线索引导内部注意,使被选择信息在接下来的测试中的表现得到提高,产生回溯线索收益,而记忆阵列消失之后所呈现的干扰是否影响回溯线索收益仍存争议.接下来从回溯线索收益产生机制的角度讨论这种不稳定的干扰效应背后的认知机制.

首先,移除假设认为未被回溯线索提示的表征会被移出视觉工作记忆,从而将有限的资源集中于更可能被测试的信息,提高记忆效率.由于移除过程与回溯线索识别同步完成,后续出现的干扰并不会影响移除.在无线索或中性线索条件中,所有表征始终被维持在视觉工作记忆中,在记忆负荷较高的情况下,难以分出额外的资源抵抗干扰,可能导致表征受损;而有效线索出现后,留在视觉工作记忆平台中的表征减少,平均获得的资源更多,记忆负荷降低,对干扰的抵御增强,表征不受干扰损害.故而相比无干扰情况,干扰情况中的回溯线索收益不变或增强[21-22,43].另一方面,当掩蔽干扰出现在回溯线索前,视觉工作记忆负荷较高,对干扰的抵御效果不佳,即便接下来利用回溯线索移除部分表征,留下来的表征已然受损,干扰对回溯线索收益造成显著损害[39].

此外,增强假设主张被提示的表征得到增强位于更高的优先级,从而在测试中取得更好的表现.但这种增强需要内部注意持续、稳定地集中于相应表征,回溯线索后干扰作为新的视觉输入,会打断这种注意,损害被提示的表征的优先地位,对回溯线索收益造成不利影响.这一假设解释了在Liu等[38]研究中的实验结果.他们在回溯线索后分别插入知觉干扰和双任务干扰,打断内部注意,使被提示的记忆表征未得到充分增强,从而导致回溯线索收益下降.

最后,保护假设认为客体回溯线索引导视觉工作记忆中的注意从分散模式转为聚焦模式,从而保护线索指向的项目免受外部干扰和表征间竞争.Janczyk等[37]将保护作用的产生分为相继的2个阶段:先根据回溯线索进行注意资源再分配,再对表征进行差异化维持,保护被选择的部分信息.叶超雄等[51]检验认知分离假设的实验也发现,个体内部注意加工和决策判断加工在时间上依次进行才会出现回溯线索收益,即内部注意再分配需要一定时间,当线索与测试之间的时间间隔过短,甚至没有间隔,内部注意加工被测试环节打断,回溯线索收益受损.类似地,在van Moorselaar等[41]的研究中,当回溯线索与掩蔽之间的时间间隔较短时(350 ms),知觉干扰出现在注意资源再分配阶段,个体内部注意向目标表征集中的过程被打断,保护作用消失,导致掩蔽对回溯线索收益造成损害.而当内部注意集中到特定的记忆表征的过程结束,干扰出现在表征差异化维持阶段,即在较长的回溯线索与掩蔽时间间隔条件下(500～600 ms),干扰对回溯线索收益没有影响.

在这些实验中,干扰会对一部分机制产生影响,而对另一部分机制则没有影响.回溯线索收益并不是由单一机制驱动的,而是受到多个复合条件的影响,因此,最终的结果也会有所不同.这意味着干扰对回溯线索收益的影响是复杂而多样的,需要考虑多个因素的综合作用.

3 模型建构

综上所述,视觉工作记忆中回溯线索的干扰效应是多种因素混合作用的结果.我们提出了一种干扰影响回溯线索的三维认知模型,旨在更清晰地解释各类因素与回溯线索收益之间的关系(如图1所示,a和b区域回溯线索下的干扰效应更强).该模型首先展示了外部干扰和内部干扰两大因素.外部干扰分为知觉干扰和双任务干扰,其中双任务干扰需要额外的认知资源,导致对回溯线索收益的损害更为严重[27].内部干扰由与目标项目处于同一优先级的其他项目造成,竞争记忆资源并导致记忆表现下降[16].回溯线索可以提高目标项目的优先级,减少内部干扰的影响,但对目标项目数量存在一定限制.目标表征越多,受到相同优先级的其他目标表征的干扰越大[14,22,46].此外,不同类型的回溯线索受干扰的影响也不同.维度回溯线索未能直接减少个体所需维持的目标表征数量,因此更容易受到干扰的影响[38].

注:x轴表示外部干扰,y轴表示内部干扰,z轴表示线索类型,a和b区域下的干扰效应更强.

最后,回溯线索与干扰之间的时间间隔也会影响回溯线索的效果.过早呈现干扰会打断内部注意的集中,而过晚呈现会使内部注意仍停留在干扰上[34,37,41].综合而言,该三维认知模型可以帮助我们更好地理解回溯线索及其受干扰影响的机制,对于提高视觉工作记忆的理解具有重要意义.

4 小结与展望

本文通过整理相关文献,对视觉工作记忆中干扰对回溯线索收益的影响进行了系统梳理.在前人研究中发现了一些不一致的结果,并归纳出可能导致这些不一致结果的4个因素.首先是外部干扰、知觉干扰和双任务干扰可能对回溯线索产生不同的影响.其次是内部干扰,外部干扰和内部干扰可以干扰不同的认知处理过程,从而影响回溯线索的效果.第三是干扰时程,干扰出现的时间点可以影响注意的转移和分配,进而影响回溯线索的利用.最后是线索类型,客体回溯线索和维度回溯线索可能与干扰的互动产生不同的效果.综合考虑这些因素,干扰对回溯线索收益的影响是多方面且复杂的.然后,本文从回溯线索收益产生机制的角度解释了这些矛盾结果背后的认知机制.最后,本文构建三维认知模型,更直观地理解和分析各种影响因素的关系和作用.通过深入剖析这些因素,可以更好地理解干扰对回溯线索的影响,并有助于优化视觉工作记忆任务的表现.然而,尽管已经对回溯线索中的干扰效应进行了一定程度的了解,但在这个研究领域仍存在许多未解决的问题需要进一步探究,我们提出了一些建议,以期未来的研究能够更深入地理解回溯线索的作用.

首先,建议研究者在实验设计中充分考虑其他可能的影响因素.当前的研究主要集中在实验变量上,而未考虑人类被试个体特征对实验结果的影响.例如被试的情绪和年龄可能会对回溯线索收益中的干扰效应产生影响.因此,在未来的实验设计中应该综合考虑这些因素,以更全面地理解回溯线索的效果.

其次,当前的回溯线索研究主要使用的是实验室环境中的简单材料,例如色块、光栅和数字等.然而,需要进一步研究使用有意义的真实刺激对回溯线索的影响.有意义的真实刺激可以更好地模拟日常生活中的情境,提供更准确的结果.虽然使用有意义的真实刺激可能会增加研究的复杂性和难度,但也可以提供更具有外部效度的结果.这样的研究可以更好地帮助我们理解回溯线索在实际生活中的应用,以及其在不同任务和情境中的效果.因此,未来的研究可以考虑使用更多有意义的真实刺激来探索干扰对回溯线索的效果,并比较与简单材料的差异.这将有助于更全面地了解回溯线索的应用潜力和局限性.

最后还要指出,当前的研究主要关注行为结果,而较少关注背后的神经机制.虽然已经了解到回溯线索可以抵御干扰的负面效应,并提供一定的认知收益,但对于这一现象的神经机制研究较少.因此,未来的研究应该更加关注回溯线索的神经基础,通过神经影像技术(如功能磁共振成像)等方法,探索干扰与回溯线索在大脑中的神经活动模式和网络连接,并进一步揭示其底层的神经机制.这将有助于我们更深入地理解干扰对回溯线索的作用方式.

综上所述,回溯线索收益中的干扰效应可能受到4个因素的影响,包括外部干扰、内部干扰、干扰时程和线索类型.这些因素导致了前人研究结果的不一致性.干扰对回溯线索收益的影响是多种认知机制混合作用的结果.