身份交换对多身份追踪表现的影响*

胡路明 吕 创 张学民,2 魏柳青

(1北京师范大学心理学部,应用实验心理北京市重点实验室,心理学国家级实验教学示范中心(北京师范大学);2北京师范大学认知神经科学与学习国家重点实验室,北京 100875)

1 前言

在日常生活中,人们常需要对多个运动物体保持持续注意和追踪。为了探讨这一同时对多个运动物体追踪的视觉能力,Pylyshyn和 Storm (1988)提出了多目标追踪(Multiple Object Tracking,MOT)任务范式,将视觉信息加工问题从静态视觉领域拓展到复杂的动态情境中,可以更好地研究具有生态效度的动态复杂视觉信息加工的认知过程与神经机制。

多目标追踪任务主要有两种类型。一种是早期Pylyshyn和Storm (1988)提出的典型多目标追踪范式,即观察者追踪的是一组视觉上完全相同的运动物体,运动对象不具有特征信息,观察者只加工空间位置信息。另一种是多身份追踪(Multiple Identity Tracking,MIT)任务范式(Horowitz et al.,2007;Oksama & Hyönä,2008)。该范式中运动物体均带有一定的身份特征,观察者需要实时绑定和更新身份−位置信息。简言之,MOT任务偏向于关注直接的位置追踪,而 MIT则更偏向于关注带身份识别的位置追踪(Oksama & Hyönä,2016; 魏柳青,张学民,刘冰,鲁学明,李迎娣,2010)。

到目前为止,大量研究已对上述两种类型的追踪任务机制进行了探讨,并以身份−位置绑定机制来解释多身份追踪的现象(Cohen,Pinto,Howe,&Horowitz,2011; Howe & Ferguson,2015; Lyu,Hu,Wei,Zhang,& Talhelm,2015; Oksama & Hyönä,2008,2016; Pinto,Scholte,& Lamme,2012; Ren,Chen,Liu,& Fu,2009)。其中,Oksama 和 Hyönä (2008)提出的多身份追踪模型(Model of Multiple Identity Tracking,MOMIT)是当前较为完整的理论模型,该模型将多身份追踪内部的加工划分为5个功能模块,分别是“What”信息早期处理模块(加工注意焦点处的目标身份信息,与长时记忆关联)、“Where”信息早期处理模块(由边缘视觉整合全部运动对象的平行方位信息)、方位的暂时记忆缓冲器模块(将被追踪的目标实时刷新的方位信息存储到视觉短期记忆中)、注意切换的控制系统模块(注意焦点在目标之间来回转换)、处理“What”和“Where”绑定信息的情景缓冲器模块(用以保持“What”和“Where”信息的绑定,为容量有限的存储机制) (Oksama &Hyönä,2008; 魏柳青等,2010)。MOMIT 模型是序列加工模型,一次仅能刷新一次身份−位置的绑定(What-Where Binding)信息。

然而,MOMIT模型存在着两个尚未阐述清楚的关键问题。第一,位置加工和身份加工两个系统是否共享同一注意资源。换言之,这两个加工系统是并行独立还是并行耦合(Coupling)并不清楚。第二,身份−位置绑定的机制假设目前仍缺乏直接性证据的支持。实质上,前一问题是后一问题的基础。因为身份−位置绑定建立在位置和身份加工系统之上,当位置加工系统或身份加工系统受到损害或者发生混淆等错误时,身份−位置绑定将受到干扰甚至被完全破坏,从而影响追踪成绩。而导致位置加工系统和身份加工系统出现错误的原因又在于两大加工系统在注意资源分配上的竞争。下文将对这两个问题进行详细探讨。

1.1 位置加工系统和身份加工系统的注意机制

在典型 MOT中,位置追踪更多被认为是平行加工的,追踪表现主要依赖于位置信息刷新,不依赖于表面特征属性(Cavanagh & Alvarez,2005;Pylyshyn,2001,2004; Yantis,1992)。然而,在MIT中,身份追踪更多被认为是序列加工的,时空信息和身份特征信息同时影响了追踪表现(Oksama &Hyönä,2008,2016; Wang,Zhang,Li,& Lyu,2016;魏柳青等,2010)。如Pinto等(2012)通过一项fMRI研究发现多身份追踪中观察者需要首先注视到运动物体准确的空间位置。然后,再调用注意去识别该位置上的身份信息。Oksama和 Hyönä (2016)对MOT和MIT进行眼动分析,结果表明目标追踪为平行加工,多采用质心注视策略来对目标进行追踪,眼动少; 而身份追踪为序列加工,多采用注意切换的注视策略来更新身份−位置绑定信息,眼动频繁。这些研究结论与Senders和Moray发展出的工程模型(Engineering Model,EM)假说相一致,在MIT中观察者为了正确对实时刷新的时空信息进行采样,会周期性地增加注意访问(位置加工)和注意驻留(身份加工)来提高采样频率和分辨率,以保证信息不失真(Moray,1984; Senders,Carbonell,&Ward,1968)。但这些研究都集中在探讨位置追踪和身份识别是单一加工系统还是独立双加工系统的问题上,较少关注位置加工系统和身份加工系统在注意机制上的差异。

Pylyshyn (2004)和 Horowitz 等(2007)先后通过比较双任务和单任务之间的成绩差异发现,观察者在仅报告目标位置和在要求追踪身份的同时报告目标位置这两种情况下的追踪成绩相等。Del Gatto,Brunetti和 Delogu (2016)在一项关于身份−位置绑定的空间任务研究中也发现目标的身份信息并不会影响对位置信息的加工。以上研究都间接支持位置和身份加工并行独立占用注意资源。然而,Pylyshyn (2004)的研究中身份信息仅出现在线索标记阶段,而在追踪阶段并不可见。也即,身份信息在追踪阶段并未被有效绑定和利用。Horowitz等(2007)虽在追踪阶段允许身份可见,但该实验中双任务和单任务之间的差异是来自不同组的被试,可能存在组间误差。该实验也没能有效控制两个任务间的难度差异,导致任务差异不明显。此外,Del Gatto等(2016)的研究关注静态绑定问题,而非动态绑定过程,故其结论也并不适用于多身份追踪任务。

此外,Ren等(2009)在基于人类面孔的多身份追踪研究中却发现,目标追踪和身份识别可能共享同一种注意资源,并且观察者能够在一定程度上根据任务需求来操纵和分配注意资源,即注意资源可以有意识地在最大化身份编码或最大化位置编码之间调配。Cohen等(2011)的研究也支持目标追踪和身份识别共享同一注意资源,投入过多的注意资源进行身份识别会同时损害位置追踪表现,但观察者会有意识地在两种任务间进行权衡。这些结果与认知资源分配理论相一致(Kahneman,1973)。然而,Ren等(2009)的研究更多关注多面孔追踪中身份加工是自发进行还是强制进行,以及有意注意能否调节身份−位置绑定的输出结果。Cohen等(2011)的研究则偏重于考察位置和身份在注意资源上的权衡问题,将位置和身份完全独立区分考虑,并未涉及身份−位置绑定机制。

因此,以往研究一方面未直接关注位置和身份信息加工系统是否共享同一注意资源的问题。另一方面,对于位置和身份加工系统是共享同一注意资源还是独立占用注意资源的问题也存在争议。因此,对于在MOMIT模型中位置加工系统和身份加工系统是否共享同一注意资源这一问题仍尚待进一步的详细论证。

1.2 身份−位置绑定机制

现实世界中,观察者如果要准确报告出特定身份的位置或特定位置的身份,就需要对目标的位置和身份信息分别进行有效加工,并且还需要在追踪过程中对两者进行实时绑定。对此,MOMIT提出了身份−位置绑定的假设机制,并认为在追踪过程中一次刷新一个身份−位置绑定信息。但身份−位置绑定具体是如何影响多身份追踪表现的却并不清楚。

绑定问题(Binding problem)实质是指特定的身份特征被绑定到特定的空间位置上。Treisman(1999)将绑定问题分离为三个阶段的加工问题,解析阶段(Parsing)、编码阶段(Encoding)、结构描述阶段(Structural Description),并且注意在整个过程中持续发挥作用。绑定的任一阶段发生损害,都会直接对识别成绩产生影响,且这一绑定还极易受到干扰。由此推测,假若位置加工系统和身份加工系统在形成身份−位置绑定时受到干扰,多身份追踪成绩也必将受到影响。

Alvarez和Thompson (2009)采用特征切换探测任务,通过变化身份特征信息的空间位置来探讨工作记忆存储特征−位置绑定信息的能力。结果表示,位置提示任务和特征提示任务的记忆表现相等,但均高于特征切换探测任务。这表明特征切换任务下工作记忆中的颜色−位置绑定的数量被低估。原因在于特征切换错误主要映射了工作记忆在维持目标绑定关系阶段的错误,即在面对新的知觉输入时自动重新写入和重新绑定了新的身份−位置关系。该研究中的身份切换探测任务比较简单,如运动方式并不随机(圆周运动),运动对象数量少(4个),身份特征简单(颜色特征),要求的反应标准低,仅需察觉反应。而Merkel等(2014,2015)的研究发现在反应阶段参与者会利用整体空间构型策略来进行目标选择。因此,Alvarez和Thompson (2009)的研究不能排除知觉因素的干扰,也不能直接探讨真实场景中物体随机运动状态下的身份−位置绑定关系。Ren等(2009)在多面孔追踪任务中也发现,在追踪过程中切换面孔身份会损害追踪绩效,损害原因在于注意资源的分配上。然而,这一任务中面孔身份信息过于复杂,损害原因可能也会受到面孔信息复杂程度的干扰。此外,Makovski和Jiang (2009)的一项研究还发现,当目标颜色固定不变时,独特颜色目标能够有效促进位置追踪,而当目标每秒变化1～4次颜色时(即身份−位置绑定无法形成),独特颜色的区分效应消失,位置追踪表现变差。原因在于身份刷新过快,导致新的身份无法被及时巩固到工作记忆中。但首先,这一实验旨在分析空间分辨率和工作记忆对独特身份促进作用的解释效力,并非关注身份−位置的绑定关系。其次,这一研究中目标的颜色变化还额外增加了工作记忆负荷。最后,实验中的身份变化是全局变化,没有对目标群、非目标群以及两个对象群之间的变化作进一步区分。

Howe和 Ferguson (2015)使用改编的同步−序列(Simultaneous-sequential Paradigm)多目标追踪范式还从另一角度阐述了身份−位置绑定问题,该研究显示同步条件(每次运动时,所有目标和非目标同时运动或同时暂停)下的追踪表现和序列条件(每次运动时,仅一半目标和非目标同时运动,另一半目标和非目标同时静止)下的追踪表现之间不存在显著差异,并且这一结果在不同追踪负荷和可见程度上都具有一致性。这表明,运动形式(运动或停止)并不影响身份−位置的绑定,身份绑定具有一定的时程性和稳定性,身份−位置绑定更容易在发生身份交换的情况下受到干扰,但这一结论属于间接性证据,未能直接探讨身份−位置绑定问题。相反,Lyu等(2015)的fMRI研究直接采用身份−位置交换的范式探讨了与身份−位置绑定相关的注意脑区,结果表明在目标间身份交换条件下,激活了更多的额叶眼动区(Frontal Eye Fields,FEF)和顶内沟(Intraparietal Sulcus,IPS)区域,代表着目标导向的背侧注意网络。而非目标间身份交换则主要激活了眶部额下回[Inferior Frontal Gyrus (pars orbitalis),IFG-Orb],更多涉及到对非目标的自动注意抑制和控制。但该研究主要侧重于探讨由身份交换引起的注意变化的激活脑区,更多是将身份交换作为一种现象来考察,未对身份−位置绑定机制深入探讨。而本研究则更着重于探讨身份−位置绑定受干扰后对多身份追踪表现的影响,仅将身份交换任务作为一种范式来使用。除此之外,Lyu等(2015)的研究采用部分报告法对实验过程反应进行控制,但从行为实验的角度出发,全部报告法对于认知机制的研究应更为全面。最后,该研究中所探讨的实验条件范围不够全面,也仅限于内部身份集的交换,未涉及到目标与非目标间身份交换的情形。综上,本研究在前人工作的基础上进一步对实验条件和实验控制进行延展和改进,在多种不同的身份交换条件下更系统和精细化地考察了身份−位置绑定的认知机制,并在不同报告方法下予以考察。

鉴于以往研究对身份−位置绑定机制作用的探讨仍不够直接和充分,为加深对该机制的进一步理解,当前研究将采用更为生态化的形式来探讨身份−位置绑定在多身份追踪中的作用。首先,基于MOMIT假设,本研究拟采用身份交换的形式来操作定义身份−位置绑定的受干扰程度,具体细分为4种实验条件。首先,身份不交换条件下,所有运动对象的身份−位置绑定均不发生改变,即目标群的身份−位置绑定不受干扰,工作记忆负荷维持不变,并以此为基线条件。其次,非目标间身份交换条件,仅非目标群的身份−位置绑定发生改变,目标群的身份−位置绑定维持不变。也即,目标群的身份−位置绑定也不受干扰,工作记忆负荷同样维持不变,预期结果与基线条件成绩一致。再次,目标间身份交换条件,目标群的身份−位置绑定发生改变。根据 MOMIT理论,只需要在情景缓冲器中对身份−位置绑定进行解绑和再绑定。这增加了新的绑定单元,造成一定的工作记忆负荷。最后,目标与非目标间身份交换条件,目标群的身份−位置绑定同样发生改变,但本条件中目标群位置需与非目标群身份进行再绑定。根据MOMIT理论,新增加的绑定单元中的身份信息需再次经长时记忆(LTM)表征,即需待“What”信息流加工完毕后再进行身份−位置重绑定。这既增加了新的绑定单元,也增加了新的目标身份信息。相比于目标间身份交换条件,工作记忆负荷更大。简言之,不同的实验条件逐一对应着同一理论模型在不同情形下的理论期望。当前研究通过逐一检验这些实验条件下的多身份追踪表现,来验证以上理论期望。

综上,当前研究具体考察如下两个问题。第一,位置加工系统和身份加工系统是否共享同一注意资源。已有研究结果表明,位置加工系统和身份加工系统既可能是分离的双注意资源的并行加工机制,也可能是耦合的共享同一注意资源的并行加工机制。那么,在多身份追踪任务中,当身份−位置绑定受到干扰时,倘若位置加工系统和身份加工系统分别占用独立分离的注意资源,则身份交换后位置追踪成绩始终不受影响,而身份识别成绩受到干扰。反之,倘若位置加工系统和身份加工系统共同占用同一注意资源,则身份交换后位置追踪成绩和身份识别成绩均受到干扰。第二,通过身份−位置绑定受不同形式干扰时的多身份追踪表现来为身份−位置绑定机制提供直接的实证支持。此前研究表明,身份−位置绑定受干扰时会损害多身份追踪表现。但这些研究中操作身份−位置绑定受干扰程度的考察形式过于简单,实验刺激过于复杂,实验目的不够直接,实验条件不够全面,还增加了额外记忆负荷,并未直接支持身份−位置绑定机制。因此,本研究拟采用三种不同形式的直接的身份交换形式来考察身份−位置绑定机制,并以身份不交换条件作为对照组,全面探讨目标群间、非目标群间及目标群与非目标群间身份−位置绑定受到干扰时的多身份追踪表现差异。

2 实验1：不同形式的身份交换对多身份追踪表现的影响

实验 1以身份交换的形式来考察身份−位置绑定受干扰后对多身份追踪任务表现的影响。根据MOMIT假设,身份−位置绑定是多身份追踪成功的关键。绑定程度越高,越能提高追踪表现。反之,当绑定受到损害时,追踪表现则下降。此外,MOMIT模型中,仅目标的方位信息被加工储存在临时记忆缓冲器模块中,且只有注意焦点下被追踪的目标的身份才能被序列加工,即注意资源只用于进行目标位置追踪和目标身份识别,而非目标群主要依靠边缘视觉系统加工。换言之,当目标间发生身份交换时,其身份−位置绑定关系受干扰程度要大于非目标间身份交换。

由此,本实验预期身份不交换条件的追踪表现最好,因其身份−位置绑定维持最佳。其次是非目标间身份交换条件,其身份−位置绑定程度和身份不交换组一致,故两者的追踪表现可能并无显著差异。之后是目标间身份交换条件,此时目标群身份−位置绑定信息受干扰程度大,追踪表现变差。最后是目标与非目标间身份交换条件,此时增加了视觉工作记忆负荷和导致了注意资源分配重置,身份−位置绑定干扰程度最大,追踪表现也最差。

2.1 被试

招募北京高校(以北京师范大学和北京邮电大学为主)在校大学生28名,其中男生8名,女生20名,平均年龄为23 ± 2.24岁。所有参与者视力或矫正后视力正常,形状知觉正常,且完成实验后给予一定实验报酬。

2.2 实验设计

实验设计为 4(目标间身份交换,非目标间身份交换,目标与非目标间身份交换,身份不交换)× 2(追踪目标个数为4和5)两因素被试内设计。因变量为位置追踪的容量(Capacity)和身份识别追踪的容量。

其中,在身份不交换(No Objects Switch,NOS)条件,目标和非目标身份均维持不变。在目标间身份交换(Targets to Targets Switch,TTS)条件,所有目标的身份重新在所有目标间分配,任一目标分配后身份均与分配前身份不同,非目标上的身份则维持不变,如4个目标数字为1234,身份交换后重新分配的身份组合有9种,类似2341,3142(当目标数为 5时,组合数为 44种)。在非目标间身份交换(Distractors to Distractors Switch,DDS)条件,所有非目标的身份重新在所有非目标间分配,任一非目标分配后身份均与分配前身份不同,目标上的身份则维持不变,如4个非目标数字为5678,身份交换后重新分配的身份组合类似 7586,6587,共计 9种(当目标数为5时,组合数同样为44种)。在目标与非目标间身份交换(Targets to Distractors Switch,TDS)条件,所有目标的身份重新在非目标间分配,同时所有非目标的身份重新在目标间分配,如4个目标数字为1234,4个非目标数字为5678,身份交换后重新分配的身份组合类似目标为 7586,非目标为3142,共计24种(当目标数为5时,组合数为120 种)。

2.3 实验仪器与材料

实验仪器为Dell的17寸CRT显示屏电脑。屏幕分辨率为 1024×768 pixel,垂直刷新频率为 85 Hz。刺激呈现区域处于平面中央800×600 pixel (水平视角约 25°,垂直视角约 20°)的白边[RGB (255,255,255)],宽度 1 twip]矩形框内,背景为黑色[RGB (0,0,0)]。刺激材料为直径 40 pixel (约 2°)的白色实心圆,中心呈现数字为黑色30号宋体。数字范围为整数0～9,每一试次内随机无重复出现。

实验程序采用基于 Matlab 2012b的心理物理工具箱Psychtoolbox 3 (Brainard,1997; Pelli,1997)进行编写。运动过程中,速度在6～8°/s间变化,初始方向在0～360°随机。每400 ms改变一次速度和方向,速度变化幅度为±5%,以此保证对象运动速度和方向的随机性,避免对运动轨迹产生预测。当运动对象与边框或其他对象接触时,相互碰撞反弹,运动对象将随机改变运动的方向。运动中,运动对象之间不出现相互遮挡。

2.4 实验过程

图1 实验1流程示意图

被试距离屏幕约57cm。实验过程如图1所示：被试按空格键开始实验,屏幕正中呈现白色“+”,要求被试对其注视,持续时间为500 ms。然后屏幕正中的白边矩阵框内随机呈现8或10个静止的对象,其中一半数量的对象通过外周红框闪烁的方式标识为追踪目标。闪烁6次后,所有对象开始做随机、独立运动,持续时间为6000 ms。在1500～3500 ms时段的随机一个时点处按不同实验条件随机交换运动对象中心的数字,身份交换持续时间为12 ms。改变时,呈现的数字相互不重复。身份交换发生后,要求被试继续对原目标位置和其新身份保持追踪。运动停止后,所有对象均被相同大小的白色实心圆遮蔽。此时,要求被试用鼠标点出所有的目标位置,并且按照选出的位置顺序,将运动停止前最后呈现的数字逐个输入。完成后,按空格键进入下一试次。所有实验条件的试次随机混合出现。实验共计160试次,每一身份交换条件均 20试次。实验持续约50 min,且每20试次休息1 min。实验前,进行8个试次的练习,分别对应 8种实验条件,并且随机出现,确保参与者了解和熟悉实验任务。

程序自动记录被试的原始追踪数据,后期经SPSS 20.0进行数据管理和转换。不同追踪目标数量的任务下,参与者的猜测概率有所不同(Hulleman,2005; Scholl,Pylyshyn,& Feldman,2001)。因此,统计分析前需采用校正公式来对原始数据计算出不同目标数量下的有效追踪容量,以此排除猜测概率的影响。全部报告法(Mark all)条件下的位置追踪校正公式(1)与身份追踪校正公式(2)以及部分报告法(Probe one)条件下的身份校正公式(3)如下所示(Horowitz et al.,2007; Scholl et al.,2001)。其中,k表示有效追踪个数(即校正后的追踪容量),a表示可能的反应选项,此处为整体运动对象的数量,t表示目标数量,PL表示全部报告法下正确识别的位置目标个数,PI表示全部报告法下正确识别的身份目标个数,p表示部分报告法下目标的正确识别率。

2.5 结果分析

2.5.1 身份交换对位置追踪容量的影响

不同身份交换条件下的目标位置追踪容量如图2所示。经重复测量方差分析发现,身份交换的主效应显著,F(1.35,36.46) = 57.21,p< 0.001,=0.68 (Greenhouse-Geisser校正),说明不同身份交换条件下的位置追踪容量具有显著差异。追踪目标数量的主效应也显著,F(1,27) = 12.44,p= 0.002,=0.32,说明不同追踪负荷间位置追踪容量差异显著。但身份交换和追踪目标数量的交互作用不显著,F(2.22,59.98) = 3.29,p= 0.34,= 0.04 (Greenhouse-Geisser校正)。这表明,位置追踪容量在不同身份交换条件的不同追踪负荷间并无显著差异,即身份交换条件在不同追踪负荷上的差异趋势是相一致的。

对不同身份交换条件进行事后检验发现,NOS和 DDS之间的位置追踪容量差异不显著(t(27) =−0.85,p= 0.402,Cohen’sd= 0.16),TTS 显著低于NOS (t(27) = −4.76,p< 0.001,Cohen’sd= 0.9)和DDS (t(27) = −4.74,p< 0.001,Cohen’sd= 0.9),TDS则显著低于 NOS (t(27) = −8.2,p< 0.001,Cohen’sd= 1.55),DDS (t(27) = −8.14,p< 0.001,Cohen’sd= 1.54)和 TTS (t(27) = −7.26,p< 0.001,Cohen’sd= 1.37)。也即,在不同追踪任务负荷上均呈现出NOS和DDS容量最高,TTS容量居次,TDS容量最低的逐级下降趋势。

图2 不同身份交换条件与追踪目标数的平均位置追踪和身份识别容量

2.5.2 身份交换对身份识别容量的影响

正确的身份识别是在位置追踪正确的前提下,通过比较和计算观察者输入的数字数值和顺序是否与此前点击位置的数值和顺序一致所得。因此,正确的身份识别是“位置−身份”绑定的共同正确识别,而非单独身份信息的正确识别或位置识别。不同身份交换条件下的目标身份识别容量如图 2所示。经重复测量方差分析发现,身份交换的主效应显著,F(2.04,55.02) = 45.33,p< 0.001,= 0.63(Greenhouse-Geisser校正),说明不同身份交换条件下的身份识别容量具有显著差异。追踪目标数量的主效应显著,F(1,27) = 95.09,p< 0.001,= 0.78,说明不同追踪负荷间身份识别容量差异显著。身份交换条件和追踪目标数量的交互作用也显著,F(3,81) = 5.26,p= 0.002,= 0.16。

进一步进行简单效应分析发现,在追踪目标数为4个时,不同身份交换条件之间的目标位置追踪容量差异显著,F(3,25) = 20.94,p< 0.001,=0.72。在追踪目标数为 5个时,这一差异也同样显著,F(3,25) = 16.79,p< 0.001,= 0.67。除 NOS和 DDS之间的身份识别容量差异不显著,其余身份交换条件两两之间的对比差异均显著(具体的成对比较见表1)。身份识别容量也呈现出与位置追踪容量相一致的逐级下降趋势,符合实验假设。此外,对不同身份交换条件在追踪负荷上的差异进行简单效应分析还发现,NOS条件(F(1,27) = 64.69,p<0.001,= 0.71),DDS 条件(F(1,27) = 57.94,p<0.001,= 0.68),TTS 条件(F(1,27) = 60.96,p<0.001,= 0.69)和 TDS 条件(F(1,27) = 30.03,p<0.001,= 0.53)的身份识别容量在整体上均随追踪负荷的增加而显著下降。

2.5.3 位置追踪和身份识别容量的比较

进一步对比分析位置追踪和身份识别容量发现,当追踪4个目标时,NOS条件(t(27) = 7.6,p<0.001,Cohen’sd= 0.83),DDS 条件(t(27) = 9.11,p<0.001,Cohen’sd= 1.72),TTS 条件(t(27) = 12,p<0.001,Cohen’sd= 2.27)和 TDS 条件(t(27) = 9.73,p<0.001,Cohen’sd= 1.84)的目标位置追踪容量均显著高于身份识别容量。当追踪5个目标时,NOS条件(t(27) = 26.01,p< 0.001,Cohen’sd= 4.92),DDS条件(t(27) = 20.77,p< 0.001,Cohen’sd= 3.93),TTS 条件(t(27) = 22.4,p< 0.001,Cohen’sd= 4.23)和 TDS 条件(t(27) = 13.72,p< 0.001,Cohen’sd=2.59)的目标位置追踪容量也同样均显著高于身份识别容量。这表明,不论身份交换与否,还是追踪负荷高低,视觉系统对位置信息的利用程度都要优先于身份信息。

2.5.4 小结

表1 位置追踪和身份识别容量事后成对比较结果表(LSD校正)

实验1中发现,位置追踪和身份识别都受身份−位置绑定程度的影响,身份−位置绑定的受干扰程度越大,则位置追踪和身份识别容量越低,并且这一特性对追踪负荷不敏感。其中,涉及到目标群的身份−位置干扰(TTS条件和TDS条件)的位置追踪和身份识别容量均显著下降,而不涉及目标群的身份−位置干扰(DDS条件)的位置追踪和身份识别容量则不受影响。这表明,多身份追踪任务中,注意主要指向目标群,越受注意加工的,受干扰后损害程度越大。此外,位置追踪容量和身份识别容量还随追踪负荷的增加变小,与以往研究一致(Oksama & Hyönä,2008; 白田,吕创,魏柳青,周义斌,张学民,2015; 张学民,鲁学明,魏柳青,2011)。最后,在多身份追踪中,位置追踪容量始终要显著高于身份识别容量。也即,位置信息比身份信息中更有利于维持目标追踪,视觉系统对位置信息的利用要优于身份信息。由此可推断,多身份追踪中,注意是指向目标的。位置加工系统和身份加工系统是共享同一注意资源的并行耦合的双加工系统,并且身份−位置绑定的受干扰程度越大,多身份追踪容量越低,但位置信息的利用程度高于身份信息。

此外,本实验在反应阶段采用的是全部报告法(Botterill,Allen,& Mcgeorge,2011; Horowitz et al.,2007)。这意味着,观察者首先需要同时维持全部身份和全部位置两部分记忆信息,增大了任务难度。其次,观察者对位置和身份信息的反应间存在时间差,位置信息总被指示优先测量,而身份信息总滞后于位置信息测量。换言之,工作记忆总优先加工位置信息,而以牺牲身份信息正确率为代价。最后,身份信息加工的滞后性还会受记忆遗忘地进一步干扰,造成信息遗失和记忆遗忘,从而整体抑制了身份识别表现。因此,在实验2中将采用部分报告法进一步探讨。

3 实验 2：采用部分报告法探讨身份交换对多身份追踪表现的影响

本实验将采用部分报告法来进一步深入探讨身份交换后多身份追踪任务的表现。部分报告法被认为是一种更为敏感的测量最大工作记忆容量的方法(Oksama & Hyönä,2008)。一方面,部分报告法可以最小化言语表达和记忆要求(Oksama & Hyönä,2008),降低反应选择时的任务难度。另一方面,部分报告法可以同时对身份−位置信息反应,排除时差因素的干扰。然而,以往的部分报告法实质上是考察特定身份的位置所在(Botterill et al.,2011;Horowitz et al.,2007; Oksama & Hyönä,2008),身份和位置仍不能被同步探测。因此,本实验采用决策判断的方式来加以解决,在反应阶段让观察者仅判断指定对象是否为目标即可。这既不需要单独对位置和身份信息进行额外加工,也可同时探测身份和位置信息。

3.1 被试

招募北京高校(以北京师范大学和北京邮电大学为主)在校大学生 18名(女生 13名,男生 5名),平均年龄为22 ± 2.74岁。所有参与者视力或矫正后视力正常,形状知觉正常,完成实验后获取一定报酬。

3.2 实验设计

实验设计为单因素四水平被试内设计(身份交换：NOS,DDS,TTS,TDS)。因变量为身份追踪识别容量。

为控制被试的注意偏向,在反应阶段还采用不同的提问方式来进行了平衡。不同的提问方式是指在最后反应阶段变化探测刺激的位置和身份信息,其中身份和位置全对条件(IL全对)指,选择一个目标位置,并且呈现该目标位置对应的身份信息,其他对象均被掩蔽。身份错但位置对条件(I错 L对)指,选择一个目标位置,但在该位置上呈现一个其他目标或非目标的身份,其他对象均被掩蔽。同时,为了保证错误身份的均衡性,错误身份中一半为目标集内其他目标身份,一半为非目标集内身份。被试将主要通过利用身份信息来判断身份−位置绑定的情况,避免其直接通过位置信息来判断对错,混淆了实验结果。

3.3 实验仪器与材料

与实验1相同。

3.4 实验过程

实验程序如图3所示：被试按空格键开始实验。首先,屏幕正中呈现白色“＋”的注视点,要求观察者对其注视,持续时间为500 ms。然后,屏幕中央同时呈现8个静止的对象,其中4个对象用红色外框标记为追踪目标。2000 ms后,所有对象开始做随机、独立的运动。运动的平均速度为6～8°/s之间变化,初始方向也在0 ～ 360°随机。运动过程中,每400 ms做±5%的随机速度和方向改变。整个运动过程持续时间为6000 ms。在1500 ～ 3500 ms间,根据不同的身份切换条件,发生身份交换。运动停止后,所有对象的身份特征消失,均用白色实心圆进行掩蔽。1000 ms后其中一个圆显示出数字身份,要求参与者判断其是否为目标,即位置和身份均正确且相对应。判断按键为大键盘“Y”键和“N”键,其中按“Y”键为是目标,按“N”键为不是目标。参与者还统一要求为左手按键反应。判断完成后,按空格键进入下一试次。实验程序自动记录实验数据。实验过程中,要求参与者始终注视屏幕正中央的“＋”注视点。

实验试次共计80试次,每一条件20试次,且不同提问方式随机出现。正式实验前,参与者先进行8个练习试次,并且要求达到一定正确率。整个实验持续20 min。为避免因猜测概率不同而影响到全部报告法和部分报告法的对比,本实验中的数据均采用部分报告法条件下的身份校正公式(3)进行校正(具体公式见“2.4 实验过程”部分)。

图3 实验2流程示意图

3.5 结果分析

3.5.1 身份交换对多身份追踪任务表现的影响

不同形式身份交换下的多身份追踪容量如图4所示。经重复测量方差分析发现,身份交换条件的主效应显著,F(3,51) = 8.22,p< 0.001,= 0.33。这表明,身份交换对多身份追踪表现具有显著影响。进一步事后比较(LSD)发现,DDS和NOS对比差异不显著,t(17) = −0.31,p= 0.76,Cohen’sd= 0.07;TTS和NOS对比差异边缘显著,t(17) = −2.05,p=0.056,Cohen’sd= 0.48; TDS和NOS对比差异显著,t(17) = −3.76,p= 0.002,Cohen’sd= 0.89; TTS 和DDS对比差异不显著,t(17) = −1.1,p= 0.286,Cohen’sd= 0.26; TDS和DDS对比差异显著,t(17) =−3.28,p= 0.004,Cohen’sd= 0.77; TDS 和 TTS对比差异显著,t(17) = −3.2,p= 0.005,Cohen’sd= 0.75。

图4 部分报告法下不同形式身份交换条件的平均身份追踪容量

上述结果说明,DDS和NOS容量最大,且相互间容量无显著差异,TTS容量其次,且容量显著低于NOS和DDS,TDS的容量最小,并且显著低于其余三者。这表明,DDS对多身份追踪表现并无明显影响,TDS对多身份追踪表现的干扰最大,TTS对多身份追踪表现的影响位于DDS和TDS之间,即身份−位置绑定损害对多身份追踪表现的抑制作用仍起关键作用,并且受抑制程度随干扰程度的增大而增大。这与实验预期及实验1所得趋势相符。其中,TTS与DDS差异不显著。这与实验1中所得结果略有差异。这一差异的原因可能在于部分报告法的方式显著提升了TTS的追踪容量,并且这一提升趋势的速率高于DDS组和NOS组。为了验证这一推测,先计算出本实验所得数据(部分报告法数据)与实验1中追踪目标为4个时所得身份识别容量的数据(全部报告法数据)的各条件下的平均数差值(Mean Difference,MD)。在此基础上,再以NOS条件下的MD值为基线,分别对比其他三个条件的容量增幅差异。结果发现DDS条件的增幅与NOS条件的增幅无显著差异,t(86) = 0.53,p= 0.597,Cohen’sd= 0.11; TTS条件的增幅与NOS条件具有边缘显著差异,t(86) = 1.87,p= 0.065,Cohen’sd=0.4; TDS条件的增幅则显著大于NOS条件的增幅,t(86) = 3.09,p= 0.003,Cohen’sd= 0.66。也即,在部分报告法中,TDS条件的增长幅度大于TTS,TTS条件的增长幅度又大于 DDS,但 DDS条件与基线NOS并无显著差异。因此,TTS与DDS差异不显著的原因在于 TTS条件受报告方法增益的速率大于DDS。但若继续增大速度,这一增益将可能消失。此外,尽管TDS也受到报告方法的增益,但因其与其余各条件间的差异过大,这一增益的效果并不能完全消除实验效应。

最后,对两种报告方法进行独立样本t检验,结果发现部分报告法在 NOS条件(MD= 0.99,t(41.22) = −4.44,p< 0.001,Cohen’sd= 1.17),DDS条件(MD= 1.08,t(43.62) = −4.48,p< 0.001,Cohen’sd= 1.25),TTS 条件(MD= 1.32,t(43.88) =−5.94,p< 0.001,Cohen’sd= 1.62),以及 TDS 条件(MD= 1.57,t(44) = −5.66,p< 0.001,Cohen’sd=1.71)中探测的身份容量均显著高于全部报告法。对此可能的解释,一方面,全部报告法不能排除任务难度,注意偏向,工作记忆负荷,反应时间差等因素的干扰,导致追踪表现受到较大抑制。另一方面,虽然以往研究表明,部分报告法下的测量容量一般都要低于或等于全部报告法(Botterill et al.,2011;Horowitz et al.,2007; Oksama & Hyönä,2008),但这些部分报告法身份和位置信息仍不可被同步探测,同时也需要较大的工作记忆参与。而本实验仅需判断是否为目标,工作记忆负荷相对较小,可同步测量身份和位置信息。因此,当任务负荷增大时,部分报告法能够在保证任务要求的前提下尽可能高地探测个体的追踪容量。

3.5.2 小结

实验2采用部分报告法所得结果与实验1采用全部报告法的结果具有一致性,即多身份追踪表现随身份−位置绑定受干扰程度增加而下降,身份−位置绑定受干扰程度越大,则多身份追踪表现越差。此外,进一步对实验1与实验2两种报告方法进行对比分析发现,相对于全部报告法,部分报告法能够在一定程度上报告出的更高的追踪容量。

4 实验 3：控制语音复述的多身份追踪任务

实验1和实验2中采用数字材料作为身份特征,实验参与者在追踪过程中可能持续地进行了语音复述来重复目标身份,巩固对目标身份识记的记忆。因此,本实验对语音复述这一可能干扰因素予以控制。一方面,考虑到多目标追踪任务为视觉型注意加工任务,倘若在屏幕中央注视点处继续呈现视觉刺激来要求参与者进行语音复述将对多目标追踪任务产生一定干扰。是以,本实验将采用听觉通道输出语音刺激。另一方面,前述实验中均采用数字材料作为实验素材,为防止语音复述内容与目标身份信息相互干扰,本实验将采用字母音频作为语音复述内容。

假设语音复述是造成以上4种身份交换条件下位置追踪和身份识别容量出现显著差异的原因,则在控制了语音复述的情况下,实验参与者在这4种身份交换条件下的位置追踪和身份识别表现应无显著差异。本实验结果有效排除了这一假设,再次证实确实是身份−位置绑定的受干扰程度造成了实验1和实验2结果的差异。

4.1 被试

招募北京高校(以北京师范大学和北京邮电大学为主)在校大学生22名。其中女生16名,男生6名,年龄范围在19～26岁(23.23 ± 2.14岁)。所有参与者视力或矫正后视力正常,听觉正常,形状知觉正常,并在实验完成后获取一定报酬。

4.2 实验设计

实验设计与实验1相同,即4(NOS,DDS,TTS,TDS)×2(追踪目标个数为 4和 5)两因素被试内设计。因变量为位置追踪容量和身份识别容量。

此外,考虑到参与者需要同时完成听觉语音复述任务和多目标追踪任务双重任务,认知负荷较大。为避免地板效应,本实验对运动速度进行了相应调整,速度范围限制在5°/s上下的5%。

4.3 实验仪器与材料

本实验素材和实验参数均与实验1相同。增加的语音素材为字母A～Z共计26个字母的美式发音音频。每一字母音频播放长度均为500 ms,采样率为44.1 kHz。

4.4 实验过程

实验过程与实验1相同。但在运动阶段开始后,每间隔1 s随机播放一个字母音频(如A),并要求参与者对其快速进行口头发音复述。依次类推,每一试次内均随机播放4次字母读音。参与者口头复述内容均采用录音工具进行记录。

实验试次共计160试次,每一身份交换条件20试次,所有试次混合随机呈现。正式实验前,参与者需先进行24次练习试次。整个实验持续50 min左右。程序将自动记录参与者的追踪成绩。同样采用实验1中的校正公式进行校正后再进行进一步数据统计分析。

4.5 结果分析

4.5.1 控制语音复述后身份交换对位置追踪容量的影响

不同身份交换条件下的目标位置追踪容量如图5所示。经重复测量方差分析发现,身份交换的主效应显著,F(1.44,30.24) = 23.32,p< 0.001,=0.53(Greenhouse-Geisser校正),说明控制语音复述后,不同身份交换条件下的位置追踪容量具有显著差异。追踪目标数量的主效应不显著,F(1,21) =0.61,p= 0.443,= 0.03,说明控制语音复述后,不同追踪负荷间差异不显著。这一现象出现的原因可能在于,当前任务的速度较低,导致不同负荷间的任务难度差异较小。身份交换和追踪目标数量的交互作用也显著,F(3,63) = 3.15,p= 0.031,= 0.13。

进一步进行简单效应分析发现,在追踪目标数为4个时,不同身份交换条件之间的目标位置追踪容量差异显著,F(3,19) = 8.84,p= 0.001,= 0.58。在追踪目标数为 5个时,这一差异同样显著,F(3,19) = 15.36,p< 0.001,= 0.71。具体的成对比较见表2。由表2可知,NOS和DDS之间的位置追踪容量差异不显著,而且这一特性对追踪任务负荷不敏感。而其余条件两两之间对比差异均显著,并且在不同追踪任务负荷上也均呈现出 NOS容量最高,DDS容量居次,TTS容量再次,TDS容量最低的逐级下降趋势。这与本实验预期以及实验1所得结论具有一致性。也即,控制语音复述后,身份−位置绑定损害对多身份追踪表现的抑制作用仍然显著,并且随受干扰程度的增大呈梯度下降趋势。

4.5.2 控制语音复述后身份交换对身份识别容量的影响

图5 控制语音复述后不同身份交换条件与追踪目标数的平均位置追踪和身份识别追踪容量

不同身份交换条件下的目标身份识别容量如图5所示。经重复测量方差分析发现,身份交换的主效应显著,F(3,63) = 30.79,p< 0.001,= 0.59,说明控制语音复述后,不同身份交换条件下的身份识别容量具有显著差异。经事后比较分析发现,DDS和NOS对比差异边缘显著,t(21) = −2.03,p= 0.055,Cohen’sd= 0.43; TTS和NOS对比差异显著,t(21)= −6.70,p< 0.001,Cohen’sd= 1.43; TDS 和 NOS 对比差异显著,t(21) = −7.15,p< 0.001,Cohen’sd= 1.53;TTS和DDS对比差异显著,t(21) = −4.81,p< 0.001,Cohen’sd= 1.03; TDS和DDS对比差异显著,t(21)= −5.6,p< 0.001,Cohen’sd= 1.19; TDS 和 TTS 对比差异显著,t(17) = −2.86,p= 0.009,Cohen’sd=0.61。即总体上,NOS身份识别容量最高,DDS居次,TTS再次,TDS容量最低。追踪目标数量的主效应显著,F(1,21) = 66.96,p< 0.001,= 0.76,说明控制语音复述后,不同追踪负荷间的身份识别容量差异显著。身份交换和追踪目标数量的交互作用不显著,F(3,63) = 1.66,p= 0.186,= 0.07。

表2 控制语音复述后位置追踪和身份识别追踪容量事后成对比较结果表(LSD校正)

4.5.3 控制语音复述后位置追踪和身份识别容量的比较

进一步对比分析位置追踪和身份识别容量发现,当追踪4个目标时,NOS条件(t(21) = 6.79,p<0.001,Cohen’sd= 1.45),DDS 条件(t(21) = 9.16,p<0.001,Cohen’sd= 1.95),TTS 条件(t(21) = 8.38,p<0.001,Cohen’sd= 1.79),和 TDS 条件(t(21) = 6.99,p< 0.001,Cohen’sd= 1.49)的目标位置追踪容量均显著高于身份识别容量。当追踪5个目标时,NOS条件(t(21) = 15.4,p< 0.001,Cohen’sd= 3.28),DDS条件(t(21) = 13.81,p< 0.001,Cohen’sd= 2.94),TTS 条件(t(21) = 17.99,p< 0.001,Cohen’sd= 3.84),和 TDS 条件(t(21) = 12.95,p< 0.001,Cohen’sd=2.76)的目标位置追踪容量也同样均显著高于身份识别容量。以上结果与实验1结果一致。这说明即使控制了语音复述,视觉对时空位置信息的利用仍旧要显著高于身份特征信息,并且这一特性在不同追踪负荷上并无差异。

4.5.4 小结

为排除语音复述的干扰作用,本实验增加了听觉语音复述任务,进一步对身份交换的多身份追踪任务进行探讨。本实验结果与实验1基本上相一致,均表明不同干扰程度的身份交换对多身份追踪的位置追踪容量和身份识别容量均具有重要影响,并且受TDS的干扰程度最大,TTS其次,DDS与NOS最小。也即,位置追踪和身份识别都受身份−位置绑定程度的影响,身份−位置绑定受干扰程度越大,则位置追踪和身份识别容量越小,并且这一特性在追踪负荷上并不敏感。此外,控制语音复述后,位置追踪容量仍显著高于身份识别容量。这再次表明,时空位置信息比身份特征信息更有利于维持目标追踪,视觉系统对时空位置信息的利用要优于身份特征信息。

综上,控制语音复述后,身份交换对多身份追踪的表现仍具有与实验 1相一致的效应。这表明,没有足够的证据可以支持身份交换所造成的干扰效应是来自语音复述的作用,即更有理由支持位置−身份绑定机制受到损害进而影响多身份追踪任务表现。但语音复述确实可能对身份交换的多身份追踪表现产生干扰作用,无论是对位置追踪任务,还是身份识别任务而言,其具体机制可待未来研究进一步探究。

5 综合讨论

实验1通过身份交换的方式探讨了位置加工系统和身份加工系统是否共享同一注意资源的问题,以及身份−位置绑定对追踪表现的影响。结果表明,身份−位置绑定受干扰程度越大,则位置追踪和身份识别容量越低,并且这一特性对追踪负荷不敏感。其中,涉及到目标群的身份−位置绑定干扰(TTS和TDS)的位置追踪和身份识别容量均显著下降,而不涉及目标群的身份−位置绑定干扰(DDS)的位置追踪和身份识别容量则不受影响。这说明多身份追踪任务是基于目标增强的,即注意资源主要集中在目标群,越受注意加工的,受干扰后损害程度越大。此外,追踪负荷越高,位置追踪和身份识别容量也越低。这说明任务负荷和追踪表现间呈递减关系。最后,在多身份追踪中,位置追踪容量要显著高于身份识别容量。也即,位置信息比身份信息更有利于维持目标追踪,视觉系统对位置信息的利用要优于身份信息。实验2采用部分报告法再次验证,进一步支持了实验 1所得结论。此外,部分报告法可探测出更高工作记忆容量的多身份追踪表现。实验3从听觉通道对语音复述控制后,所得结果与实验1仍一致。这表明,控制语音复述后,身份交换所产生的身份−位置绑定干扰效应仍旧存在,即不同形式的身份交换对多身份追踪表现的影响主要来自于身份−位置绑定机制受到干扰,而非语音复述。

5.1 身份交换的多身份追踪理论机制

基于当前数据,本研究对比了MOMIT假说和工程模型假说。首先,研究结果表明追踪负荷越大,追踪表现越差。MOMIT认为追踪表现与目标集大小和速度大小呈递减关系(Oksama & Hyönä,2008)。原因在于,目标集越大,情景缓冲器用于存储身份−位置绑定信息的工作记忆负荷也随之增加。同时,注意切换系统在不同目标索引间切换的频率也相应增加。但这一结果也可以用工程模型的假设来解释(Moray,1984; Senders et al.,1968),当目标集越大时,注意访问的次数增大,注意驻留的时长延长,而整体注意资源有限,导致追踪表现变差。其次,位置追踪容量显著高于身份识别容量。两部分结果的显著差异意味着位置加工系统和身份加工系统是两个加工系统,分别用于加工位置(where)和身份(what)信息,并且位置加工系统更具优先性。这既符合MOMIT假设,也与以往的研究结论具有一致性(Botterill et al.,2011; Horowitz et al.,2007; Oksama& Hyönä,2016; 白田等,2015)。但工程模型并不能对此做出很好地解释。第三,TTS条件成绩显著变差,而DDS条件并无显著影响。这与MOMIT假设的仅目标集的方位信息会被加工储存在临时记忆缓冲器模块内,且只有注意焦点下的目标身份信息才会被进一步序列加工的观点相一致。同时,工程模型也可解释这一结果。最后,身份−位置绑定受干扰会抑制追踪表现。一方面,当位置和身份加工系统受到干扰,需要重新进行绑定时,增大了绑定数目,而情景缓冲器内的身份−位置绑定数目容量有限,因此追踪表现将显著变差。另一方面,注意切换控制系统因位置和身份加工系统的绑定受到干扰而需要重置注意分配,特别是在目标群和非目标群间发生身份交换时,这一注意资源将被过度占用。而工程模型并未假设身份−位置绑定机制的存在,其通过注意系列切换到各个目标位置上来进行进一步身份信息的加工。因此,可以推测若身份−位置绑定机制不存在时,那么在发生身份交换时,位置信息和身份信息无需重新绑定,与此前逐个序列访问位置和加工身份信息的方式一致,在结果上应该不存在明显差异。然而,这一推测与当前数据并不一致。综上所述,工程模型不能有效对当前数据做出合理解释,MOMIT假设更能有效拟合当前数据。因此,实验1(全部报告法),实验2(部分报告法),实验 3(控制语音复述后)均一致表明多身份追踪表现依赖于位置和身份双加工系统的共同作用,并且以身份−位置绑定的形式实时更新。绑定程度越好,追踪表现越高。反之,绑定程度受干扰越大,追踪表现越低。

5.2 位置追踪和身份识别加工系统：并行耦合或并行独立

尽管MOMIT假说比工程模型假说更能合理解释当前数据,但对于位置加工系统和身份加工系统是否共享同一注意资源这一问题并未进行阐述。以往多身份追踪研究中支持位置加工和身份加工是两个独立并行加工系统的结论主要目的在于论证多身份追踪中身份信息是否能与位置信息一样被同等有效利用。Pylyshyn早期提出的FINST (Fingers of INSTantiation)假说认为身份信息并不会被加工和有效利用(Pylyshyn,2001,2004)。而 Oksama和Hyönä (2008)通过提出 MOMIT模型予以反对,其认为位置和身份信息在视觉初期被分离分析。Pinto等(2012)通过fMRI技术也得出MIT是两阶段加工的过程,即先加工空间位置信息,后加工身份特征信息。Papenmeier,Meyerhoff,Jahn和Huff (2014)进一步发现表面身份信息和时空位置信息会根据两者的有效性和可靠性来相互权衡和灵活加工。Oksama和 Hyönä (2016)还通过眼动分析发现位置追踪和身份识别具有完全不同的眼动注视策略,也证明了双加工系统的结论。然而,分离分析,阶段性加工和注视策略差异都仅能反映出位置和身份在信息加工上的差异,并未涉及两者在注意机制上的差异。也即,这些结论虽证明了身份信息的可利用性,但不能藉此说明位置追踪和身份识别是两个完全分离的独立加工系统。

当前研究则在此基础上进一步探讨了位置和身份两个加工系统在注意资源占用上的问题。根据Kahneman (1973)提出的认知资源分配理论,共享同一注意资源池的多种任务之间会相互竞争。因此,倘若位置和身份两加工系统相互抑制和干扰,则可推断两者共享同一注意资源池。实验1和2中发生身份交换后,随着身份−位置绑定的干扰程度增大,位置和身份追踪成绩均显著下降,即有效地支持了位置和身份信息共享同一注意资源的假设。更进一步而言,虽然目标追踪和身份识别在信息加工上是分离的双加工系统,但在注意资源占用上并不是完全分离的。这与以往部分研究具有一致性(Cohen et al.,2011; Ren et al.,2009)。

5.3 身份−位置绑定的受干扰程度对多身份追踪表现的抑制机制

根据MOMIT假设,位置和身份信息经早期位置和身份加工系统分析后将以绑定形式存储在容量有限的情景缓冲器内,并且通过注意切换控制系统序列激活和更新身份−位置绑定(Oksama &Hyönä,2008)。多身份追踪表现是依赖于身份−位置绑定的,故既受情景缓冲器容量的限制,也受注意资源的限制。这意味着,一方面情景缓冲器内的绑定数量有限,发生身份交换会增大绑定数量,进而抑制多身份追踪表现。另一方面,发生身份交换会耗费更多的注意资源来用于重新激活和再绑定,也将抑制多身份追踪表现。

以往研究中,Makovski和 Jiang (2009)认为身份变化干扰多身份追踪表现的主要原因在于工作记忆无法及时巩固实时更新的身份信息,而非空间注意分辨率不足。Alvarez和Thompson (2009)也支持这一工作记忆说,但其认为身份变化起干扰的作用机制在于工作记忆在维持身份−位置绑定信息阶段发生错误,进而导致追踪表现下降。然而,Ren等(2009)的观点与此不同,他们认为干扰原因更可能在于注意资源的分配上。身份信息编码在一定程度上是强制和自发的,而并非完全刺激驱动的自动加工过程。当出现身份交换时,原有身份信息和位置信息的联系变得不可靠,自发的注意需求增大,进而导致追踪表现变差。同时,身份−位置绑定的维持也并非是自动的,而是需要耗费注意资源的,绑定数量越多,或绑定程度越不稳定,注意资源就需耗费越多(Wheeler & Treisman,2002)。

然而,工作记忆和注意资源之间可能并非完全相互分离,也可能相互关联(Shim,Alvarez,& Jiang,2005)和相互竞争(Fougnie & Marois,2006)。工作记忆需要耗费注意资源,且所需注意资源与信息负荷量成正比关系(Alvarez & Cavanagh,2004),而注意资源不足则会导致工作记忆无法及时有效编码和存储绑定信息(Johnson,Hollingworth,& Luck,2008)。因此,结合前人研究和当前假设,身份−位置绑定受干扰后的抑制作用可能需要同时用工作记忆假说和注意资源假说来做出合理解释。当身份−位置绑定受到干扰时,视觉信息输入将增大,这一方面需要增加注意资源来提高对目标身份的重新识别以及对身份−位置绑定关系的再建立,另一方面从失绑定状态到再绑定状态期间,身份−位置绑定数量增加,导致工作记忆负荷增大,甚至干扰工作记忆的形成,并且这两方面特性随着干扰程度和追踪负荷的增大还会进一步受到强化。

此外,前人研究还表明,身份工作记忆会在多身份追踪过程中起到找回丢失目标和功能性提高目标间分辨率的作用(Makovski & Jiang,2009),但当身份信息变复杂后,这一促进作用会被相应削弱(Ren et al.,2009)。在当前研究中,发生身份交换可能会在一定程度上混淆交换前后目标集的身份工作记忆,导致交换后视觉工作记忆中存储的目标集身份工作记忆出错,从而无法利用或错误利用身份信息进行身份−位置绑定,特别是 TDS和 TTS条件。进一步而言,当前研究中可能出现的身份工作记忆混淆情况可概括为两类,一类是在多身份追踪过程中身份交换前后的身份工作记忆发生混淆,并且影响到了位置追踪,身份工作记忆和位置追踪同时受损,另一类是在多身份追踪中身份交换前后的身份工作记忆虽发生混淆,但未影响到位置追踪,仅在反应阶段发生身份工作记忆混淆,仅身份识别成绩受损。前者中,被试混淆了交换前后的身份工作记忆,并且仍根据错误的身份工作记忆指向到了错误的空间方位信息,从而造成身份和位置成绩的同时下降。这一情况表明,发生身份交换后,部分身份−位置绑定未能被及时地解除,即在情景缓冲器中仍保持“旧”的身份−位置绑定。而后者中,混淆的身份工作记忆未干扰空间方位信息,仅在反应阶段出现记忆错误。这一情况则表明,发生身份交换后,身份−位置绑定虽已被有效解除,但视觉工作记忆中的身份工作记忆却未能得到及时有效地更新,即“旧”身份信息与正确位置信息进行了再绑定。另外,Drew,Horowitz和Vogel (2013)的研究还表明,增加分心物的数量会增大目标与非目标之间混淆的可能,而增大客体运动速度则会增大目标丢失的可能。对于身份交换中的身份工作记忆混淆情况也具有相似之处,身份交换会导致身份工作记忆负荷的增加,类似于增加了身份工作记忆的分心物,导致了身份−位置重绑定发生错误。而当运动速度过快时,或者视觉注意资源不足时,身份−位置绑定则不能被及时解绑,情景缓冲器中将会继续保持未解绑的错误的身份−位置绑定信息,即发生目标丢失。因此,两种身份工作记忆混淆情况虽都显示出身份工作记忆的错误,但涉及的内部机制是不同的,对于位置追踪的影响也是不同的。从当前数据来看,身份和位置成绩是同步和共命运的,也即更倾向于支持前者。但综合来看,两类身份工作记忆混淆可能都在一定程度上影响了当前结果,不过其本质上却仍都属于身份−位置绑定的问题,仅仅是更加深入地探讨了身份交换情形下身份−位置绑定关系的内部机制。未来研究可进一步探讨身份−位置绑定与身份工作记忆混淆的关系问题,以及厘清不同身份工作记忆混淆情况发生的条件,将身份工作记忆与身份−位置绑定进行结合,丰富和拓展多身份追踪的研究内容。

5.4 多身份追踪中的注意资源分配

自多目标追踪任务范式提出以来,已有大量研究探讨了多目标追踪中的注意加工问题。Pylyshyn(2006)用点探测任务和多目标追踪任务结合的方式发现,多目标追踪任务中视觉系统在非目标区域的抑制量最大,目标区域、空白区域和目标区域附近并未受到抑制(Pylyshyn,2006; 魏柳青,刘冰,张学民,赵霞,2013; 张学民,刘冰,鲁学明,2009;张学民等,2011),并藉此提出了非目标抑制假说,即注意朝向于目标,但用以对非目标进行抑制。然而,Drew,McCollough,Horowitz和 Vogel (2009)采用 ERPs研究发现,相对于非目标上的探测点,处在目标上的探测点所诱发的视觉成分 P1和 N1(100～150 ms)更大,并且追踪者成绩越好,这一差异越大。但该研究并未发现对非目标的抑制现象,起码在视觉诱发的早期这一现象并没有足够的证据支持。因此,注意应是用以激活目标,提高目标空间分辨率的。此后,Doran和Hoffman (2010)的另一项 ERP研究进一步表示多目标追踪任务中既存在对目标的激活,又存在对非目标的抑制,并且这种机制受任务难度影响。当任务难度较低时,即使没有视觉注意系统的参与,参与者也能够顺利完成追踪任务。简言之,注意既提高了对目标的表征,又抑制了对非目标的表征。

然而,这些研究多关注于多目标追踪中的注意分配问题,而对多身份追踪中的注意分配问题研究甚少。一方面原因在于时空信息对维持视觉连续性具有主导作用; 另一方面原因在于多目标追踪中观察者对身份信息的利用有限(魏柳青等,2010)。但越来越多的研究发现身份信息也会影响到追踪表现,并且身份信息在加工方式和注意资源占用上都不同于位置信息。身份加工多认为是序列加工和注意需求的(Oksama & Hyönä,2008; Tombu & Seiffert,2008),而位置加工多认为是平行加工和非注意需求的(Cavanagh & Alvarez,2005; Pylyshyn,2001)。上述因素在一定程度上将导致两种任务在注意资源分配上产生差异。

结合当前实验结果,DDS不干扰位置追踪和身份识别表现,而 TTS和 TDS却干扰位置追踪和身份识别表现。因此,多身份追踪中的注意分配可能是基于目标增强的。当目标群内发生身份交换时,其身份−位置绑定受干扰程度要远大于非目标群内身份交换。原因可能在于身份信息是序列加工和耗费注意资源的,任务要求高于位置信息加工,因此有限的注意资源大多被锁定在目标集上。这与MOMIT模型理论具有一致性,MOMIT假说认为只有目标的方位信息被加工储存在临时记忆缓冲器模块中,且只有在注意焦点下的目标身份才能被有效序列加工,即注意资源只用于加工目标位置和目标身份信息,而非目标群主要依靠边缘视觉系统加工。然而,本研究中对位置和身份追踪表现的结果采用的是容量指标,该指标仍然不够精准。因此,未来研究可以用定位错误(Location error)的探测方法来进一步加以佐证(Iordanescu,Grabowecky,&Suzuki,2009)。

5.5 语音复述在多身份追踪中的作用

Baddeley (1992)在短时记忆的概念基础上提出了工作记忆(Working memory,WM)模型,并将其划分为三大子系统,中央执行系统(Central executive)、语音回路(Phonological loop)和视空间模板(Visuospatial sketch pad)。其中,语音回路主要负责以语音为基础的信息的存储和控制的加工过程,由短时的语音存储器(Phonologicalstore)和发音复述器(Articulatory rehearsal)两个次级部分构成。语音存储器能够对视觉和听觉转化的语音信息进行存储,但听觉记忆痕迹会在2 s内快速衰减,需通过发音复述的形式来对这些记忆痕迹进行重新激活和巩固(Baddeley,2003)。也即,当执行任务涉及到语音和文字信息等时,语音回路模块会自主对其进行加工,如阅读任务,语言学习等。

在多身份追踪中,目标身份常含有语义信息,如当前研究中目标为数字身份,参与者就能够在工作记忆中对目标身份不断进行语音复述,以此来达到巩固身份记忆的效果。事实上,也有部分研究发现,采用无法命名的复杂客体,如人类面孔和场景(Cohen,Konkle,Rhee,Nakayama,& Alvarez,2014; Ren et al.,2009),或者执行双任务,如 One-back任务(Makovski & Jiang,2009),可抑制语音复述的干扰。所以,倘若在多身份追踪中,身份−位置绑定的维持主要依赖于语音复述功能,那么当语音复述被排除或受到抑制时,观察者将无法有效完成多身份追踪任务,即追踪表现应趋于概率水平。然而,Ren等(2009)采用无法命名的人类面孔作为追踪对象,当面孔身份实时变化时,追踪成绩虽显著下降,但整体追踪成绩正确率仍高于85%。Cohen等(2014)采用的人类面孔和场景素材,整体正确率也同样均高于70%。Makovski和Jiang (2009)的多身份追踪与 One-back颜色记忆双任务研究中,观测者的追踪成绩也高于 75%。因此,在多身份追踪中,语音复述的作用是有限的。

具体而言,当前研究中,实验1和2的多身份追踪表现不仅受到身份−位置绑定的干扰效应,同时还可能受到内部语音复述的影响。也即,多身份追踪表现随身份−位置绑定受干扰程度增加而下降的效应,不能有效排除语音复述不良的干扰。对此,实验3从整体上对语音复述这一因素进行控制,但所得结果与实验1相符。这意味着,语音复述并非是产生当前实验效应的首要因素,不同身份交换条件间的位置追踪和身份识别容量差异主要是由身份−位置绑定的受干扰程度所导致。这与以往研究所得结果(Cohen et al.,2014; Makovski & Jiang,2009; Ren et al.,2009)相一致。

6 结论与展望

本研究系统考察了个体在身份交换式的多身份追踪任务中的表现,并深入探讨了其内部加工机制。结果发现,首先位置加工系统和身份加工系统是共享同一注意资源的并行耦合双加工系统,但视觉系统对位置信息的利用要优于身份信息。其次,位置追踪和身份识别表现均随身份−位置绑定受干扰程度增大而下降,支持了身份−位置绑定机制。第三,多身份追踪中的注意分配更可能是基于目标增强的,相比于非目标群,身份−位置绑定在目标群内受干扰后对追踪表现的抑制作用更明显。第四,部分报告法在身份交换条件中能够测量出更高容量的多身份追踪表现,即全部报告法有所低估。第五,语音复述在身份交换的多身份追踪任务中作用有限,即身份交换对多身份追踪的影响并非是语音复述的干扰,而是身份-位置绑定机制受到损害。

当前研究主要考察了注意追踪阶段的身份−位置绑定问题,未来研究可进一步对比身份−位置绑定在编码、维持和提取阶段发生身份交换时的追踪表现差异。其次,身份工作记忆与身份−位置绑定关系的问题也需进一步加以探究,如身份−位置绑定和解绑是否受不同类型的身份工作记忆影响的问题,或两类身份工作记忆混淆情形发生的条件。此外,语音复述任务对多身份追踪任务的具体影响也仍可进一步深入考察。最后,在研究方法上,可以采用多种电生理和神经影像技术,如ERP,fMRI等,深入探讨身份−位置绑定关系的神经基础。

Alvarez,G. A.,& Cavanagh,P. (2004). The capacity of visual short-term memory is set both by visual information load and by number of objects.Psychological Science,15(2),106–111.

Alvarez,G. A.,& Thompson,T. W. (2009). Overwriting and rebinding: Why feature-switch detection tasks underestimate the binding capacity of visual working memory.VisualCognition,17,141–159.

Baddeley,A. (1992). Working memory.Science,255,556–559.

Baddeley,A. (2003). Working memory: Looking back and looking forward.Nature Reviews Neuroscience,4,829–839.

Bai,T.,Lyu,C.,Wei,L. Q.,Zhou,Y. B.,& Zhang,X. M. (2015).The facilitating effect of target-nontarget categorical difference in identity on multiple identity tracking.Acta Psychologica Sinica,47,203–211.

[白田,吕创,魏柳青,周义斌,张学民. (2015). 目标与非目标身份特征的范畴间差异对多身份追踪的促进作用.心理学报,47,203–211.]

Botterill,K.,Allen,R.,& Mcgeorge,P. (2011). Multiple-object tracking: The binding of spatial location and featural identity.Experimental Psychology,58,196–200.

Brainard,D. H. (1997). The psychophysics toolbox.Spatial Vision,10,433–436.

Cavanagh,P.,& Alvarez,G. (2005). Tracking multiple targets with multifocal attention.Trends in Cognitive Sciences,9,349–354.

Cohen,M. A.,Konkle,T.,Rhee,J. Y.,Nakayama,K.,&Alvarez,G. A. (2014). Processing multiple visual objects is limited by overlap in neural channels.Proceedings of the National Academy of Sciences of the United States of America,111,8955–8960.

Cohen,M. A.,Pinto,Y.,Howe,P. D. L.,& Horowitz,T. S. (2011).The what–where trade-off in multiple-identity tracking.Attention,Perception,& Psychophysics,73,1422–1434.

Del Gatto,C.,Brunetti,R.,& Delogu,F. (2016). Cross-modal and intra-modal binding between identity and location in spatial working memory: The identity of objects does not help recalling their locations.Memory,24,603–615.

Doran,M. M.,& Hoffman,J. E. (2010). The role of visual attention in multiple object tracking: Evidence from ERPs.Attention,Perception,& Psychophysics,72,33–52.

Drew,T.,Horowitz,T. S.,& Vogel,E. K. (2013). Swapping or dropping? Electrophysiological measures of difficulty during multiple object tracking.Cognition,126,213–223.

Drew,T.,McCollough,A. W.,Horowitz,T. S.,& Vogel,E. K.(2009). Attentional enhancement during multiple-object tracking.Psychonomic Bulletin & Review,16,411–417.

Fougnie,D.,& Marois,R. (2006). Distinct capacity limits for attention and working memory: Evidence from attentive tracking and visual working memory paradigms.Psychological Science,17,526–534.

Horowitz,T. S.,Klieger,S. B.,Fencsik,D. E.,Yang,K. K.,Alvarez,G. A.,& Wolfe,J. M. (2007). Tracking unique objects.Perception,& Psychophysics,69,172–184.

Howe,P. D. L.,& Ferguson,A. (2015). The identity-location binding problem.Cognitive Science,39,1622–1645.

Hulleman,J. (2005). The mathematics of multiple object tracking: From proportions correct to number of objects tracked.Vision Research,45,2298–2309.

Iordanescu,L.,Grabowecky,M.,& Suzuki,S. (2009). Demandbased dynamic distribution of attention and monitoring of velocities during multiple-object tracking.Journal of Vision,9,1.1–1.12.

Johnson,J. S.,Hollingworth,A.,& Luck,S. J. (2008). The role of attention in the maintenance of feature bindings in visual short-term memory.Journal of Experimental Psychology:Human Perception & Performance,34,41–55.

Kahneman,D. (1973).Attention and effort(Vol. 1063).Englewood Cliffs,NJ: Prentice-Hall.

Lyu,C.,Hu,S. Y.,Wei,L. Q.,Zhang,X. M.,& Talhelm,T. (2015).Brain activation of identity switching in multiple identity tracking task.PLoS One,10,e0145489.

Makovski,T.,& Jiang,Y. V. (2009). The role of visual working memory in attentive tracking of unique objects.Journal of Experimental Psychology: Human Perception and Performance,35,1687–1697.

Merkel,C.,Hopf,J. M.,Heinze,H. J.,& Schoenfeld,M. A.(2015). Neural correlates of multiple object tracking strategies.NeuroImage,118,63–73.

Merkel,C.,Stoppel,C. M.,Hillyard,S. A.,Heinze,H. J.,Hopf,J. M.,& Schoenfeld,M. A. (2014). Spatio-temporal patterns of brain activity distinguish strategies of multipleobject tracking.Journal of Cognitive Neuroscience,26,28–40.

Moray,N. (1984). Attention to dynamic visual displays in manmachine systems. In R. Parasuraman & D. R. Davis (Eds.),Varieties of attention(pp. 485–513). Orlando: Academic Press.

Oksama,L.,& Hyönä,J. (2008). Dynamic binding of identity and location information: A serial model of multiple identity tracking.Cognitive Psychology,56,237–283.

Oksama,L.,& Hyönä,J. (2016). Position tracking and identity tracking are separate systems: Evidence from eye movements.Cognition,146,393–409.

Papenmeier,F.,Meyerhoff,H. S.,Jahn,G.,& Huff,M. (2014).Tracking by location and features: Object correspondence across spatiotemporal discontinuities during multiple object tracking.Journal of Experimental Psychology: Human Perception and Performance,40,159–171.

Pelli,D. G. (1997). The VideoToolbox software for visual psychophysics: Transforming numbers into movies.Spatial Vision,10,437–442.

Pinto,Y.,Scholte,H. S.,& Lamme,V. A. F. (2012). Tracking moving identities: After attending the right location,the identity does not come for free.PLoS One,7,e42929.

Pylyshyn,Z. W. (2001). Visual indexes,preconceptual objects,and situated vision.Cognition,80,127–158.

Pylyshyn,Z. W. (2004). Some puzzling findings in multiple object tracking: I. Tracking without keeping track of object identities.Visual Cognition,11,801–822.

Pylyshyn,Z. W. (2006). Some puzzling findings in multiple object tracking (MOT): II. Inhibition of moving nontargets.Visual Cognition,14,175–198.

Pylyshyn,Z. W.,& Storm,R. W. (1988). Tracking multiple independent targets: Evidence for a parallel tracking mechanism.Spatial Vision,3,179–197.

Ren,D. N.,Chen,W. F.,Liu,C. H.,& Fu,X. L. (2009). Identity processing in multiple-face tracking.Journal of Vision,9,18.

Scholl,B. J.,Pylyshyn,Z. W.,& Feldman,J. (2001). What is a visual object? Evidence from target merging in multiple object tracking.Cognition,80,159–177.

Senders,J. W.,Carbonell,J. R.,& Ward,J. L. (1968). Human visual sampling processes: A simulation validation study.NASA CR-1258. NASA contractor report. NASA CR.United States. National Aeronautics and Space Administration,1–103.

Shim,W. M.,Alvarez,G. A.,& Jiang,Y. (2005). Capacity limit of visual working memory in parietal cortex reflects capacity limit of spatial selection.Journal of Vision,5,914.

Tombu,M.,& Seiffert,A. E. (2008). Attentional costs in multiple-object tracking.Cognition,108,1–25.

Treisman,A. (1999). Solutions to the binding problem: Progress through controversy and convergence.Neuron,24,105–125.

Wang,C. D.,Zhang,X. M.,Li,Y. N.,& Lyu,C. (2016). Additivity of feature-based and symmetry-based grouping effects in multiple object tracking.Frontiers in Psychology,7,657.

Wei,L. Q.,Liu,B.,Zhang,X. M.,& Zhao,X. (2013). The effects of multiple object tracking difficulty on nontargets inhibition.Journal of Psychological Science,36,1093–1100.

[魏柳青,刘冰,张学民,赵霞. (2013). 多目标追踪的任务难度对不同类型非目标选择性抑制的影响.心理科学,36,1093–1100.]

Wei,L. Q.,Zhang,X. M.,Liu,B.,Lu,X. M.,& Li,Y. D. (2010).The pattern and cognitive mechanism of visual multiple object tracking.Advances in Psychological Science,18,1919–1925.

[魏柳青,张学民,刘冰,鲁学明,李迎娣. (2010). 多目标视觉追踪的现象、规律和认知加工机制.心理科学进展,18,1919–1925.]

Wheeler,M. E.,& Treisman,A. M. (2002). Binding in short-term visual memory.Journal of Experimental Psychology: General,131,48–64.

Yantis,S. (1992). Multielement visual tracking: Attention and perceptual organization.Cognitive Psychology,24,295–340.

Zhang,X. M.,Liu,B.,& Lu,X. M. (2009). Mechanism of different moving pattern on nontarget inhibition in multiple object tracking.Acta Psychologica Sinica,41,922–931.

[张学民,刘冰,鲁学明. (2009). 多目标追踪任务中不同运动方式非目标的抑制机制.心理学报,41,922–931.]

Zhang,X. M.,Lu,X. M.,& Wei,L. Q. (2011). The selective inhibition effects of changing the number of targets and nontargets on multiple object tracking.Journal of Psychological Science,34,1295–1301.

[张学民,鲁学明,魏柳青. (2011). 目标与非目标数量变化对多目标追踪的选择性抑制效应.心理科学,34,1295–1301.]