视频材料中双眼注视视差的情绪面孔相关性：双眼协调

陈飞虎, 赵广平

1.前言

人有两只眼睛却感知到单一的、整体的世界。为了保持这种整体性，双眼需要得到精确的、系统的控制和协调，使中央凹可以大致对准同一个目标，这个过程就是双眼协调（Binocular Coordination）。它强调在形成主观的“单眼视觉”（Single vision）之前双眼之间存在的相互协作和调和（Blythe et al., 2006; Kirkby et al., 2008; King, 2011;Yang & Kapoula, 2003）。部分研究使用两眼注视点之间的距离，即双眼注视点视差（binocular fixation disparity），作为衡量双眼接收到视像差异的大小的指标（陈飞虎, 陈顺森, 赵广平, 2016; 高世欢,陈顺森, 林彩云, 2017; 李龙珠, 2017）。

然而现有的眼动研究或者视知觉研究多建立在“单眼视觉”之上。“单眼视觉”把双眼当作一个整体的器官来研究，认为双眼步调是完全一致，整齐划一的，双眼视线集中于一个点。视觉的研究方式也受到“单眼视觉”概念的限制，例如视觉知觉研究中经常使用“中央眼”（Cyclopean Eye），即左右眼坐标的平均值，甚至某一单眼的数据。同时，EyeLink，Tobii，IView等被普遍运用的眼动仪及其配套软件的设计，也只考虑和提供了“单眼”相关的指标和数据处理程序（具体参见相关说明书）。

2.双眼协调

2.1 国内外相关研究

在国内外研究的内容上，对“单眼视觉”的强调体现在：视觉的心理认知功能都集中在双眼视觉信息融合以后的高级加工过程，例如深度知觉、双眼竞争等。部分研究者甚至潜在的认为双眼视差是个体固有的、不变的生理属性。例如，王玲和王淮庆（2007）就强调双眼在头部分布的间距大小对双眼协调起决定作用。

然而，部分研究在很早之前就注意到并明确表明在视觉加工过程中双眼并非注视同一个点，即便是单个的字符或者点（Kirkby et al., 2008; Kirkby et al., 2010; Paterson et al., 2009）。其次，这些研究发现在眼动中双眼之间相互协调的模式：注视点即将开始转换时（即扫视开始），一只眼睛作为探索眼（abducting eye）用中央凹加工原注视点结束后，会先行跳离去搜寻下一个潜在的注视点；另一只眼睛作为追随眼（adducting eye）在一个小的时间间隔之后才会离开原注视点跟进（Collewijn et al., 1988; Vernet& Kapoula, 2009）。所以两只眼睛开始眼跳至到达下一个注视点的过程中，双眼视差会经历一个先增加而后减小的过程（Collewijn et al., 1988; Vernet & Kapoula,2009; Yang & Kapoula, 2003）。当收集到足够的信息之后，两只眼睛的行为模式又进入到下一个循环。

2.2 “单眼视觉”及相应研究方式的根源：赫林法则和赫尔姆霍兹假设

双眼之间的关系存在两大假设——赫林假设（Hering’s hypothesis）与赫尔姆霍兹假设（Helmholtz’s hypothesis）。二者之间的争论从19世纪开始，冯·赫尔姆霍兹提出假设：两眼之间的联系不是一种强制性的解剖机制，而是仅仅通过意志就能影响和改变的，是可学和训练的（Helmholtz, 1962）。后来该假设受到赫林假设的挑战，后者认为：“当考虑眼动对视觉的影响时，双眼可以被当作一个统一的器官（接受神经系统的）操作”，“就像一个人就可以牵动马两边的缰绳”（Hering, 1977）。但是由于早期的研究仪器并不是那么精细，大多数研究支持赫林假设（King, 2011）。所以假设（hypothesis）变成了定律（law）——赫林的平等神经支配定律（Hering’s law of Equal Innervation）（Howard, Rogers, 1995）。所以研究中常常将双眼假定为同一个器官、步调一致，即“单眼视觉”但是局限于实验室研究，缺乏生态效度（Ecological Validity）。

2.3 （半）自然情境下的连续分析

“单眼视觉”研究模式的流行，自然影响到了双眼视觉，也限制了双眼视觉的研究模式。首先，部分研究通过对双眼分别呈现的两张图片的差异大小进行人为控制，来控制双眼注视视差进行相关研究。这种模式存在生硬、被动，生态效度较低等问题。其次，双眼协调的研究只能局限在实验室中，它们只是在很小的时间尺度（通常是以ms为单位，总时长不超过1000ms）上抽取个别眼动特征进行微观眼动的研究。这种模式无法适应实验室外大时间尺度上、前后影响的自然情境（或半自然情境）。

面对上述困境，眼动仪的自然性、双向性、动态和大时间尺度、持续、连贯特征便凸显出来。

2.4 自闭症（孤独症）儿童在情绪面孔加工中的双眼注视视差

在寻找自闭症患者的特异性特征过程中，国内的研究发现在动漫社交视频观赏中（不涉及深度知觉）自闭症谱系障碍（Autism Spectrum Disorder，ASD）的双眼注视点间距与正常儿童相比存在显著差异（陈飞虎, 陈顺森, 赵广平, 2016），该结论也一再被证实（高世欢, 陈顺森, 林彩云, 2017; 李龙珠, 2017）。但是国内外现有的研究模式并不能推进进一步的研究工作，因为它们无法回答一下问题：个体在自然状态下阅读、浏览或观看书籍、图片、影视作品等平面材料（不涉及深度知觉）时双眼注视视差是怎么存在的？如果双眼注视视差在持续的视知觉加工过程中均匀存在，那么双眼注视视差是相对不变的，即双眼注视视差只是固定的生理特征；否则，双眼注视视差是可变的。如果是可变的，是完全随机的变化，还是根据特定原因发生相应的变化？如果是前者，那么双眼注视视差仍然具有生理意义特性，只是相对稳定，不是绝对不变。如果双眼注视视差根据特定原因发生相应变化，那么通过对这种关系的明确，双眼注视视差的心理意义也将被确定。

理论上，部分研究者集中于“单眼视觉”研究而忽略双眼视觉、双眼协调等，这个问题的根源需要被厘清。实际研究中，ASD儿童双眼注视视差特异问题需要得到进一步澄清。同时，为了解决低生态效度的实验室研究带来的问题，我们需要发展出以眼动数据为基础的长时程、持续的、可视化分析模式。

3.研究方法

3.1 数据收集

实验对象：本研究数据来自陈飞虎等人（2016）的研究。被试分别为从福建省漳州市某特殊教育学校选择的28名ASD儿童和从某幼儿园选择的28名正常儿童（typically developing，TD）。

实验材料：从用于促进ASD儿童情绪识别的彩色动漫《运输汽车》截取3段包含完整故事情节的视频。每段视频约1分钟，分别为以高兴（happy）、恐惧（fear）、难过（sad）为主要情绪，每段视频中包含的“无情绪”面孔部分作为对比的基线。

实验设计：采用2（被试类别：ASD儿童、TD儿童）×3（任务种类：不同情绪面孔“happy、sad和fear”）的实验设计。各段视频以随机顺序呈现给被试，以平衡位置差异。

数据产生：通过Tobii眼动仪分别记录ASD和TD儿童在观看动漫片段时的两眼坐标，求出两眼注视点之间的像素点距离，即双眼注视视差。

数据处理：应用Matlab R2014a和SPSS 20.0软件对数据进行分析。

3.2 原始眼动数据的滤波分析

在完全体现出眼动仪在双眼注视视差研究中的优势之前，还有一个需要解决的问题——眼动数据中的噪音。由于眼动具有高精度，所以很容易受到影响。环境噪音、仪器状况、眨眼、头部扭动等都会导致数据中噪音。这些噪音具有幅度大、突发性脉冲等特点。针对数据趋势中的异常值，选择限幅滤波予以剔除；然后用相邻数据点的中位数替代剔除之后的缺失值。图1所示，是两类被试限幅中值滤波前后的整体趋势图，可以发现：剔除噪音后，数据趋势更加清晰明显，同时数据范围明显减小，从0～200左右降低到10～60左右。由于存在极其密集的细节性波动，故趋势不太明显。

上述密集的细节性波动来自于眼动本身：微颤、漂移和震动。这些只有生理适应作用的眼动特征对于认知加工来说并不是必须的（Møller et al., 2006），具有随机性、波幅小、频率高等特点。如图2、图3所示，采用线性滤波中的均值滤波，滤波之后的数据趋势更加突出和清晰，并保留了趋势，使得时间序列上差异的具体信息十分清晰。

图1 中值滤波前后ASD和TD两类被试的双眼注视视差趋势的对比

图2 均值滤波前后ASD和TD两类被试双眼注视视差局部趋势的对比

图3 两次滤波后ASD和TD两类被试双眼注视视差整体趋势的对比

4 结果

4.1 滤波效果分析

陈飞虎等人（2016）发现ASD和TD儿童的双眼注视视差在多维尺度（Multidimensional Scaling，MDS）空间中存在显著的差异。所以本文中为了验证滤波的效果，分别将两次滤波之后的数据与原始数据在MDS空间上进行对比。为了清晰的在二维平面展现滤波前后效果，同时满足MDS的各项指标，我们随机选取三段视频中的一段做比较。如图4所示，滤波前后各个阶段的两组被试数据的MDS二维分布合理（三个MDS分析的指标均合适：Stress＜0.25，DAF＞0.9）。从a到c两类被试的分界线越来越整齐、清晰。同时，分别提取三种情况下每个被试的MDS空间坐标，计算每个被试双眼注视视差的多维尺度欧式间距，并对每种情况下的双眼注视视差的欧式距离的区分能力做ROC曲线。结果显示，AUCa=0.69，AUCb=0.75，AUCc=0.78。即随着滤波的进行，两类被试区分越来约明显。提示该方法对ASD与TD具有优良的鉴别能力。

4.2 两类被试与三种情绪面孔的时序分析

经过两次滤波，双眼注视视差的整体趋势与差异细节显露了出来。如图3、5所示，总体上双眼注视视差随着时间和材料的变化而不断发生变化。首先，双眼注视视差是变化的，其次，这种变化并不均匀。具体发现如下：

1）屏幕呈现内容为场景时，ASD与TD儿童双眼注视视差趋势不相上下。甚至，ASD的双眼注视视差在某些部分比TD儿童小；

2）不同情绪面孔上，ASD的双眼注视视差都明显大于TD儿童的双眼注视视差。同一个情绪面孔持续出现的过程中，ASD儿童的双眼注视视差趋势波动更大。

3）随着情绪由积极情绪向消极情绪转变（happysad-fear），TD儿童的双眼注视视差存在增加，而ASD儿童的双眼注视视差先增加，后在fear时降低。

然而，时序分析只能显现出视觉上的差异，很难解释这种差异时是否显著。所以为了进一步验证双眼注视视差在时间序列上的描述性分析结论，从三段视频中抽出两类被试（TD， ASD）在对应的情绪面孔（无情绪、happy、sad、fear）出现时段中双眼注视视差的数据进行量化分析。

结果表明：被试类型的主效应显著，F（1，6661）=47388.12，p＜0.001，ηp2=0.49；情绪面孔种类的主效应 显 著，F（3，6661）=367.65，p＜0.001，ηp2=0.17；二者的交互作用也显著，F（3，6661）=738.87，p＜0.001，ηp2=0.33。简单效应的分析表明，在无情绪、以及happy、sad和fear三种情绪面孔上，ASD儿童的双眼注视视差均显著大于TD儿童的双眼注视视差（p＜0.01）（如图7所示）。ASD儿童在三种情绪面孔的观看中双眼注视视差之间存在显著差异，p＜0.01。同时研究发现随着情绪由积极情绪向消极情绪转变（happy-sad-fear），TD儿童的双眼注视视差存在显著的增加，而ASD儿童的双眼注视视差先显著增加后显著降低。

方差分析的结果验证了两组被试在三种情绪面孔下双眼注视视差时序趋势的分析结果。

5.讨论

5.1 赫尔姆霍兹假设与双眼协调

图4 ASD和TD两类被试的双眼注视视差在MDS二维空间的分布对比

图5 时间序列上两类被试的双眼注视视差与情绪面孔的对应

图6 被试种类与情绪面孔种类的交互作用

双眼注视视差在时间序列上趋势的变化能体现出双眼在视觉加工的运动过程中的协调性能，即突出双眼协调概念中的“协调”。同时，这种时序分析模式允许多样性的实验材料，极大的提高了生态效度，拓展了未来的研究方向。赫尔姆霍兹假设已经被一些双眼协调的发展性和康复训练研究间接的支持。这些研究表明，双眼协调似乎是由视觉经验驱动的，并且基于神经可塑性（ Coubard, 2015; King, 2011）。本文通过双眼注视视差在时序上的呈现，清楚的展现了两眼之间的不完全一致性，同时随时间和情绪面孔的变化而发生有规律的变化。该结论反对了双眼是“统一器官”的赫林法则，以及关于双眼极端“解剖机制”的看法。与之相反的赫尔姆霍兹假设 （Helmholtz, 1962）认为，两眼之间的联系不是一种强制性的解剖机制，而是仅仅通过意志就能影响和改变的，是可学的、可训练的。所以，本文结果间接支持了赫尔姆霍兹假设的。另外，本文对动漫视频材料进行连贯的分析正是这种模式的优势之处。最后，时序分析可以引导研究者发现变化，定位时段，找到激发事件，进而可能寻找到变化中蕴含的心理意义。Kirkby等人（2008）就在综述中强调，双眼协调的心理意义是未来需要加以确认和进行具体研究的内容。

5.2 情绪面孔对双眼注视视差的调节

面孔被认为是社交中传递信息最为重要的方式。而情绪面孔又是比较复杂、微妙的。同时，自闭症患者对于情绪面孔的加工存在的特殊性。所以本文选取情绪面孔作为实验材料，以期发现双眼之间的关系。实验结果表明该材料满足了研究目的。

同时，我们还有新的发现：情绪面孔对双眼注视视差存在调节作用，并且不同的情绪面孔对不同类型的被试有不同的调节作用。首先，是调节量的不同，例如正常儿童的双眼注视视差在不同的情绪上存在显著差异（如图5、6所示）。其次，是调节方向的不同，积极情绪使得正常儿童的双眼注视视差有微弱的减小（如图5），而消极情绪使得其显著增加（如图5、6）。

研究发现随着情绪由积极情绪向消极情绪转变（happy-sad-fear）时，TD儿童的双眼注视视差存在显著的增加，这与已有研究似乎相呼应。Gross等人（1991）在回顾文献曾表明：4～5岁的儿童可以识别高兴（happy）、难过（sad）和恐惧（fear）三种不同的面部表情，但是三者之间的准确率呈下降趋势。郭文斌等（2012）人的研究表明相比于高兴、难过面孔，小学生在观看恐惧面孔时具有最大的瞳孔距离和最长的注视时间。

5.3 ASD双眼协调在情绪面孔加工中的特异性

吴冉和徐光兴 （2012）曾介绍了ASD知觉特异性，本文在原有研究（陈飞虎, 陈顺森, 赵广平, 2016; 高世欢, 陈顺森, 林彩云, 2017; 李龙珠, 2017）的基础上进一步探究了ASD儿童视知觉特异性的更多特征，即在情绪面孔的加工中双眼协调具有更加显著的特异性：

首先，在三种情绪面孔上，ASD儿童的双眼注视视差均显著大于TD儿童，同时ASD的变异性更大。这与自闭症儿童对于面孔与情绪的加工存在困难的观点一致。其次，随着情绪由积极情绪向消极情绪转变（happy-sad-fear），TD和ASD儿童的双眼注视视差都显著的增加，然而ASD儿童却在fear情绪上发生转折，有了显著下降。这也印证了其他研究的发现：ASD儿童对于恐惧等负面情绪具有异常的加工困难（Pelphrey et al., 2002; 严淑琼, 2008）。

6 结论

（1）限幅中值滤波和均值滤波可以较好的消除基于眼动原始数据的双眼注视视差中的噪音，让时间序列上的双眼注视视差趋势更加直观。

（2）在视觉加工过程中，双眼注视视差会在时间序列上对情绪面孔和时间产生影响。首先，直接反对了赫林法则，同时间接支持了赫尔姆霍兹假说。其次，表明情绪面孔对双眼注视视差具有调节作用。

（3）在情绪面孔的加工过程中，ASD儿童的双眼注视视差表现出特异性：在所有情绪面孔上，ASD儿童的双眼注视视差均显著高于TD儿童；同时研究发现随着情绪由积极情绪向消极情绪转变，TD儿童的双眼注视视差存在显著的增加，而ASD儿童的双眼注视视差先显著增加后在消极情绪面孔上显著降低。

Tobii眼动仪无需佩戴装备，可以在自然情况下收集数据，所以有研究（徐静俭, 2009; 徐娟, 2012）认为它具有更高生态效度，适合儿童和特殊人群。但是使得被试与屏幕间距离的不确定性增加，导致双眼注视视差的单位不能由像素点转化为度，进而导致本研究不能与其他研究进行比较。希望给其他以成人或者正常人为被试的研究提供借鉴。