隐含形状信息在二语句子理解中的表征研究

王慧莉，赵韫晗

（大连理工大学 外国语学院）

一、引言

人类是如何理解语言的？语言理解过程中物体信息在头脑中是如何表征的？这些一直是认知心理学中备受争议的问题。第一代认知科学衍生出的传统语言理解观认为，语言是人类特有的心理机制，思维理论大多用来处理命题（propositional）形式的知识，知识被定义为抽象的语义性知识。传统语言理解观中最具代表性的观点是非模态符号系统理论（amodal symbol system），非模态符号模型假设词语和句子的意义是由抽象的（abstract）、模态的（modal）、任意的（arbitrary）符号组成。从这个角度来看，思维是可以进行抽象信息加工，但与记忆、语言表征等高级认知功能不相联系的感觉运动系统。此理论主张语言理解过程是语言输入然后被映射到语义或概念表征中的过程，概念系统也被认为是由抽象的、模态的符号组成。话语内容被理解时，语义信息是完全独立于感觉运动系统的。命题符号系统理论（propositional symbol system）也属于非模态理论，它是以命题形式对信息的表征方式，即一种不带任何感觉通道特点的抽象意义的表征。所谓命题是指思维活动的基本意义单位，通常由一个谓词（动词单位）与一个或几个论元（名词单位）构成，用以表述一个事实或状态（车文博，2001：227）。根据命题符号系统理论，物体之间的心理关系是由符号而不是由场景的心理意象（mental image）来表征的。例如阅读句子the ranger saw the eagle in the sky，读者会激活概念命题且会得到以下连接[ [ SAW [RANGER，EAGLE] ]，[ IN[ EAGLE，SKY] ] ]，阅读the ranger saw the eagle in its nest可以得到的命题概念连接为[ [ SAW [RANGER，EAGLE] ]，[ IN[ EAGLE，NEST] ] ]（Kintsch，1998；Kintsch & van Dijk，1978），除了名词sky和nest分别表示中心词eagle的不同位置以外，这两个句子的概念命题连接几乎完全相同。但是，出于常理和直觉，鹰在天空中和鹰在巢中的形状是完全不同的，而在命题表征中鹰的形状这一知觉信息将不会被表征。语言输入在语言理解中被转换为命题表征。但随着非模态符号系统理论的发展，许多难以解决的问题也随之出现，包括非模态符号系统理论是否存在、许多归类型的知识不能用非模态符号系统理论解释等。鉴于此，Barsalou（1999a）在传统哲学基础上提出了知觉符号系统理论（perceptual symbol system），为之后具身语言理解观的发展奠定了基础。Barsalou（1999a）认为，知觉符号（perceptual symbol）是人知觉经验的残留物（residue），它们以激活的形式储存在大脑中。知觉符号是神经状态基于知觉的记录，大脑通过激活神经元装置从而对所感知的实体和事件进行表征。具身语言理解观认为，语言理解是以身体感觉、知觉等认知活动为基础的，语言认知与感知觉、运动等享有相同的神经系统，语言理解过程中会涉及仿真（simulation）感知觉表征的激活与参与。在此基础上Zwaan等人（Zwaan，2001；Zwaan，Standfield & Yaxley，2002）通过大量开创性的研究验证了Barsalou的知觉符号系统理论。在Zwaan（2001）等的实验中，研究者要求被试首先读一个隐含物体方向的句子，包括水平方向和垂直方向，如“玛丽把钉子钉到了地板里”和“玛丽把钉子钉在墙壁里”，每一个实验句都隐含着物体的方向且其与之后呈现的图片伴随有匹配或不匹配两种可能，之后要求被试判断图片中的物体是否在之前的句子中出现过。结果呈现明显的匹配优势（match advantage）。匹配和不匹配两种情况下被试的反应时间存在显著的差异，在匹配情况下被试会对句子和图片刺激的匹配情况快速作出反应。此实验结果表明人们在语言理解过程中会激活并表征隐含在句子中物体的方向信息。在另一个实验关于物体形状的相关模拟（simulation）研究中也发现了相似的匹配优势（Zwaan，Standfield & Yaxley，2002：168-171），被试首先阅读隐含物体不同形状的句子，如“护林员看到鹰在天空中”或“护林员看到鹰在巢内”，然后他们会看到隐含在句子中与物体的形状匹配或者不匹配的图片，实验过程中同样记录被试在两种匹配情况中的反应时。当图片中物体形状和句子描述场景中的物体形状一致时，被试的反应时更短，反应更迅速。因此，此实验说明当被试在阅读句子时，头脑中会形成有关事物形状特征的知觉符号，进而支持知觉符号系统理论。国内心理语言学学者（李莹、王瑞明、莫雷，2005：王瑞明等，2005：常欣、凌晓霞，2017）也对此理论进行了验证。李莹、王瑞明和莫雷（2005：588-590）的研究是以汉语为研究材料验证了知觉符号系统理论，同时说明知觉符号的激活是策略性加工的结果。王瑞明等（2005：143-150）的研究通过增加阅读任务的难度和进行长时记忆任务验证了在语言理解过程中存在知觉符号表征，且知觉表征是信息表征的一种早期状态，人类头脑中最终的信息表征形式主要是命题符号表征。而Zwaan，Stanfield和Yaxley（2002：168-171）的实验是建立在母语的基础上的，国内鲜有研究证明在二语语言理解的过程中，被试会像母语一样同样形成有关事物形状特征的知觉符号。因此，当前实验继续沿用句图匹配范式，以二语为研究对象，验证在二语的背景下语言理解是否同样支持知觉符号系统理论。

二、研究方法

1 被试

80名二语为英语的学习者参加了本次实验，包括48名男生和32名女生，年龄范围在19到30岁之间（M=23.7，SD=1.99）。被试的母语为汉语，二语为英语，均通过大学英语六级或英语专业四级考试。所有的被试均为右利手，视力或矫正视力正常，无阅读和识图障碍。被试自愿参加本次实验并在实验结束后获得一定的报酬。

2 实验材料

本实验共有96张黑白图片，其中大部分来自Zwaan，Stanfield和Yaxley（2002：168-171）的实验，其他图片从互联网和剪贴画库中获得。所有的图片中有32张图片为填充图片，其余的64张实验图片两两匹配，每对图片都展示了同一物体的不同形状。匹配的其中一张图片为冰箱里的鸡蛋，而另一张为煎锅中的鸡蛋。

图1 冰箱里的鸡蛋和煎锅里的鸡蛋

96个句子用来搭配图片，其中包括32个填充句和64个实验句。实验句子两两匹配，分别隐含着同一物体的不同形状。填充句中提及的物体没有在之后呈现的图片中出现，因此在识别任务中需要被试作出“否”的反应，实验句中的物体在实验图片中都会出现，因此被试判断时应作出“是”的反应。

3 评定实验

为确保图片的规范性和描述的准确性，需要对图片材料进行事先评定。100名不参加正式实验的学生参与了评定。每位同学一本小册子，里面有事物的名称和对应的图片，参与者被要求在七点量表里对句图的匹配关系进行评定，匹配度在4分以上的图片被应用到实验中。

表1 实验中使用的图片和句子刺激示例

表2 实验中使用的填充图片和填充句子示例

4 设计与程序

本实验为2（匹配状态：匹配与不匹配）×2（图片版本）被试内设计，其中自变量为句子与图片的匹配关系，因变量为被试的反应时间。为控制实验材料和实验条件的顺序效应，本实验共有4个序列。提及同一个物体的两个实验句（S1，S2）和两张实验图片（P1，P2）排列组合，产生了4个版本，分别是S1P1，S1P2，S2P1，S2P2。S1P1与S2P2为句子和图片的匹配情况，S1P2与S2P1为不匹配情况，每个序列包含四个可能版本中的一个（2句子×2图片）。对于其中一个物体，每个序列只包含其中一种版本。填充句在每一个实验序列中都相同，填充项目与实验项目在实验中随机出现。

实验程序由E-prime 2.0编制，在计算机上进行实验。被试首先在屏幕中央看到一个注视点“+”，呈现时间为600ms；注视点消失后出现一个句子，被试理解句子后，按下空格键；屏幕中央再次出现注视点“+”，呈现时间为600ms；接着呈现图片，被试被要求准确且快速地判断图片中的物体是否在前面句子中出现过，“是”按F键，“否”按J键。为确保被试熟悉实验程序，在正式实验前有5个练习实验，实验总长约30分钟。

图2 实验过程说明

5 结果与分析

首先剔除错误率高于20%被试1名，再删除3个标准差之外的极端数据，共排除4.88%的数据，最后得到78名被试的有效数据。我们对匹配和不匹配两种情况下被试反应的错误率的显著性进行比较，如表3所示。

表3 匹配和不匹配两种情况下被试反应的错误率

对表3两种匹配情况错误率进行分析，发现被试在不匹配的情况下错误率更高，也就是说被试在不匹配的情况下更容易犯错误。以被试为随机变量，在匹配和不匹配两种条件下对被试的错误反应做匹配样本T检验。统计结果表明在不匹配情况下被试反应的错误率更高，匹配和不匹配两种情况下错误率差异显著（t=-3.572，p<0.05）。

表4 匹配与不匹配条件下句图匹配的反应时与标准差（ms）

对表4的反应时数据进行描述型统计分析，匹配情况下被试的平均反应时为927ms，标准差为184.66ms。而在不匹配情况下平均反应时为981.92ms，标准差为202.82ms。鉴于此，可以初步得出结论，匹配情况下被试的平均反应时和标准差明显小于不匹配情况，说明被试在匹配条件下所用的时间更短，反应更迅速。

表5 匹配和不匹配条件下的方差分析（ms）

表5展示了在匹配条件和不匹配条件下被试反应时的差异分析结果，表明两种匹配下被试的反应时存在显著性差异（t=-4.448，p<0.05，df=77），不匹配条件下的反应时显著高于匹配条件。由此说明当句子和图片相匹配时，被试的反应更快。

从表6可以看出在句子和图片匹配识别任务中，句子因素对反应时的影响显著，F（1，77）=5.182，p=0.026，p<0.05，说明句子因素对反应时有显著影响。以此类推，在识别任务中，图片因素对反应时也有显著影响，F（1，77）=6.588，p<0.05，p=0.012，证明图片因素也会影响识别任务中的反应时。此外，在识别任务中句子与图片之间的交互作用是显著的，F（1，77）=21.275，p=0.000，p<0.05，说明句子因素与图片因素之间的交互作用影响了识别任务中的反应时。

三、讨论

在以命题符号系统理论为主导的时期，学者们普遍认为认知和知觉是相互分离的两个领域。知觉和认知被认为反映了大脑独立的、不同的系统，知觉系统从环境中提取信息并将其传递到执行认知功能的系统中（如言语、记忆、思维等）（王瑞明等，2005：143-150）。Barsalou（1999a）提出了与之相对立的观点，他认为知觉表征是认知的基本组成部分而不是命题表征。认知被认为是有知觉性的特点，其与知觉享有共同的神经系统，知觉状态包含对外界刺激无意识的神经表征和有选择的意识经验。当知觉状态产生时，其中一些会通过选择性注意被抽取出来并储存在长时记忆中。在之后的激活过程中，这种知觉记忆可起到符号作用以代表外界事物，并进入符号操作过程（Barsalou，1999b：61-80）。认知表征就是由大量的知觉符号集中起来产生的。知觉符号具有模式性（modal）和类比性（analogical）的特点，模式性是指知觉符号与其产生的知觉状态处于同一系统，如在知觉中表征方向或颜色的神经系统很大程度上在知觉符号中也表征物体的方向或颜色信息；类比性是指在某种程度上，知觉符号的结构与产生它的知觉状态是相对应的。基于对知觉符号这一认识的基础上，Barsalou（1999a）对知觉符号系统理论进行了系统地阐述。知觉符号系统理论认为，人们在阅读过程中对语言理解中信息的表征是知觉符号表征，知觉符号系统理论是与传统的命题符号系统理论相对立的一种理论观点，它对命题符号系统理论所阐述的大部分观点提出了质疑。自Barsalou（1999a）提出这一理论以来，国内外很多研究者均对它产生了浓厚的兴趣，对两种理论的争议也越来越激烈。在当前实验中，我们采用跟Zwaan，Stanfield和Yaxley（2002：168-171）类似的研究范式，以二语为实验材料，通过对比被试在句子和图片匹配和不匹配两种情况下的反应时间，进一步验证了知觉符号系统理论的合理性。实验结果表明被试在阅读句子时明显地表征了物体所隐含的形状信息。因此，在识别任务中当图画与物体隐含形状不匹配时，被试对图画的反应时间显著长于图画与物体隐含形状匹配时的反应时间，被试在不匹配条件下的识别任务正确率显著低于匹配条件下的正确率。

正如预期的那样，目前的研究结果与以往对知觉符号系统的研究结果是一致的，即人们在语言理解过程中激活隐含的知觉信息，这是通过观察语言的理解与身体活动的一致性效应研究方法来证明的。研究结果同时证明了Langacker（1987）等的观点，即语言输入意义的表征是一个动态的过程，它涉及到可塑的知觉表征，而不是意义各成分的机械组合。近年来认知语言学、心理学和认知神经学的大量实证研究为知觉符号系统理论提供了支持，因此我们的讨论从这些领域的理论视角展开。

1 认知语言学中的知觉符号系统

当前的研究产生匹配优势，在二语语言理解过程中，当图片展示的物体形状与句子中所隐含的物体形状的相同时，被试的反应速度更快。当前研究与Zwaan（2002）等得到了相同的实验结果，说明在母语或是二语的背景下语言理解过程中物体的知觉信息都会被表征，人们在语言理解过程中心理在表征隐含在句子中的物体的形状。这表明二语语言理解过程中形状表征增强了语言理解的具身观，特别是通过展现形状这一知觉信息在语言理解过程中经常被激活和表征的知觉符号模型，就如之前在英语研究中对物体颜色、方位和运动的研究一样。我们通过观察在物体识别任务中的句子理解促进身体反应来得出结论。

首先，本研究的结果产生匹配优势，这与之前母语的研究结果一致，即处理句子引导人们对所描述的情境进行心理模拟（mental simulation），而构建心理模拟的三个过程：直接的、无意识的和完全无意识的。

根据Zwaan（2004）的浸入式体验框架（immersed experienced framework）所述，语言处理遵循三个原则：在语言理解过程中构建对物体隐含知觉信息的主动仿真（enactive simulation），在某一特定事件的背景下整合主动仿真，基于个人经验、知识、可组合性、可预测性和语法标记来合并不同的仿真。例如，当被试看到句子there was an eagle in the nest，会按照如下方式来构造这个句子：首先，目标词eagle和短语in the nest在不同的知觉结构中激活了原先的经验，接着在仿真语言所隐含事件的过程中整合成智能网络，被试将模拟鹰在巢穴中栖息的场景，随后被试将根据他们之前的经验将鹰和树或森林等环境结合起来。

语言对理解者来说是组建对所描述的情景进行体验式（感知+动作）模拟的一组信号。在这种概念下，理解者是所描述情景下的沉浸式体验者，而且理解是所描述情景的代替经验。因此，Zwaan（2004）的沉浸式经验框架的本质和Barsalou（1999a）的知觉符号系统理论有相同的特点，即这两种理论都主张语言理解是在感知模拟器（perceptual simulator）的基础上进行思维模拟的。

在认知心理学领域有学者已经探讨了构建模拟和语言理解所需的处理机制之间的关系。有两个因素说明如何根据匹配或不匹配优势构造模拟：时间重叠（被处理和模拟的句子的时机）和可集成性（刺激可以被整合到模拟中的程度）。参与者同时处理一个句子并观看一个知觉刺激时，当句子和刺激被整合（如当被试在阅读句子“他把钉子钉入墙”时，看到钉子水平方向的图像）时就会出现匹配的优势，而当句子和刺激物不容易被整合（如当被试在阅读句子“他把钉子钉在地板上”时，看到钉子在水平方向的图像）时就会出现不匹配的情况。当句子和图片刺激按顺序呈现时，如果知觉信息和句子所隐含内容是可整合的，也会有一个匹配优势。如在本实验中被试阅读句子“天空中有只鹰”之后，看到一只鹰在空中的图像，暗含物体形状的图片在句子呈现之后，当图像中物体的形状与句子所隐含的物体的形状一致时，会得到匹配优势。

2 认知心理学中的知觉符号系统

根据Tanaka，Weiskopf和Williams（2001：211-215）提出的物体识别的“形状+表面模型”，物体形状信息可以通过“物体识别过程中的感知物体或心理意象中的词汇标签来触发。因此，本研究的结果与形状+表面模型”是一致的，当处理句子隐含物体的形状时，如阅读隐含物体形状的句子（如there was an eagle in the sky）后，被试将会在头脑中表征鹰的形状。因此，当物体在图像中的形状与被试的心理意象一致时，被试在识别任务中反应就会更快。例如，当被试看到一只鹰在天空中的图片时，反应就会更迅速。当前研究结果证明在物体识别任务中，句子理解促进身体动作反应，人们通常会在语言理解过程中激活形状信息等物体知觉信息。

3 神经科学中的知觉符号系统

与之前语言处理研究中得到的行为证据中产生的匹配优势一样，本研究的结果表明共享的神经认知机制不仅影响了知觉和行为的处理，而且也影响了相同知觉和行为的心理模拟。然而，只有通过神经科学研究的证据我们才有可能得出一个明确的结论：大脑负责的感知和运动区域参与语言理解过程。

神经科学的大量研究表明视觉图像选择性地激活大脑中负责感知相似图像的区域（Kosslyn，2001）。视觉对象的形状特征由枕叶前部颞叶皮层负责，梭状回区域不仅被图像激活，而且可以被文字激活，这与知觉符号系统的预测相吻合。Chao，Haxby和Martin（1999：913-919）以及Wheatley（2005：1871）证实了有关名词意义的形状特征是由腹侧颞叶皮层的神经元感知到的，这些神经元不仅部分重叠于那些有助于对相同特征进行视觉感知的神经元，而且还可以根据语义范畴进行分离。此外，神经心理学研究与知觉符号系统理论所阐述的观点一致，即若感觉运动区域梭状回中部频繁受到损害会对具体的物体名词的理解产生一定的影响（Gainotti，2006；Capitani，2009）。

四、结语

首先，本研究在句子理解过程中物体的表征产生了显著的匹配优势，从而从二语句子理解的形状信息表征角度对知觉符号系统理论提供了进一步的支持。在匹配条件和不匹配条件下的反应时有显著性差异，这与语言理解的具身观点一致而不支持传统语言理解观下的命题表征观。其次，当呈现的物体图像与句子描述的场景中隐含相同的形状信息时，匹配条件下反应时会更快。这种强大的匹配优势强化了知觉符号系统理论的假设，即人们通常会在语言理解过程中激活物体包括形状信息在内的感知信息。

尽管本实验验证了在二语背景下人们在阅读过程中会激活知觉符号，进一步支持了知觉符号系统理论。但是并没有科学的证据表明人们在阅读过程中不会涉及命题符号系统理论。因此，未来研究者可以依靠ERP和fMRI等生理实验工具直接检验大脑理解语言的激活模式。且本实验的句子材料为二语简单的短句，若实验材料为长难句或文本段落，语言理解的加工方式或许并不简单地支持知觉符号系统理论。