编码方式对不同性质语篇记忆的影响：跨通道的分析视角

王 慧 宫朝铭 欧阳文珍

(1江苏师范大学科，江苏 徐州 221000;2中国矿业大学徐海学院，江苏 徐州 221000)

一、问题提出

1999年拉考夫等学者首次提出第二代认知科学的概念，即具身认知(Embodied Cognition，EC)，不同于传统认知理论离身认知(Disembodied Cognition，DC)，第二代认知科学反对主客二元论，认为人的认知不是运行在“身体硬件”之上用以指挥身体的“心理软件”，主张人的认知是身体(包括大脑在内)的认知，强调认知过程身心一体和认知的具身效应，以及身体操作对语义信息的促进作用，并通过行为学和认知神经科学方法对这一观点进行了一定程度的验证[1][2][3][4]。如对工具的命名任务会激活颞中回和左侧前运动皮质，而这两个脑区在想象自我操作物体时也会得到激活。

”移动阅读”概念细化身体操作为是否呈现实物进行外显操作为标准，区分出身体操作(Physical Manipulation,PM)和想象操作(Imagined Manipulation,IM)两种”移动”的方式，探索两种操作对于学习者空间判断和记忆保持的影响，并预测身体操作将促进抽象性质内容的学习[5]。在理解抽象信息时引起的运动反应与描述具体物体传递的句子的程度相同[1]。视觉和听觉是人类感知信息的最主要通道，那么，收听抽象语篇音频的具身效应是什么样呢？因此，探究视觉和听觉两个通道的刺激反应具有极重要的意义。注意资源的感觉通道特异性指出视觉和听觉事件的加工平行且相互独立，不同感觉通道的信息编码和加工存在不同[6]。有研究表明，记忆、思维等高级心理过程与身体行动密切相关[7]，注意资源的感觉通道特异性为应用具身操作阅读进行音频材料提升语篇记忆的研究提供了理论依据。

以往研究多数聚焦视觉通道，较少考察听觉通道阅读阅读材料的记忆差异[8][9][10][11]。本研究从跨通道的角度入手，将对跨通道下记忆空间表征的特点进行探讨，更直观地比较视觉通道和听觉通道下记忆空间表征的差异，探索改进实验材料的阅读形式后对语篇记忆的影响，尤其是研究结果将为视觉障碍人群的语篇记忆效果提高提供更科学的指导。已有研究显示，在考察记忆水平的过程中，要同时参考再认和回忆两个指标[12]。综上所述，本研究拟通过两个实验，分别考察阅读方式和通道改变对阅读语篇效果的影响，即再认水平和回忆水平的影响。

二、实验研究

1.被试

选择144名学生参加试验，被试不了解实验目的，听力正常，视力或矫正视力正常，无色觉障碍，随机分到音频形象材料和抽象材料组，每组72人，其中两个大组的编码方式分为DC和PM的各36人，男女各半，年龄在18～21岁之间，实验完成后获得一份精美的礼物。

2.实验材料

通过预实验筛选出来正式实验的材料。答题测试计分，答对一道积一分，共10道题。正式实验共6份实验材料，形象类、抽象类材料各3份，通过电脑录制的标准普通话女声发音的音频。

3.实验设计

采用2编码方式(DC、PM)*2材料性质(形象、抽象)被试间实验设计。因变量是答题正确率，自变量是编码方式、材料性质。

4.实验程序

实验分两个阶段。一是即时阶段，采用Gardiner和Klee的研究范式中编码、干扰任务、“对回忆的再认”的三个环节。以团体方式开始试验，保证实验场所安静，被试独立完成实验。本实验的编码方式分为DC和PM两种。实验前，通过指导语告知被试实验程序和注意事项，指导语均由主试一人执行。阅读/收听文本形象和抽象材料的测试指导语程序上一致。被试阅读/收听完材料后进行执行干扰任务阶段，即被试观看一段视频，观看结束，进入“对回忆的再认”答题阶段。二是延时阶段。七天后，同一组被试再次完成“对回忆的再认”任务，被试再次完成阶段一的测试题。为保证再测数据是被试自然状态的回忆再认，被试提前不知道7天后的再测实验。统计两次答题的正确率进行比较分析。

三、实验结果

再认正确率结果显示，对材料性质与编码方式的单变量方差分析主体间效应检验发现，编码方式主效应显著，F(1,68)=6.721，P<0.05，Eta2=0.090，DC编码方式被试的答题成绩(M=5.611,SD=0.295)和PM编码方式被试的答题成绩(M=6.694,SD=0.295)差异显著。材料性质主效应显著，F(1,68)=6.721，P<0.05，Eta2=0.090，被试阅读形象材料答题成绩(M=6.694,SD=0.295)和被试阅读抽象材料答题成绩(M=5.611,SD=0.295)差异显著。编码方式和材料性质交互作用不显著，F(1,68)=7.347，P>0.05，Eta2=0.033。

进一步分析形象材料性质在编码方式上的显著差异，F(1,34)=7.039，P<0.05，Eta2=0.172，PM编码方式收听形象材料的答题成绩(M=7.556,SD=0.459)显著高于DC编码方式(M=5.833,SD=0.459)；抽象材料在编码方式上差异不显著，F(1,34)=0.713，P>0.05，Eta2=0.021，DC编码方式阅读抽象材料再测答题成绩(M=5.389,SD=0.372)，PM编码方式阅读抽象材料答题成绩(M=5.833,SD=0.372)无差异。这说明PM编码方式的优势只在收听形象音频语篇材料时。

回忆正确率显示，对材料性质与编码方式的单变量方差分析主体间效应检验发现，编码方式主效应显著，F(1,68)=50.000，P<0.05，Eta2=0.177，PM编码方式被试的答题成绩(M=5.167,SD=0.308)显著高于DC编码方式(M=3.500,SD= 0.308)差异显著。材料性质主效应不显著，F(1,68)=12.500，P>0.05，Eta2=0.051，被试收听形象材料再测答题成绩(M=4.750,SD=0.308)和被试收听抽象材料再测答题成绩(M=3.917,SD=0.308)差异不显著。编码方式和材料性质交互作用不显著，F(1,68)=1.964，P>0.05，Eta2=0.028。上述结果说明：编码方式、材料性质对收听效果都有影响。

进一步分析形象材料性质在编码方式上的显著差异，F(1,34)=12.022，P<0.05，Eta2=0.261，PM编码方式收听形象材料的答题成绩(M=5.889,SD=0.465)显著高于DC编码方式(M=3.611,SD=0.465)；抽象材料在编码方式上差异不显著，F(1,34)=3.385，P>0.05，Eta2=0.091，DC编码方式阅读抽象材料再测答题成绩(M=3.389,SD=0.406)，PM编码方式阅读抽象材料答题成绩(M=4.444,SD=0.406)，这说明PM编码方式的优势只影响收听形象音频语篇材料。

四、讨论

即时阶段，关于语篇记忆效果，即再认正确率，PM编码方式的语篇记忆效果最好。即使更换通道方式，依然保持了PM操作效应的一致性，即PM操作编码方式的语篇记忆效果遥遥领先于DC编码方式，两种编码方式之间存在显著差异。进一步说明了我们的思考方式取决于我们所拥有怎样的身体[1]。收听形象音频的语篇记忆比抽象音频好，说明材料性质是关键，操作效应仅仅体现在了形象类的语篇上，弱化了材料类型的差异。进一步分析可知，音频呈现的言语工作记忆比文本少一个转换环节，直接进行语音编码的优势明显。延时阶段，关于语篇记忆保持，即回忆正确率。PM编码方式的语篇记忆保持效果最好，记得最牢，形象类语篇材料记忆保持效果比抽象材料的好。说明身体操作对记忆保持增强有促进作用，而语篇材料的具身性越强，操作效应越明显。因此，即使更换了通道方式，依然是在PM编码方式下的记忆保持情况好，但是促进效果仅仅表现在收听形象类材料上。出现这个结果，说明当语篇阅读材料以音频形式呈现时，抽象材料的学习内容是否经过身体操作就不那么重要了。

操作效应未出现在收听抽象语篇材料上，可能与认知资源的分配和学习风格有关。

虽然注意资源会平衡分配完成视、听觉任务，相互独立，平行加工，这也是注意资源的感觉通道特异性，但是由于认知资源的实际分配问题，阅读两类性质语篇材料可能会消耗不同的认知负荷，认知负荷分配不均导致语篇记忆和记忆保持效果不一。已有认知负荷的研究显示，明确人的认知资源是固定的、有限的，即外部认知负荷、内部认知负荷和相关认知负荷此消彼长[13]。所以，这有可能是收听抽象类语篇材料未发生操作效应的因素之一。另有研究表明，认知风格和信息呈现方式对学习者认知负荷影响的研究中指出认知负荷过重的情况导致记忆下降[14]。当刺激呈现通道与学习风格匹配，则会降低学习者的认知负荷，反之则增加学习者的认知负荷。因此，阅读语篇材料的通道方式与学习者的感知学习风格之间也存在交互作用，共同影响学习效果。还有研究表明自我损耗的通道效应的作用，即感知通道呈现方式与学习风格不匹配时，都会影响自动化加工水平[8]。综上所述，就研究结果分析可知，注意资源分配、认知负荷、学习风格等因素，都有可能影响着跨通道阅读两类语篇材料的操作效应，那么在具体研究时，我们一定不能脱离明确阅读材料的性质等因素，身体操作促进语篇记忆效果也能千篇一律地给出统一的标准，如传统观点认为的“心灵手巧”，因为在阅读形象类语篇材料时出现了“手巧促进心灵”现象。因此，探索如何为非视觉通道或者有视觉障碍的个体提供更有效的阅读、记忆和记忆保持的新途径，首先要从材料性质和呈现方式导致的身体操作效应的非统一性出发，同时兼顾学习者的学习通道偏好和学习风格特点等因素，这些都是要考虑到的相关因素。

五、结论

与视觉通道一样，听觉通道也存在显著的PM操作效应，但对于在收听抽象类语篇音频材料未发生操作效应的原因尚未定论，这将都有待于下一步的研究。

第一，优化听觉通道下的操作效应的研究范式。已有研究显示，当感被试知学习风格与通道呈现方式匹配时，学习效果更好[15]。未来听觉通道下的操作效应研究应探索包含被试学习风格区分的实验范式。

第二，未来可以用ERP 和FMRI以外的方法，进一步考察视听通道下操作效应发生的认知神经机制。

第三，未来还可以从注意资源分配特点探索PM操作效应对形象、抽象类语篇阅读效果的影响。

第四，已有研究显示动作表征的积累影响学习记忆能力，未来还可以探索动作表征水平对PM操作效应的影响，寻找促进操作效应的新方法。