用户推荐对网络搜索行为影响的眼动研究

卢万譞， 梁玮， 贾云得

(北京理工大学 计算机学院， 北京 100081)



用户推荐对网络搜索行为影响的眼动研究

卢万譞， 梁玮， 贾云得

(北京理工大学 计算机学院， 北京 100081)

为研究用户推荐对网络搜索行为的影响，将用户推荐加入到搜索引擎结果页面中，通过眼动跟踪技术观察被试在完成网络搜索任务时行为的变化. 实验结果显示，加入用户推荐对被试的搜索效率、注意力分布和点击分布没有显著影响. 但反馈问卷显示，多数被试认为用户推荐有助于搜索，并且会在搜索中参考该信息. 分析发现，两种结果矛盾的原因在于被试在搜索过程中常常会忽略用户推荐，产生无意视盲(inattentional blindness)现象.

网络搜索；用户行为；眼动；用户推荐

互联网已经成为人们日常生活中主要的信息来源，在互联网上获取信息的主要途径是网络搜索，其主要工具是搜索引擎. 了解用户如何与搜索引擎进行交互，不但能够改进搜索引擎、提升用户的搜索效率，而且能够帮助设计者开发更为人性化的人机交互方式、提升用户体验. 因此，网络搜索行为研究已经受到学术界和产业界的广泛关注.

传统的网络搜索行为研究多采用日志分析、调查问卷、访谈和观察法等方式[1-2]. 通过日志分析能够得到查询和点击等行为数据，在一定程度上描绘出用户与搜索引擎的交互过程. 但是，产生这些行为背后的信息处理过程却无法得知. 虽然调查问卷、访谈和观察法能够从一定程度上解决这个问题，但是得到的数据过于主观. 眼动仪的出现，很好的解决了这一问题. 眼动仪能够记录用户在进行阅读、浏览和搜索等视觉行为时的眼睛运动数据. 这些数据是实时的、过程式的，例如用户的目光停留在何处、持续多长时间等等. 对这些数据进行分析，能够清晰、客观地再现用户的视觉行为，反映出隐藏在这些行为背后的信息处理过程.

基于眼动技术的网络搜索行为研究有许多，例如Klöckner等[3]对用户浏览搜索结果策略的研究、美国康奈尔大学研究组[4-6]对用户性别和任务类型等因素影响的研究、微软研究院[7-9]对结果排名、摘要长度和广告等因素的研究，以及Gonzlez-Caro和 Marcos[10]对不同搜索任务下用户行为的研究等等. 这些研究具有的共同特点是：使用的搜索引擎结果页面(search engine results page，SERP)只包含搜索栏、搜索结果和广告等基本组成元素，搜索结果以列表的方式排列，所得到的结果是传统搜索引擎的用户行为. 近年来，网络搜索已经发生了新的变化，例如新界面和新功能等等. 一些学者已经开始利用眼动技术研究这些变化对用户行为的影响. Kammerer等[11-12]研究在SERP中加入搜索结果的来源和网格状搜索结果排列对用户行为的影响，发现：用户更倾向于选择门户网站所提供的搜索结果；网格状排列使用户的注意力分布更为平均，能够帮助用户选择相关性较高的搜索结果. Ostergren等[13]对三种图像增强型搜索界面进行研究，发现采用非线性图像型界面能够显著影响用户行为，表现为用户浏览搜索结果的总数和顺序的不同. 谷歌[14-15]对SERP中加入的社会化标注的研究，发现大部分用户并未注意到社会化标注，而通过突出社会化搜索的方式能够从一定程度上提高用户对该内容的注意. 目前，国内外还没有针对用户推荐对网络搜索行为影响的眼动研究.

本文利用眼动技术研究新兴的用户推荐功能对网络搜索行为的影响. 具体方法是将用户推荐加入到SERP中、使用眼动仪记录用户在完成搜索任务时的行为数据，观察被试行为的变化. 本文的主要贡献有以下两点：利用眼动技术、针对网络搜索中新兴的用户推荐功能对用户行为的影响进行研究；发现用户在网络搜索中会忽视用户推荐，产生无意视盲[16]的现象.

1 眼动实验

在搜索引擎结果页面(SERP)中加入用户对某些搜索结果的推荐数，利用眼动仪取得用户在完成网络搜索任务时的行为数据，通过统计分析比较用户行为的差异. 下面描述被试、实验设备、实验设计和实验过程.

1.1 被 试

本实验有偿招募被试60名，均来自同一所大学的不同专业、本科生和研究生，男女各30名，年龄为18～31岁(平均年龄23.9岁，标准差2.5岁)，视力正常或矫正视力正常，没有色盲等眼睛问题. 全部被试熟悉网络搜索，并且平均每天至少进行一次搜索.

1.2 实验设备

使用IE 6.0浏览器和瑞典Tobii公司生产的T120眼动仪. 该眼动仪自带17英寸液晶显示屏，采样率为120 Hz，显示分辨率设置为1 024×768. 实验中采用9点校准法，与被试距离约60 cm. 包括任务完成时间、注视时间、注视次数、注视热点图和鼠标点击等用户行为数据的采集工作由眼动仪自带的软件Tobii Studio完成.

1.3 实验设计

实验要求被试完成特定的网络搜索任务，共计20个. 其中1/2为导航类搜索任务，要求被试找到特定的网页；另1/2为信息类搜索任务，要求被试找到特定的信息. 表1给出了实验中使用的搜索任务. 选择这些任务的原因在于：① 搜索内容在日常生活中较为常见，涉及多个领域，如科技、金融、饮食、历史、旅游等；② 搜索引擎返回的结果中，最佳答案并不总出现在靠前的位置，即对信息位置因素进行了控制.

在实验过程中，建立3种搜索环境：无推荐、被动推荐和主动推荐. 被试平均分成3组(每组20人，男女各半)，分别处于不同的搜索环境. 无推荐环境下使用不含用户推荐的SERP；被动推荐环境下使用含有用户推荐的SERP，但是在实验开始之前不向被试说明用户推荐的存在；主动推荐环境下使用含有用户推荐的SERP，并且在实验之前向被试说明用户推荐的存在.

表1 实验中使用的搜索任务

用户推荐以(红色)文字的形式出现，与搜索结果中的网址处于同一行，位于网址的右侧. 为迎合网络用语习惯，该信息以“网友推荐”的形式出现，如图1所示. 紧跟用户推荐之后的数字表示有多少用户认为该搜索结果符合搜索目标. 这项数据是在实验准备阶段由11名实验室成员投票决定的，因此用户推荐的数值范围为0～11，当推荐数为0时不显示该项内容. 需要指出的是，采集用户推荐信息所使用的方式是评价判断(evaluative judgment)，即在打开搜索结果看到具体内容之后的评价，而不是仅靠SERP所提供的信息而得出的预测判断(predictive judgment).

搜索结果由百度搜索引擎提供，因为被试对该搜索引擎的界面熟悉度更高. 实际上，有88%的被试报告说百度搜索引擎是他们的首选，而排在第二位的Google仅占10%. 为确保同组被试使用相同的网页，全部网页均为预先准备好的本地HTML文档. 除去在SERP中加入用户推荐之外，网页的排版、内容等均没有改动，与真实情况一致(有别于在一些研究[5-8]中将导航栏、相关搜索和广告等内容去除).

1.4 实验过程

实验开始之前，需要根据被试个人情况对眼动仪进行校正，然后以文字的形式向被试介绍实验内容. 无推荐环境和被动推荐环境下的文字介绍中没有关于用户推荐的内容，而主动推荐环境下的文字介绍中包含说明用户推荐的内容. 在被试阅读文字介绍之后会有一组练习，以便让其熟悉实验流程. 无推荐环境下的练习任务中不含有用户推荐，而另外两种环境下的练习任务则含有用户推荐. 在练习之后会对眼动仪进行重新校正，然后开始正式实验. 在完成20个实验任务后，被试需要填写一份反馈问卷，包括个人信息和对用户推荐的看法(详见2.1节)，整个实验过程约耗时30 min.

2 结果与讨论

在分析实验结果前，需要对3组被试之间是否存在显著差异进行分析. 首先，3组被试的年龄没有显著差异，F(2，57)=1.72，p=0.19. 其次，被试使用搜索引擎的熟练程度没有显著差异，F(2，57)=1.33，p=0.27. 此外，3组被试人数相等，男女各半，来自不同专业(不会产生专业偏见). 因此，可以认为被试差异不会对实验结果产生显著影响.

2.1 实验结果

在搜索引擎结果页面(SERP)中加入用户推荐，其目的在于帮助用户完成搜索. 因此，在加入用户推荐后，被试的搜索效率可能会发生变化. 为此，对3组被试、两类不同任务的任务完成时间、注视时间和注视次数进行比较. 任务完成时间，是指被试完成一个搜索任务所花费的时间，从SERP呈现开始计算、到被试点击某个搜索结果为止. 注视时间，是指被试在一个SERP上全部注视点持续时间的总和，而注视次数就是注视点的总个数. 任务完成时间和注视时间越短、注视次数越少，被试的搜索效率越高.

表2给出了3组被试在两类搜索任务下的搜索效率数据. 重复测量方差分析显示：

① 3组之间没有显著差异：

F任务完成时间(2，57)=0.24，p=0.79；

F注视时间(2，57)=0.23，p=0.79；

F注视次数(2，57)=0.37，p=0.69.

也就是说，加入用户推荐对被试的搜索效率没有显著影响.

② 不同搜索任务之间的任务完成时间和注视时间没有显著差异：

F任务完成时间(1，57)=3.86，p=0.054；

F注视时间(1，57)=3.65，p=0.06，

而导航类搜索任务的注视次数显著少于信息类搜索任务的注视次数：

F注视次数(1，57)=5.03，p<0.05.

③ 搜索环境和搜索任务之间没有交互作用：

F任务完成时间(2，57)=0.04，p=0.96；

F注视时间(2，57)=0.05，p=0.95；

F注视次数(2，57)=0.09，p=0.91.

图2为被试的注视热点图示例，为单个任务20人数据的平均结果. 注视热点图能够直观显示被试的注意力分布情况. 图中以不同颜色表示关注程度的不同，红色最高、黄色次之、绿色最少，没有被关注的区域以透明显示. 从图中可以看出，被试在SERP上的注意力分布基本相同，没有显著的差异(其他实验任务的注视热点图与图2情况相似，不再一一列出). 也就是说，加入用户推荐对被试的注意力分布没有显著的影响.

表2 搜索效率数据

之后，对3组被试的点击分布按照如下方式进行比较：首先，将被试的点击数据按照10个搜索结果与其他共11类进行统计，得到60个点击分布数据(3组 × 20个任务，每个数据点是长度为11的特征向量). 其次，将同一任务的3个数据(分别表示3组被试的点击分布)按照两两对比的方式进行相关性分析，得到其相关系数(无推荐与被动推荐、无推荐与主动推荐，以及被动推荐与主动推荐3类). 最后，分别计算这3类相关系数的平均值并做方差分析. 结果显示，无推荐环境与被动推荐环境下被试点击分布的平均相关系数为0.94，无推荐环境与主动推荐环境的平均相关系数为0.95，被动推荐环境与主动推荐环境的平均相关系数为0.95，3者之间没有显著差异，F(2，57)=0.15，p=0.86. 也就是说，加入用户推荐对被试的点击分布没有显著影响.

通过上述行为数据可以看到，在加入用户推荐之后，被试的搜索效率、注意力分布和点击分布都没有显著的变化，即加入用户推荐对被试的网络搜索行为没有显著的影响. 下面对被试在完成实验之后填写的反馈问卷进行分析，了解被试对用户推荐的(主观)看法.

在反馈问卷中被试需要回答“用户推荐是否有用”、“是否会在搜索时参考用户推荐”、“是否愿意向其他用户推荐搜索结果”和“在什么样的情况下需要用户推荐”4个问题. 其中前3个为封闭式问题，最后一个为开放式问题. 经统计，90%的被试认为用户推荐是有用的，并且90%的被试表示会在搜索时参考该信息. 此外，有82%的被试愿意向搜索引擎提供自己对结果的判断共其他用户参考.

在最后一个问题中(图3)，排在第一位的是在“搜索不熟悉的内容”时需要用户推荐，并列第二位的是“搜索结果太多”和“搜索结果太少”，第四位的是 “答案不确定(即答案不唯一)”，其他答案还有搜索“建议类内容”和“知识类内容”，以及诸如“购物”、“美食”和“电子产品”等等. 也就是说，被试需要用户推荐的情形基本上可以概括为“搜索任务难度较大”或“搜索不常见的内容”.

通过以上反馈问卷可以看到，绝大多数被试认为用户推荐是有助于搜索的，并且愿意在搜索过程中参考该信息. 那么，为什么在SERP中存在用户推荐时(尤其是在主动推荐环境下，即被试明确知道用户推荐的存在)被试的行为没有显著变化？为了研究这种“矛盾”现象，将SERP中用户推荐所在的区域作为兴趣区(area of interest， AOI)，统计落在该区域的注视时间和注视次数(图4).

从图中可以看到，在被动推荐环境下被试用于浏览用户推荐区域的注视时间约为0.04 s、注视次数约为0.2次，分别占总注视时间的0.65%和总注视次数的0.83%；在主动推荐环境下被试用于浏览用户推荐区域的注视时间约为0.07 s、注视次数约为0.3次，分别占总注视时间的1.04%和总注视次数的1.09%. 也就是说，无论是被动推荐还是主动推荐，被试都几乎没有关注于用户推荐. 换言之，被试在完成网络搜索任务时忽略了用户推荐的存在，从而导致其行为数据没有显著的变化.

2.2 讨 论

本实验结果显示，加入用户推荐后被试的行为数据没有显著的变化，而在反馈问卷中绝大多数被试却表示用户推荐是有助于完成搜索任务的，并且被试会在搜索过程中参考该信息. 下面解释这种“矛盾”现象.

在Muralidharan等[14]的研究中，被试需要完成一系列的网络搜索任务. 在这些任务所使用的SERP中，有一些包含有社会化标注，即在搜索结果中显示某人(朋友或名人)分享了该结果. 与本实验中被动推荐环境相同，被试在实验开始之前不知道社会化标注的存在. 结果显示，仅有11%的被试表明在实验过程中注意到该信息. 在本实验中，对用户推荐的忽视很可能也是由于相同的原因. 实际上，在本实验中处于被动推荐环境下的被试在完成实验后会在反馈问卷中被询问是否注意到用户推荐. 结果显示，仅有5名被试表示注意到用户推荐，占总人数的25%. 使用Fisher’s精确检验法(Fisher’s exact test)分析表明，Muralidharan等的结果与本实验的结果没有显著差异(p=0.11). 也就是说，处于被动推荐环境下的被试由于没有注意到SERP中存在用户推荐，使得其行为没有显著的变化. 这种情形属于心理学中的“无意视盲(inattentional blindness)[16]”，即被试集中注意力在某个任务或物体上的时候，对其他物体或事件没有察觉的现象. 而在主动推荐环境下，虽然被试对该信息的关注程度有所上升(见图4)，但是单因素方差分析显示无显著差异：

F注视时间(1，38)=0.89，p=0.35；

F注视次数(1，38)=1.07，p=0.31.

也就是说，被试在知道用户推荐存在的前提下在完成搜索任务时依然忽视该信息. 一种可能的解释是：虽然被试知道SERP中存在用户推荐，但是其大部分精力放在比较搜索结果的相关性上，从而没有更多的关注用户推荐，也属于无意视盲现象. 此外，本实验所采用的是较为简单、常见的搜索任务，而反馈问卷显示被试需要用户推荐信息的情形大多是在搜索任务难度较大或搜索内容不熟悉的时候. 因此，被试在简单、常见的搜索任务中可能不需要参考用户推荐信息就可以顺利完成，导致在知道用户推荐存在的前提下没有对其过多的关注. 当搜索任务难度较大时(例如要搜索的内容没有标准答案)，被试可能会更多的关注用户推荐.

3 结 论

利用眼动技术，研究用户推荐对网络搜索行为的影响. 具体做法是将用户推荐加入到SERP的搜索结果中，利用眼动仪记录用户在完成网络搜索任务时的行为数据，观察被试行为的变化. 结果显示，虽然多数被试认为用户推荐有助于搜索且在搜索过程中会参考该信息，但是其行为数据没有显著的变化. 产生这种现象的原因在于被试在搜索过程中忽视了用户推荐，产生了无意视盲[16]的现象.

未来研究的工作包括：① 在实验中引入更多种类的搜索任务(例如交易类搜索任务[17])，加大搜索任务难度，以及将用户推荐以不同的形式(图片、动画等)和位置呈现；② 拓宽实验覆盖的人群范围，例如老年人和文化程度较低的人群.

[1] Jansen B J， Pooch U. A review of web searching studies and a framework for future research[J]. Journal of the American Society for Information Science and Technology， 2001， 52(3): 235-246．

[2] Hsieh-Yee I. Research on web search behavior[J]. Library & Information Science Research， 2001， 23(2): 167-185．

[3] Klöckner K， Wirschum N， Jameson A. Depth-and breadth-first processing of search result lists[C]∥Proceedings of CHI’04 Extended Abstracts on Human Factors in Computing Systems. Vienna， Austria:[s.n.], 2004:1539-1539．

[4] Granka L A， Joachims T， Gay G. Eye-tracking analysis of user behavior in WWW search[C]∥Proceedings of the 27th Annual International ACM SIGIR Conference on Research and Development in Information Retrieval. Sheffield， South Yorkshire， UK:[s.n.]， 2004:478-479．

[5] Lorigo L， Pan B， Hembrooke H， et al. The influence of task and gender on search and evaluation behavior using Google[J]. Information Processing & Management， 2006，42(4):1123-1131．

[6] Lorigo L， Haridasan M， Brynjarsdóttir H， et al. Eye tracking and online search: lessons learned and challenges ahead[J]. Journal of the American Society for Information Science and Technology， 2008，59(7):1041-1052．

[7] Cutrell E， Guan Zhiwei. What are you looking for？ an eye-tracking study of information usage in web search[C]∥Proceedings of the SIGCHI Conference on Human Factors in Computing Systems. San Jose， California， USA:[s.n.]， 2007:407-416.

[8] Guan Zhiwei， Cutrell E. An eye tracking study of the effect of target rank on web search[C]∥Proceedings of the SIGCHI Conference on Human Factors in Computing Systems. San Jose， California， USA: [s.n.]， 2007:417-420．

[9] Buscher G， Dumais S T， Cutrell E. The good， the bad， and the random: an eye-tracking study of ad quality in web search[C]∥Proceedings of the 33rd International ACM SIGIR Conference on Research and Development in Information Retrieval. Geneva， Switzerland: [s.n.], 2010:42-49.

[11] Kammerer Y， Wollny E， Gerjets P， et al. How authority-related epistemological beliefs and salience of source information influence the evaluation of Web search results-an eye tracking study[C]∥Proceedings of the 31st annual Conference of the Cognitive Science Society. Amsterdam， Netherlands: [s.n.], 2009:2158-2163．

[12] Kammerer Y， Gerjets P. How the interface design influences users’ spontaneous trustworthiness evaluations of web search results: comparing a list and a grid interface[C]∥Proceedings of the 2010 Symposium on Eye-Tracking Research & Applications. Austin， Texas， USA: [s.n.]， 2010: 299-306．

[13] Ostergren M， Yu S， Efthimiadis E N. The value of visual elements in web search[C]∥Proceedings of the 33rd International ACM SIGIR Conference on Research and Development in Information Retrieval. Geneva， Switzerland: [s.n.], 2010:867-868．

[14] Muralidharan A， Gyongyi Z， Chi E H. Social annotations in web search[C]∥Proceedings of the 2012 ACM Annual Conference on Human Factors in Computing Systems. Austin， Texas， USA: [s.n.]， 2012:1085-1094．

[15] Fernquist J， Chi E H. Perception and understanding of social annotations in web search[C]∥Proceedings of the 22nd International Conference on World Wide Web. Rio de Janeiro， Brazil: [s.n.]， 2013:403-412．

[16] Mack A， Rock I. Inattentional blindness[M]. Cambridge， MA: MIT Press， 1998．

[17] Broder A. A taxonomy of web search[J]. ACM Sigir Forum， 2002，36(2):3-10．

(责任编辑：刘芳)

An Eye-Tracking Study of the Impact of User Recommendation on Web Search Behavior

LU Wan-xuan， LIANG Wei， JIA Yun-de

(School of Computer Science， Beijing Institute of Technology， Beijing 100081， China)

In order to investigate the impact of user recommendation on Web search behavior, the user recommendation was added to search engine results page (SERP) and observe the change of a participant behavior during Web search via eye-tracking technology. Experimental results show that the additional user recommendation does not significantly influence search efficiency, attention distribution, and click distribution. However, the participant feedbacks indicate that most of them consider user recommendation useful and refer to it during Web search. The reason of this contradiction is that participants ignore user recommendation during search process, which is inattentional blindness.

web search; user behavior; eye tracking; user recommendation

2014-01-23

国家自然科学基金广东联合基金重点项目(U1035004)；国家教育部高等学校博士学科点专项科研基金资助项目(20121101110035)

卢万譞(1986—)，男，博士生，E-mail:luwanxuan@bit.edu.cn.

梁玮(1979—)，女，副教授，E-mail:liangwei@bit.edu.cn.

TP 39

A

1001-0645(2016)05-0514-06

10.15918/j.tbit1001-0645.2016.05.014