电子资源海量访问行为的采集优化研究

宋惠莺 姚思勤 章民融

1(上海复旦光华信息科技股份有限公司 上海 200433) 2(上海市计算技术研究所 上海 200040)



电子资源海量访问行为的采集优化研究

宋惠莺1姚思勤1章民融2

1(上海复旦光华信息科技股份有限公司 上海 200433)2(上海市计算技术研究所 上海 200040)

随着电子资源在高校图书馆中的普及，复杂多样的电子资源数据给访问跟踪和数据挖掘带来了日益严峻的挑战。为了从海量的电子资源访问数据中更快和更好地进行行为分析和数据挖掘，基于复旦光华的ERU系统和其在复旦大学图书馆的历年运行结果，重点阐述了在海量数据采集分析中的各个优化步骤和手段，特别是原始数据清洗或过滤和数据库优化。通过介绍的优化方案，复旦大学现场实现了高性价比的采集分析方案。该方法不但可以应用在图书馆中电子资源，而且对其他的海量数据处理有着较好的借鉴性。

电子资源 用户信息行为 ERU 大学图书馆

0 引 言

近年来随着信息技术在图书馆中应用规模持续扩大，特别是电子资源访问的爆炸性增长，校园网传输的数字资源信息呈现总量剧增、种类繁杂、并发加大和突发性操作频繁等特征。面对如此大数据规模，对现有电子资源访问行为追踪系统提出了极高的要求。

如图1所示，国内各高校在2009年-2015年中，在电子资源方面的投入逐年提高。图中数量代表各校平均采购量。国内各高校的纸质资源采购已出现逐年下降趋势，而相应的电子资源采购金额在2015年已经和传统纸质采购基本持平。……