基于属性值序列图模型的deep Web新数据发现策略

鲜学丰，崔志明，赵朋朋，方立刚，杨元峰，顾才东



基于属性值序列图模型的deep Web新数据发现策略

鲜学丰1,2,3，崔志明1,2，赵朋朋2，方立刚1,3，杨元峰1,3，顾才东1,3

（1. 江苏省现代企业信息化应用支撑软件工程技术研发中心，江苏苏州215104； 2. 苏州大学智能信息处理及应用研究所，江苏苏州215006；3. 苏州市职业大学计算机工程学院，江苏苏州 215104）

针对数据源新产生数据记录的增量爬取问题，提出了一种deep Web新数据发现策略，该策略采用一种新的属性值序列图模型表示deep Web数据源，将新数据发现问题转化为属性值序列图的遍历问题，该模型仅与数据相关，与现有查询关联图模型相比，具有更强的适应性和确定性，可适用于仅仅包含简单查询接口的deep Web数据源。在此模型的基础上，发现增长节点并预测其新数据发现能力；利用互信息计算节点之间的依赖关系，查询选择时尽可能地降低查询依赖带来的负面影响。该策略提高了新数据爬取的效率，实验结果表明，在相同资源约束前提下，该策略能使本地数据和远程数据保持最大化同步。

deep Web；新数据发现；数据获取

1 引言

目前，主流搜索引擎还只能搜索Internet表面可索引的信息，在Internet深处还隐含着大量通过主流搜索引擎无法涉及的海量信息，这些信息称之为深层网页(deep Web，又称为invisible Web 或hidden Web)。根据Bright Planet研究表明，deep Web信息量非常庞大，是可索引Web信息的500倍，并且这些deep Web内容95%都是可以通过Internet无需付费注册就可以公开访问的。deep Web的信息一般存储在服务端Web数据库中，与静态页面相比通常信息量更大、主题更专一、信息质量和结构更好。……