网站结构优化系统研究

程舒通

1.浙江大学计算机科学与技术学院，浙江杭州 310027

2.杭州科技职业技术学院，浙江杭州 310012

0 引言

随着互联网和电子商务的发展，对网站技术的开发提出了更高的要求，建设一个更合理、注重个性化和相关性的网站成为研究的热点，很多的学者从不同角度、不同方向提出了网站结构优化技术[1-4]，也开发了相应的系统或模型，但是尚未从整体上去把握网站结构优化技术。本文设计了一个较为常用的网站结构优化系统，并仔细分析每一阶段的特点。

我们认为网站结构优化是指Web结构挖掘内容，其对象是网站本身的超连接，即对Web文档的结构进行挖掘。我们利用相应的算法，发现Web文档之间链接情况的有用信息，由于文档之间的超链接反映了文档之间的包含、引用或者从属关系，因此引用文档对被引用文档的说明往往更客观、更概括、更准确。

1 网站结构优化系统

本文设计的网站结构优化系统，包括4个主要阶段：分别是数据采集、数据预处理、模式发现和模式分析等。

图1 网站结构优化系统基本框架图

1.1 数据采集

网站数据采集是网站结构优化的前期步骤，也是后续工作的基础。简单的说就是获取网站的原始数据和相关信息。此阶段主要分为四种形式，Web服务器端数据采集、客户端的数据采集、应用服务器数据采集以及代理服务器端数据采集等。Web服务器段数据采集是指从Web服务器获取原始的日志文件，这些日志文件中记录很了多的网站信息。……