网络安全设备联动系统中小文件存储优化方法研究

程晓荣　李玉进　李紫君　刘雨晨

摘要：网络系统在运行过程中会产生大量日志，采用Java编程技术将各安全设备日志转换为XML文件。在对日志文件存储过程中，现有的存储系统硬件成本高，扩展能力差，数据并行访问效率低，难以满足网络安全设备联动系统的需求。因此，该文采用基于HDFS的云存储系统对日志文件进行存储。为了提高基于HDFS的云存储系统中小文件存储效率，该文设计了云存储系统中小文件存储的优化方案，主要在小文件合并和小文件检索方面做了优化。该方案结合网络安全设备联动系统中日志文件的特点，首先是根据不同设备的文件进行分类，然后根据小文件在合并后的大文件中的偏移量进行检索。最后采用3组文件集合对优化方案进行了测试，实验结果表明，在不影响存储系统运行状况的基础上，该方案提高了小文件的存储效率和读取效率。

关键词：网络安全；小文件；Hadoop；存储优化

中图分类号：TP393 文献标识码：A 文章编号：1009-3044（2015）35-0010-02

1 引言

网络系统在运行过程中会产生大量的系统日志、应用日志、安全日志和网络日志，这些日志包含着关于网络运行、安全及状态的数据。随着采集日志的大规模增长，现有的存储系统硬件成本高，扩展能力差，数据并行访问效率低，难以满足网络安全设备联动系统的需求。因此，提供一种更高性能、更低成本、更好可靠性的易于管理的存储平台，才能够帮助该系统用尽可能低的成本应对日益增长的数据存储需求。……