陈折桂,王 晶,2+,张伟功,3
(1.首都师范大学 信息工程学院,北京 100048;2.首都师范大学 北京成像理论与技术高精尖创新中心,北京 100048;3.首都师范大学 电子系统可靠性技术北京市重点实验室,北京 100048)
伴随着神经网络应用范围的扩展,近年来涌现出了大量针对不同需求的机器学习框架[1-3],用于处理现代社会爆炸式增长的信息和数据。随之而来的是数以千计的计算机组成的数据中心,为机器学习框架的执行和数据的处理提供算力支持。然而,爆炸式增长的数据使得数据中心所需的计算成本更加昂贵,存储墙问题更加严重。有限物理存储容量限制了训练的规模和推理的速度。
压缩方案是应用广泛且实施简单的拓展有限存储容量的方法,然而这些只能对特定特征的数据进行压缩的无损方法会在压缩解压缩的过程中带来很大的开销。针对存储墙和高开销问题,本文提出一种基于数据冗余性的近似计算技术(redundant data approximation),主要贡献如下:
(1)提出基于神经网络中冗余数据存储特征的冗余数据近似算法,针对权值矩阵稀疏化、输入数据重复化等不同的冗余模式选择压缩算法,针对相似数据小范围浮动型的冗余模式选择近似算法,提高数据存储密度。
(2)针对神经网络的结构设计了支持拓扑感知的冗余数据近似算法,根据不同的网络拓扑,冗余数据近似算法能够寻找到较为优化的近似方式,进而提高压缩效率和计算效率。
(3)实验结果表明,采用本方案近似压缩率平均达到了51.38%,为提高数据密集型应用的系统加速比提供了广阔的可行性。……