蔡恒雨,郑启龙,2
1(中国科学技术大学 计算机科学与技术学院,合肥 230026)2(中国科学技术大学 国家高性能计算中心,合肥 230026)
E-mail:chy520@mail.ustc.edu.cn
近年来,深度学习[1]技术获得了快速发展,在自然语言处理、语音识别、图像处理和计算视觉领域取得了很多成果,并且广泛应用于各个领域.在2012年的ILSCVR竞赛中,在ImageNet[2]数据集上AlexNet[3]网络的错误率降低到15.3%.在2014年,VGG[4]系列网络将错误率降低到7.3%,GoogleNet[5]网络将错误率降低到6.67%.在2015年,ResNet[6]残差网络将错误率降低到3.57%.除了在视觉领域的快速发展,深度学习也逐渐应用于雷达信号处理中,提升雷达信号处理的效率.
随着深度学习的发展,深度学习模型变得越来越大.单个计算设备难以满足深度学习模型的训练和推断需求,通常需要将模型部署在分布式计算平台上,并搭配相应的计算通信库.GPU(Graphics Processing Unit)作为高性能计算设备的代表,具有较强的计算性能和较高的显存,经常被用于深度学习模型的部署和训练.为了更好的实现多GPU的并行计算,英伟达公司设计了NCCL和CUDA,NCCL可以在InfiniBand[7]上实现快速通信,CUDA[8]可以提供计算架构,两者相结合更好的实现了深度学习的部署.在NCCL基础之上,加州大学伯克利分校与微软共同发布GPU通信库Blink[9].
BWDSP系列处理器[10],是由中电科38所研制的国产单核数字信号处理器,具有完全自主的知识产权.在此基础上设计了BWDSP众核虚拟平台,并设计了并行通信接口MPIRIO,可以提供更高的计算能力和存储资源.遗传算法(GA)[11]可以看作是生物进化理论与搜索优化技术的组合,主……