人工智能和大数据的高效能计算探讨

李增 袁伟

基于当下人工智能与大数据并行应用的重要性，將二者融合的高效能算法进行侧重分析十分关键，研究发现，人工智能与大数据高效能算法依然处在起步阶段，很多因素与问题都对其全面设计、优化造成阻碍。本文将对面向人工智能和大数据的高效能计算进行分析，为下一步工作开展提供参考依据。

人工智能与大数据并行融合计算一直受到诸多学者关注，但是现阶段有关面向人工智能和大数据的高效能计算及其相关研究相对较少，因此，要求行之有效的措施对其进行分析研究，如研究方向与原理架构、并行处理体系结构分析、异构并行算法及模型设计实现等。

人工智能及大数据概述

人工智能即AI 技术，是计算机技术及网络技术衍生发展出的重要技术。人工智能以拟人神经网络为主，通过智能模块或编程设计完成拟人化操作、工作和运行等。当下人工智能已经渗透到诸多领域中，在未来发展中人工智能与5G网络必将成为主流方向。大数据技术是基于互联网、物联网高速发展下的一种技术支撑，大数据具有海量、精准、鉴别和高效等特点，在诸多领域中得以广泛应用，大数据时代及人工智能时代的到来，寓意人类文明发展进入新进程。

人工智能与大数据融合的高效能计算分析

研究方向与原理架构

随着我国科学技术水平不断提升，大数据时代的来临也带来了诸多问题，数据量不断增加，对传统数据分析及挖掘造成一定影响。这种问题对人工智能算法应用形成了阻碍。基于此，一种更为高性能的计算模式及方法应运而生，其中，最具代表性的是大数据与人工智能并行效应，即二者的融合高效能算法。面向人工智能与大数据高效能计算平台体系架构并行处理的体系结构，如图所示。

第一、将异构计算体系结构作为其研究方向，该体系结构符合超级计算、高性能计算的需求。其提供的算法、算力等可作为人工智能与大数据融合的理论支撑。

第二、异构众核并行处理架构，在进行体系架构中应对通用性进行考虑，结合多模态算法中的分析框架与建模等进行工作。考虑到处理效率提升的必要性，可结合Tensorflow、MXNet 及相关平台服务器，对频繁通信进行快速处理。

第三、资源管理与调度任务调整，在建模过程中主要以国产异构众核为主，主要包括算法能力、快速储备及通信功能等的建模设计，并对任务映射、资源管理等进行快速机制完成，侧重对计算相应节点内、节点间的映射方式进行研究。

异构并行算法及模型设计实现

第一，以多模态数据为主，对该建模中涉及的大量数据堆积、架构复杂、信息沉淀高的问题进行相关提取，包括特征、相关预处理提取等。然后对相关算法进行重点分析，对其核心算法进行优化设计。主要包括随机梯度、卷积计算和卷积神经网络等，将上述的可并行进行明确，同时也要对其并行粒度、相关模式等进行集中研究。

第二，多模态机器在学习过程中，无论更新或算法运行都要在高速网络下进行多重或复杂的沟通与同步。基于此，强化对模型压缩中数据通信与传输的方式研究，最大程度提升其性能。

在具体工作中要对其问题的时效性、节点性进行掌握，对人工智能与大数据应用的融合方向进行明确，这样才有利于并行计算稳定运行和功能发挥。在算法设计与结构搭建中也要对新方法进行诠释，并要加强对相关人才的培养与引导，将技术创新与实践结果进行融合，为全面构建人工智能与大数据新时代奠定基础。

综上所述，通过对面向人工智能和大数据的高效能计算进行分析研究，主要包括：研究方向与原理架构、并行处理体系结构分析、异构并行算法及模型设计实现等。对人工智能和大数据融合并行的高效能计算进行简单概述。从多方面、多角度对其研究方向与结构框架进行简单介绍，为下一步工作开展奠定基础。