
“深度学习所需的大规模样本数据对于算力产生巨大需求,但近日美国麻省理工学院等研究机构的报告显示,深度学习正在逼近算力极限,而提升算力所需的硬件、成本和对于环境的影响正变得越来越难以承受……”
美国麻省理工学院、安德伍德国际学院和巴西利亚大学的研究人员在最近的一项研究中发现,深度学习的进步强烈地依赖于计算的增长。其结论显示,训练模型的进步取决于算力的大幅提高,具体来说,计算能力提高10倍相当于3年的算法改进成果。大量数据和算力是促进人工智能发展的重要因素,但是研究人员认为,深度学习正在逼近算力极限。换言之,算力提高的背后,其实现目标所隐含的计算需求——硬件、环境和金钱等成本将变得无法承受。
研究人员表示,深度学习急需革命性的算法才能让AI更有效地学习,并越来越像人类。那么,为何深度学习算法十分依赖算力的增长,现在算力的极限在哪里,如何突破?除了算力,深度学习还能否依靠其他方式改进算法性能?革命性算法的标准是什么?
大规模样本数据催生计算需求
“深度学习本质上是基于统计的科学,所以大规模的样本数据对于深度学习的效果至关重要。更大规模和更复杂的神经网络模型已经被证明非常有效,并在产品中有广泛的使用,同时这也让深度学习对计算能力有着更大要求和消耗。”远望智库AI事业部部长、图灵机器人首席战略官谭茗洲表示。