2020年深度学习技术发展综述

王亚珅

2020年深度学习技术发展综述

王亚珅

（中国电子科技集团公司电子科学研究院，社会安全风险感知与防控大数据应用国家工程实验室，北京 100041）

对深度学习领域的研究进行综合评述，并对其进一步发展方向进行分析。首先分析围绕注意力机制的深度学习技术最新研究成果，以及在自然语言处理领域取得突破性进展的巨型预训练模型的特点与发展路径；随后概述开源深度学习市场的火热局面及其对技术升级的推动作用；最后分别从香农定律、冯·诺依曼架构、摩尔定律三个角度探讨深度学习技术的未来发展方向。综述表明，注意力机制和预训练范式在当前计算机视觉和自然语言处理等深度学习重点应用领域中取得长足技术突破，开源深度学习市场的兴起有效推动产学研用各领域深度学习技术落地，在今后很长一段时间里，深度学习依然具有很广阔的发展空间。

深度学习；注意力机制；预训练；神经网络；开源；人工智能

1 引 言

过去十年最流行的深度学习技术，多以大数据、大计算、大模型算法来驱动，其中包括AlphaGO、AlphaZero等。深度学习在过去一段时间取得了很好的进展，如生成的对抗网络、迁移学习及2020年提出的GPT-3等，其算法理论与应用技术需要结合符号逻辑、知识推理、因果关系新范式等。目前对于学术界和产业界而言，未来五至十年深度学习依然是最重要的算法之一，在今后的很长一段时间里，深度学习依然具有很广阔的发展空间。……