人工智能系统安全综述

陈磊 李雅静

(1.国防科技大学，长沙 410073；2.中国工程院战略咨询中心，北京 100088；3.麒麟软件有限公司，北京 100190)

0 引言

人工智能技术正在迅速普及，甚至是未来的主导技术。随着大数据时代的到来和计算机性能的提升，以深度学习为代表的机器学习算法在计算机视觉、自然语言处理、自动驾驶汽车[1-2]等领域的应用取得了极大的成功，预示着人工智能超过人类自然习得智能的可能性。人类文明是人类智能的产物，而通过人工智能获得更高级的智能将影响人类历史。

人工智能技术的发展方向和时间进度无法准确预测，因而人工智能技术的进步也是一把“双刃剑”。一方面，人工智能作为一种通用使能技术，在医学、科学和交通等领域[2-4]产生颠覆性的作用，也为保障国家网络空间安全、提升人类经济社会风险防控能力等方面提供了新手段和新途径；另一方面，人工智能在技术转化和应用过程中，引入的隐私、安全、经济和军事等问题[5-8]，引起人们对人工智能的长期影响而担忧，尤其是对网络与信息系统安全、社会生产系统、社会就业、法律伦理等领域的冲击，并对国家政治、国防、经济和社会安全带来诸多风险和挑战[9-10]。因而，世界主要国家都将人工智能安全作为人工智能技术研究和产业化应用的重要组成部分。

本文概要介绍了人工智能、人工智能安全以及分类，并对人工智能内生安全和衍生内生安全两个方面进行了阐述，最后对人工智能安全技术的研究进展、面临的挑战以及应用前景进行了探讨和展望。……