攻击人工智能系统对社会治安的危害与对策

（中国人民公安大学国家安全学院 北京 100038）

近年来，人工智能技术在计算机视觉、自然语言处理、语音识别等领域取得了突破性进展，其在完成人脸识别等特定任务上的速度和精准度已追平甚至超越人类。社会各个行业都已开展了人工智能系统的应用，对其进行攻击会给社会治安带来严重的危害。人工智能系统的安全性直接攸关人民生命财产安全。公安机关作为维护社会治安主要责任机关，开展攻击人工智能系统的防范对策研究迫在眉睫。

1 攻击人工智能系统的方法对社会治安的危害

恶意攻击者攻击人工智能系统的方法主要包括对抗样本攻击、数据污染攻击、模型萃取攻击、系统漏洞攻击、模型后门攻击以及模型逆向攻击。攻击者利用攻击达到的目的可以大致分为两类：（1）窃取系统内的信息或者模型信息；（2）干扰人工智能能系统功能或降低其性能[1]。这些攻击方式所达到的这两类目标会对社会治安产生一系列的危害，具体可分为以下几种。

1.1 危害交通安全

智能交通对于国家的发展起着至关重要的作用，在2019 中国智能交通年会上，介绍了交通运输的几个重要的工作，包括自动驾驶、智慧公路和智能航运三个方面。人工智能技术是智能交通实现的支撑力量，但是攻击者利用攻击人工智能系统来干扰系统功能会对智慧交通产生很多现实的危害。

对于自动驾驶的交通工具，密歇根州华盛顿大学和加州大学伯克利分校的研究人员在2017 年通过研究发现，利用对抗样本攻击的方式，将停止标志进行小幅度的调整，则可使自动驾驶汽车的计算机视觉算法不可见[2]，这意味着黑客可以强迫自动驾驶汽车以危险的方式行驶并可能导致事故，这样路标路牌就成了一个非常大的危害。与传统交通相比，人工智能带来的智能交通将会给人类社会带来巨大的人力成本的节约，如在货运、物流等方面的使用度会越来越高，但是在自动驾驶技术内，对判断、路测等方面的智能算法的攻击也会给路面交通，海面航行带来巨大的挑战。根据对抗样本攻击中对抗样本的不同，攻击者也可以使用带有语意的激光束来命令汽车的走向，使得汽车错误的听从攻击者发出的激光束的语意来行走，这对交通安全将会产生极大的危害[2]。攻击者利用模型后门的攻击方式也会对交通安全产生巨大的安全隐患，如果在训练自动驾驶汽车的智能系统时就植入后门，如将右转交通标志牌上添加trigger 后，将会被后门模型预测为左转标志牌。因此在使用模型之前，检查预先训练的DNN 是否已经被木马化是必不可少的。

1.2 扰乱治安管理

目前，在维护社会治安的智能设备中，使用最多最为广泛的智能设备之一就是智能摄像头。智能摄像头对维护社会治安来说起着至关重要的作用，智能摄像头主要使用于公民的日常生活，例如摄像头门禁、智能手机开锁、脸部识别支付等，对于公安机关，智能摄像头通常设置在道路、卡口、银行等处，可用于人像的捕捉和案件预警，追捕犯罪嫌疑人和犯罪嫌疑车辆。但是通过攻击人工智能系统来干扰智能系统的功能，会使得这些设备不能进行有效的使用。经过实验，若用特制的纸片戴在识别对象身上，则会使得智能摄像头不能辨认出人的信号，这样公安机关在抓捕逃犯或者智能摄像头在预测预警时，嫌疑人即可以逃脱智能摄像头的捕捉。除了对抗样本攻击，模型后门的攻击方式还可以在训练中设定攻击者指定的人脸触发器，让系统对于攻击者设定的指定人脸不能正确识别。同样对于摄像头门禁等，对智能摄像头系统进行攻击，也可以使得摄像头出现识别失误，对社会治安的预测预警工作和公民人身、财产安全都会带来危害。

1.3 侵犯公民人身权利

公民人身权利主要包括公民隐私权、姓名权、肖像权等。窃取、售卖、不法使用公民人身信息，会造成对公民各类人身权利的侵犯。随着科技不断发展，现在人工智能系统的使用已经遍布各行各业。人工智能系统内数据量大，并且公民的个人信息、生活信息等不断被这些智能系统所记录并保留下来。如今售卖公民信息的案件层出不穷，且以低价就能购得大批量的各类公民信息，若这些拥有巨大信息量的公司和企业的人工智能系统被攻击，那么公民的这些信息将会被窃取，公民的隐私权将会受到侵犯。如果公民的照片、姓名等被窃取并被用于牟利或者违法使用，也会侵犯公民的肖像权和姓名权等人身权利。同时，公民的这些个人信息被窃取，将会产生一系列的人身或者财产的安全隐患问题。

1.4 侵犯公民财产权利

科技的进步虽然给人们带来了诸多便利，但是在带来便利的同时也给经济犯罪提供了越来越有利的诈骗和勒索的手段。通过攻击人工智能系统窃取信息不仅仅会导致公民个人信息泄漏，侵犯公民人身权利，还会侵犯公民的财产权。获取公民一系列个人信息可以使得盗窃犯罪分子可以进行推断家庭人口情况、年龄分布和数量还有收入情况，可以帮助其有效分辨哪些家庭比较容易着手进行盗窃。现在电子商务行业非常发达，根据2019 年电子商务行业数据报告来看，2019 年移动购物用户规模达7 亿人，快递企业业务量达156.1 亿件，如此庞大的用户数据量，如果被窃取将会产生大量的连锁犯罪，如犯罪分子在窃取到公民购物信息和快递信息后，可以将信息售卖以侵犯公民隐私权，犯罪分子还可以使用该信息制作假的快递包裹“送货上门”，欺骗购物者不知情的家庭成员以货到付款的方式进行诈骗，受骗人往往由于地址、姓名、电话、购买的物品等都能对上而相信犯罪分子并且将钱财给予犯罪分子。这类诈骗最近频发，而且作案成功率较高，要杜绝这类犯罪，源头是保护存储信息的人工智能系统，使得公民的信息不受侵犯。公民信息被窃取除了会诱发诈骗犯罪以外，甚至还会诱发勒索犯罪。若公民个人不愿意被其他人知道的隐私被攻击者窃取，那么很有可能会发生攻击者利用窃取到的隐私信息威胁公民，来获取钱财的犯罪行为。

2 攻击人工智能系统面临危害的对策

攻击人工智能系统给社会治安造成的危害是多方面的。随着科技的不断进步，攻击人工智能系统的方式也不断增多。数字化社会里，公安机关使用的人工智能系统存储了大量的秘密信息和公民信息。如果被攻击，那么造成的后果往往不堪设想。公安机关作为维护社会安全与和谐稳定的权力机关，亟须对这些攻击采取相应的防范对策，以免其造成严重的危害结果。

2.1 强化公安机关技术防范能力

由于在公安工作中公安队伍技术力量较为薄弱，许多供其使用的人工智能系统都是公安机关与外界公司联合开发。公安机关只需要负责提供系统的功能需求，系统的开发则交给外界公司。这样会导致系统开发后交给公安机关使用时，由于人工智能系统的黑盒特性，公安机关很难从一开始发现系统可能存在的被攻击的风险。所以，对于公安机关来说，加强技术防范，掌握应对攻击的方法，是智慧化警务不断深入推进的必备要求。

2.2 建立人工智能系统安全评估体系

目前，人工智能系统遭受攻击的事件时有发生。许多人工智能系统正在遭受到多种攻击的威胁，这对社会造成了一些危害。对于国家机关使用的人工智能系统，如果受到攻击，造成的危害会更加严重。所以对于一些具备收集信息功能的、大型的人工智能系统，在使用前，应该经过科学合理的评估，再进入投放使用，更能保证人工智能系统在使用过程中的安全。

2.3 提高公民个人信息保护与财产安全意识

人工智能系统给商业发展和人民生活水平带来大幅度提升的同时，也给公民人身权利和财产权安全造成了极大的隐患。由于科技发展水平日新月异，相应的攻击手段的种类也不断在增多，目前攻击者攻击人工智能系统，会造成公民的个人信息泄露，从而导致公民的人身、财产权利受到危害。由于普通公民不具备技术上能防备个人信息泄漏的技能，且犯罪手段日新月异，所以公安机关在日常治安管理过程中，需要在日常的工作中给公民宣传预防网络上各种诈骗方式，告知其谨慎在不熟悉的网络平台上进行操作。

2.4 加强人工智能从业人员及企业管理

随着我国科技水平的不断发展，我国特种行业和特种作业人员的范围也在不断修改之中。人工智能从业人员随着社会的发展，能做到的事情也就越来越多。如同开锁行业的开锁工，现在的人工智能从业人员可以利用自己的技术手段帮助人们开通凭借人力办不到的“锁”，也能使用自己的技术私自开“锁”，窃取公民各类信息，破坏人工智能系统，对社会造成非常大的危害，并且这类危害会随着社会的发展越发严重。所以，对于新时代的人工智能行业，公安机关作为社会治安的管理者与维护者，需要将人工智能行业与从事人工智能行业的人员纳入日常管理的特种行业和从事特种行业人员内部，进行必要的监督与管理。

3 结束语

随着人工智能在对公安、卫生、金融、交通等众多行业的助力作用日趋显著，攻击人工智能系统给社会治安等方面带来的危害也日趋严重。公安机关需要不断探索对人工智能进行合理管控的方式，全方位提升警察的专业素质及公民的基本素质，建立专门的管控部门及培养专门人才，从而才能保证我国人工智能技术在不断发展的前提下，与社会安全保持一个良好的平衡，从正向推动国家与社会的发展。