《 新华三人工智能发展报告白皮书 》全文

▲人工智能系统自身面临的安全风险目前人工智能在智能手机、办公设备、智能家居上的应用越来越多，很多人家里都有了智能音箱，另外不少电视、冰箱、电饭煲、空调、窗帘等都具备了人工智能的功能，人们使用语音或者手势就可以指挥它们帮人们完成查询天气预报、查找信息，甚至烧饭做菜，调节室内环境等。由于这些智能设备为了随时响应主人的召唤，需要实时在线，加上其日益强大和不断升级的语音、图像和视频的感知、认知能力，有可能对主人家里每个人的一举一动了如指掌，用户在享受了人工智能带来的便捷服务的同时也带来了自己和家庭隐私泄露的隐患。

　　人工智能平台和模型泄密风险主要有：模型窃取攻击和用户数据窃取攻击。指的是攻击者基于反复查询并分析人工智能系统的输入、输出参数和其它外部信息，从而推测和猜测出系统的模型参数、训练参数和训练数据等信息。

　　目前很多云服务商提供了AI即服务(AIaaS)，由AI服务商负责模型训练、识别等服务，对公众开放，用户可使用开放接口进行各种人工智能识别等操作。但通过反复调用AIaaS的识别接口，有经验的攻击者就可能通过多次返回的信息从而还原出AI模型的各种参数等关键特性，从而把AI模型窃取到。或者即使不能完全窃取到原模型，也可以通过窃取到的信息构建机器学习的对抗样本或模型，从而对人工智能系统进行下一步更深层次的攻击。

　　在用户提供训练数据的情况下，攻击者可能通过反复查询训练好的机器学习模型，获取到用户的隐私数据。

　　当前的人工智能模型和算法非常依赖于输入数据的真实性、完整性和全面性。从攻击者视角，恶意的数据注入是进行对抗样本攻击的重要手段。数据真实性风险主要体现在训练数据真实性和判断数据真实性两个方面。

　　攻击者在训练数据中掺入的恶意数据，可能会大大影响机器学习模型训练的有效性，降低人工智能模型的推理能力。例如，研究者发现，只需要在训练样本中掺杂少量的恶意样本(药饵攻击)，就能很大程度感染AI模型的准确率。通过加入药饵数据，在人工智能健康数据库应用中，攻击者可以使模型对超过一半的患者的用药量建议阐述超过四分之三的变化量。

　　在机器模型的判断阶段，对被判断数据样本加入少量噪音，即可能大幅改变判断结果的准确性，甚至出现风马牛不相及的结果。比如著名人工智能科学家Ian Goodfellow曾发布论文，通过图像生动阐述了基于判读数据投毒的对抗样本攻击概念，一张原本是熊猫的图片，在加入了少量干扰白噪声后，人眼看还是熊猫，但机器学习模型直接将其识别为长臂猿，且可信度高达99.3%。

　　包括TPU等AI专用芯片，GPU，CPU，FPGA，还有大到AI计算服务器集群，小到我们的智能手机、终端，都可能存在软硬件设计缺陷、安全漏洞、后门。例如处理器硬件的安全风险，可能很多人并不陌生，如2018年全球最大处理器生产商英特尔爆出的Meltdown漏洞，该漏洞被认为是史上最严重的处理器漏洞之一，本质上是英特尔处理器的预测执行技术设计缺陷，但由于预测执行读取的数据防护不当，破坏了位于用户和操作系统之间的基本隔离，从而可能允许恶意代码访问主机任意内存，进而窃取其他应用程序以及操作系统内核的敏感信息。这个漏洞“熔化”了由硬件来实现的安全边界。允许低权限用户级别的应用程序“越界”访问系统级的内存，从而造成数据泄露。

　　而且漏洞修复会不可避免地造成处理器性能的降低。另外，研究人员发现，在芯片制造过程中也可植入后门，或者硬件木马。攻击者只需要通过短时间在处理器上运行一系列看上去非常安全的命令，就能够地触发处理器的某个隐藏逻辑，从而获得操作系统的高级权限。而更加让人担心的是，这种非常微小的硬件后门基本无法通过任何硬件检测和安全分析手段检测出来，并且可能只需要芯片工厂中的某位普通员工就能完成此项任务。

　　至于软件设计、编码过程中由于不小心、不遵守设计和编程规范等，无心埋入的软件Bug，甚至别有用心的软件后门的植入，一直都是软件开发和应用全生命周期中需要解决的重大课题，在人工智能软件系统中也不例外。而且由于人工智能系统的黑盒性和不可解释性，使得软件后门更难以被检测。

　　腾讯安全平台部预研团队曾发现某著名人工智能系统框架存在自身安全风险，可被黑客利用，生成恶意模型文件，对使用该框架和平台的人工智能研究者进行攻击，受害者自身的人工智能应用可能被窃取或恶意篡改、破坏。

　　该漏洞危害面较大，一方面攻击成本低，不需要太高深的人工智能技术能力，普通攻击者即可实施攻击;另一方面迷惑性强，使用该平台的大部分人工智能研究者可能毫无防备;同时因为利用了该框架自身的跨平台机制，其在PC端和移动端版本均会受到影响。

　　人工智能架构、操作模式和运作流程设计的不合理。比较典型的例子有，去年某著名快递企业的快递柜，被人发现使用用户的照片就可以轻松通过其多维特征识别系统的安全验证，从而取走物品;目前还有一些企业的无接触考勤系统也未能基于三维特征来进行识别，也存在类似问题，这种由于各种原因导致的架构或工作流程设计缺陷使得人工智能系统的安全性存在漏洞，容易被不法分子利用。

　　另外，AI模型的可检测性、可验证性、可解释性普遍不足，在目前AI应用优势领域的语音、图像、棋类竞技类场景，可解释性差可能问题不大，因为结果一般是可以快速取得并且显而易见的，只要AI系统识别的结果是好的，人们可以忍受它继续以黑盒形式存在。但对于有些场景，不可解释性则会带来一些法律上或者业务逻辑上的关键风险。例如在****给用户发放贷款前的AI评估系统中，如果AI模型无法给出做出相应判断的依据和来龙去脉，那就无法获得用户的充分信任，如果连其深层次的判断原理和规则都无法得知，该系统也就很难说是一个安全的系统。

（编辑：好传媒网）

【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容!