4月8日，孵化自清华AI研究院的创业团队RealAI(瑞莱智慧)正式推出国内首个针对算法模型本身安全的检测平台——RealSafe人工智能安全平台。作为人工智能时代的“杀毒软件”，RealSafe提供从测评到防御完整的解决方案，快速缓解对抗样本攻击威胁。

作为引领新一轮科技革命和产业变革的颠覆性技术，人工智能是利用人为制造来实现智能机器或者机器上的智能系统，模拟、延伸和扩展人类智能，感知环境，获取知识并使用知识获得最佳结果的理论、方法和技术。目前已经渗透到了社会生活的方方面面，随之而来的安全风险也将越来越多样化。

由于人工智能可以模拟人类智能，实现对人脑的替代，因此， 在每一轮人工智能发展浪潮中，尤其是技术兴起时，人们都非常关注人工智能的安全问题和伦理影响。

尤其因数据泄漏、算法偏见、算法漏洞等一系列安全问题逐渐暴露，并对国家经济和社会安全带来诸多风险和挑战，引起社会各界的日益关注。安全是发展的前提，确保人工智能安全、可靠、可控，才是守卫人工智能稳健发展的根本。

“赋能安全”和“技术风险”，人工智能的技术短板不容忽视

目前，人工智能领域针对“人工智能安全”的定义主要来源于“赋能安全应用”和“防范技术风险”两个层面，前者的应用场景有：人工智能能够提高网络空间各类威胁的响应和应对速度，全面提高风险防范的预见性和准确性;或是计算机视觉、图像识别等技术走向产业化，落地到交通监控、身份认证、犯罪侦查等公共安全场景;后者则是对现阶段由于人工智能技术不成熟以及恶意应用所导致的安全风险，包括模型缺陷、算法不可解释性、数据强依赖性等的防范。

事实上，后者的安全风险本质上由人工智能“技术短板”所导致，是限制人工智能发展最明显的“软肋”。随着数据量、算力的大幅提升，未来人工智能技术的应用场景会日益增多，并且将从语音识别、人脸识别等受限领域逐步延伸向金融决策、工业生产运营、医疗诊断、自动驾驶等更高价值的应用领域，这背后将对人工智能技术本身的安全性、可靠性提出更高要求，提升算法安全性成为新一轮人工智能智能产业升级下的新方向。

“对抗样本”成“AI病毒”，莫让算法漏洞成发展瓶颈

作为人工智能三大要素之一，算法突破是人工智能的基石和行业热点。其中，在2018年中国信息通信研究院安全研究编制的《人工智能安全白皮书》中，“算法安全”是人工智能六大安全风险之一，并着重指出了“对抗样本攻击诱使算法识别出现误判漏判“这一算法模型缺陷为算法安全的重要风险项。

据RealAI介绍，对抗样本原本是机器学习模型的一个有趣现象，通过在源数据上增加人类难以通过感官辨识到的细微改变，可以让机器学习模型接受并做出错误的分类决定。典型场景就是图像分类模型的对抗样本，比如下图的案例，在左图“阿尔卑斯山峰”的图片上添加人眼无法察觉的噪音，正常情况下肉眼仍然能判断这张图显示的是山峰，但是图像分类模型会将它错误识别为狗，并且置信度高达99.99%。

经过不断的升级演化，对抗样本攻击已经不仅仅停留在数字世界，针对物理世界的攻击也开始出现：在路面上粘贴对抗样本贴纸模仿合并条带误导特斯拉自动驾驶汽车拐进逆行车道、佩戴对抗样本生成的眼镜轻易破解手机面部解锁、胸前张贴对抗样本贴纸即可实现隐身……

对抗样本会导致人工智能系统被攻击和恶意侵扰，成为威胁到人工智能系统的“AI病毒”，误导系统产生与预期不符乃至危害性结果，对于人脸识别、自动驾驶等特定领域，可能造成难以挽回的人员和财产损失。

打造人工智能时代的“杀毒软件”

作为新兴领域，业界对于如何评价算法模型的安全性并没有清楚的定义。而随着攻防相互的发展，对抗样本等攻击手段变得愈发复杂，尤其在开源社区、工具包的加持下，高级复杂攻击方法快速增长，但是相关防御手段的升级却难以跟上。

此外，对抗样本等算法漏洞检测存在较高的技术壁垒，目前市面上缺乏自动化检测评估工具，而大部分企业与组织不具备该领域的专业技能来妥善应对日益增长的恶意攻击。因此，在潜在层面上，随着人工智能的大规模应用，算法安全漏洞带来的安全威胁将持续升级。

就如网络安全时代，网络攻击的大规模渗透倒逼杀毒软件的诞生，针对算法漏洞这一“新型病毒”，同样需要开展安全评估评测能力建设，构建人工智能安全检测评估平台，打造人工智能时代的“杀毒软件”，以技术手段为支撑，切实规避人工智能算法缺陷可能带来安全风险。

RealSafe人工智能安全平台，是依托于RealAI与清华人工智能研究院多年来的技术积累，内置领先的攻防算法模型，为政企用户提供行业一流的AI安全评测与安全防护，助力高效应对算法威胁。

据了解，相较于目前常见的开源工具需要自行部署、编写代码，RealSafe支持零编码在线测评，用户只需提供相应的数据即可在线完成评估，极大降低了算法评测的技术难度，学习成本低、使用更加便捷，无需拥有专业算法能力也可以上手操作;同时，为了帮助用户提高对模型安全性的概念，RealSafe平台采用可量化的形式对安全评测结果进行展示，根据模型在对抗样本攻击下的表现进行评分，满分为100分，评分越高则模型安全性越高。

此外RealSafe平台还提供模型安全性升级服务，支持五种去除对抗噪声的通用防御方法，可实现对输入数据的自动去噪处理，破坏攻击者恶意添加的对抗噪声，用户可自行选择合适的防御方案，一键提升模型安全性。另外针对防御效果，部分第三方的人脸比对API通过使用RealSafe平台的防御方案加固后，安全性可提高40%以上。

RealAI是来自清华大学人工智能研究院的官方团队，团队曾率先提出多项攻防算法，相关研究成果曾被图灵奖得主作为代表性方法大幅引用，被主流开源软件FoolBox、Cleverhans等收录为标准的对抗攻击算法。在人工智能领域多项国际大赛中，RealAI与清华联合组成的战队曾斩获多项世界冠军。

“推出安全检测平台是规避风险的一条路径，未来还需要联合各界力量共同推动人工智能安全相关的国家标准、行业标准、联盟标准的制定，为人工智能产品安全评估评测的统一参考。 ”RealAI CEO田天表示。

举报/反馈