人工智能有了“杀毒软件” 可在线测评算法模型安全性

本篇文章1277字，读完约3分钟

人民网北京4月9日电(记者赵)大规模网络攻击一度迫使杀毒软件诞生。人工智能被广泛使用。我们如何抵御“病毒”的攻击？记者从清华人工智能研究所了解到，realai的启动团队8日推出了算法模型本身的安全检测平台，这意味着人工智能也有“杀毒软件”。

人工智能发展的天然“软肋”

作为引领新一轮科技革命和产业转型的颠覆性技术，人工智能正渗透到社会生活的方方面面。随着一系列问题的暴露，如数据泄露、算法偏差、算法漏洞等。，其安全需求和伦理影响逐渐显现，给国家经济和社会安全带来诸多风险和挑战。

realai团队首席执行官田甜表示，现阶段，不成熟的人工智能技术和恶意应用带来的安全风险本质上是人工智能的“技术缺陷”,如模型缺陷、算法不可解释、数据依赖性强等。，这是限制人工智能发展的最明显的“弱点”。

算法突破是人工智能产业发展的基石和热点。中国信息与通信研究院2018年发布的《人工智能安全白皮书》指出，“算法安全”是人工智能的六大安全风险之一。同时，白皮书认为“抵抗样本攻击导致算法识别误判和漏判”的算法模型缺陷是算法安全性的重要风险项。

“病毒”入侵或使人工智能“疯狂”

"面对样本最初是机器学习模型中一个有趣的现象."田甜解释说，人类的感官很难通过给源数据添加一些细微的变化来识别，但是机器学习模型接受并做出错误的分类决定就足够了，因此将山识别为狗或者将c罗识别为梅西。

也就是说，这些针对样本的攻击会像病毒一样侵入人工智能系统的“意识”，使其“疯狂”而无法工作。

随着人工智能的普及，这些例子在现实中不断上演:在路面上粘贴反样本标签，以模仿合并后的车道，误导自动驾驶车辆转入逆行车道；戴上防止样品生成的眼镜，轻松解锁手机表面；隐形可以通过在胸部贴上反样品贴纸来实现...

特别是在人脸识别和自动驾驶等特定领域，这种" ai病毒"可能会造成不可挽回的人员和财产损失。

“杀毒软件”提高了人工智能系统的可靠性

"目前，人工智能安全仍然是一个技术壁垒很高的新兴领域."田甜告诉记者，随着攻击和防御的相互发展，反样本等攻击方法变得越来越复杂，特别是在开源社区和工具包的庇佑下，先进而复杂的攻击方法发展迅速，但很难跟上相关防御方法的升级。

作为清华大学人工智能研究所的官方团队，realai率先提出了一些攻防算法，这些算法被主流开源软件蛮箱等作为标准。与清华大学联合组建的团队赢得了多项国际人工智能竞赛。

该团队开发的realsafe人工智能安全平台可以提供从评估到防御的完整解决方案，快速缓解样本攻击的威胁。与目前常用的开源工具需要部署和编写自己的代码相比，该平台支持零代码在线评估，用户只需提供相应的数据即可在线完成评估，大大降低了算法评估的技术难度。同时，平台以可量化的形式评估安全性，分数越高，模型的安全性越高。对于检测到的漏洞，平台还可以提供适当的防御方案来提高模型的安全性。

“推出安全测试平台是规避风险的方法之一。今后要联合各界力量，共同推进人工智能安全相关国家标准、行业标准和联盟标准的制定，为人工智能产品的安全评价和评价提供统一的参考。”田甜说。

来源：搜狐微门户