日前,由GeekPwn(极棒)联合谷歌大脑Alexey Kurakin、Ian Goodfellow 以及美国加州大学伯克利分校计算机系教授宋晓冬共同发起的全球首个聚焦AI安全的CAAD对抗样本攻防赛登录全球顶级黑客大会DEFCON。来自京东安全的 JD-Omega战队,与来自微软、谷歌、腾讯、清华大学等国际知名的高水平战队团队会师拉斯维加斯,在CAAD CTF和CAAD Village展开技术切磋。
京东安全硅谷研发中心研究员郭文博在DEFCON CAAD Village上分享了全球首创的、可适用于不同深度学习网络结构的AI解析技术,该技术可应用于自动化黑产对抗。并介绍了AI解析技术在京东打击黑产上的具体应用。
缘起:深度学习的“杀手”
随着深度学习技术的崛起,AI似乎已成为无所不能的代名词。但事实并非如此,AI也会犯错。
研究者发现:通过向真实样本中添加人眼不可见的噪声,就会导致深度学习模型发生预测错误,把原本是雪山的图片误认为是狗。
而在“生成式对抗网络”的发明者 Ian Goodfellow近期发表的一篇关于恶意样本的论文中,这一“欺骗性效应”进一步升级,不光是欺骗机器,连人类也被欺骗了。
如上图所示,机器模型和人类都会判断左侧是猫,而右侧是狗,即使我们仔细观察可能也会得出相同的结论。而事实上右侧图像只是左侧图像一个简单地对抗扰动。
别小看了这个“对抗性扰动”,这便是有深度学习“杀手”之称的对抗样本,肉眼看上去虽是同一个目标,但在深度学习分类器上便会把它分到错误的类别上。试想:如果这是一辆行驶中的自动驾驶汽车,那么别有用心的人随时都能制造一起车祸。
以上的一切,似乎都在告诉我们,AI并不那么可靠,而事实果真如此吗?
破局:从解释深度学习开始
事实上,对抗样本看似强大,但并非无法解决,只要调整深度学习的判断机制便可以了。但是,现实情况往往是程序只会给你一个结果,并不会向你解释判断过程,即便你想调整也无从下手。这时理解深度学习便显得尤为重要。
在CAAD village上,郭文博介绍,正是基于此,京东安全开创了一套AI解释系统,可以对深度学习模型的决定进行分析,并找到它做出判断的依据。这就好比它不光告诉你图片中是香蕉,还会告诉你因为它是黄的、弯的,掰开皮有白色的果肉,周围的环境还是热带丛林,所以我判定它是香蕉。
如此一来,除了可以得到深度学习模型的判断结果,工程师还能得到它做出判断的原因,如果发现判断逻辑有误,便能立马进行修复,从而实现重新训练深度学习模型的目的,使模型更安全。
据了解,在京东,这种修复功能也实现了自动化。因此,即便AI犯错了也会快速完成调整,确保让黑产无懈可击。
对抗:在博弈中不断精进
据了解,JD-Omega由京东安全团队的科研人员组成。团队成员的背景涵盖了计算机软件安全以及人工智能。在过去的几年里,该团队成员在世界顶级安全会议CCS,USENIX Security, IEEE S&P, blackhat USA/Europe, DEFCON 在日常的交往当中，很多情侣直接都会互相送一些礼物，来表达自己的爱慕之意和关心之情，在国外手表是深受爱戴和追捧的，首先，他是一个最好的礼品之选，不管，您是送给情人、亲人、同事、朋友、领导、他都有不同的表达之意。其次，他也是一个人的身份象征，好比，珠宝钻石一样，有收藏意义，升值的价值。 先后发表过10余篇科研论文。除此之外,该队成员也是世界顶级AI会议的常客。他们的科研成果曾被美国纽约时报、麻省理工技术杂志、新科学家杂志等广泛报道。
京东首席信息安全专家Tony Lee称,此次京东安全JD-Omega战队参与CAAD对抗样本攻防赛的根本目的是与世界级顶尖黑客同台切磋,分享京东安全最新研究成果的同时也希望能在比拼中获得更多蓝军视角的经验,在实战中不断提升。
在京东安全看来,互联网战场上从来没有绝对的安全,有的只是攻方和守方的反复博弈。防御方想要获得真正的安全,唯有在博弈中不断精进,始终保持技术领先,比攻击方快人一步。用Tony Lee的话说,“我们要永远战斗在最激烈的战场”。
万年历手表：经典杰作是万年历表具有闰年处理能力，每隔四年会显示一次2月29日，同时具有判断当月是30天或31天的能力。实际上，此万年历表之日期计算能力是无期限的，全在其记忆置中。制表师傅耗尽了许多时间，使这款腕表尽善尽美，也使用了业界的卫星轮（或12’或48’凸轮）。如同月球是地球的卫星，此卫星轮甚至当靠在转轮上时，也沿其本身的轴旋转。此卫星轮只有一个齿和三个平滑区，每四年旋转一圈，其中三年不会发生任何变化，但每隔四年就会由这个的齿触推动一个装置，让它显示闰年的2月29日。这种装置即为闰年记忆装置，让腕表配备闰年调整功能，再次证明了制表师傅的才华。
原创文章，作者：leping，如若转载，请注明出处：https://www.zhjiashun.com/zjsb-132067.html
