AI存在的典型安全问题

《从危到机,AI 时代下的安全挑战》

AI的安全问题我们总结了一下,大概归为三类:

第一类就是AI算法自身的安全问题,比如现在我们的图像识别,图像欺骗,自己用PS定制一张图片,加一些像素进去,会导致自动驾驶出问题。

第二类就是AI系统引入第三方的组件,但这些组件也会存在问题,这就是传统的安全问题了,包括对文件的处理,对网络协议的处理,各种外部输入协议的处理都可能会出问题。

第三类就是黑产也会用到AI。大家不要以为AI只是停留在学术界或者是工业界,其实现在黑产也大量在使用AI,之前我们处理过一个案子,就是黑产用机器学习的算法来识别验证码,最高可以达到80%到90%的识别率,这个团伙被摧毁后,我们发现这是我们见过的科技含量最高的黑产之一。

首先我们会发现,AI是很容易被带坏的。

这是微软推出的机器人,通过跟网友对话进行学习,恶意的网友就会乱教它,比如骂脏话,甚至是种族歧视。

前面的老师也讲过,现在AI是孩子,你教什么就学什么,结果学坏了,最后骂人,后来微软马上下架去修改,这就是一种样本的问题。

第二个问题就是AI会被蒙蔽。

只需要一些简单的操纵,人眼看起来毫无区别,AI识别却会得出完全错误的结果。比如这是一个人脸识别系统,给一张照片会识别出这个人的性别、年龄、表情、魅力值,第一张图正常图片可以识别出是男性,21岁,表情黯然伤神,但是如果经过特殊处理,加一些图层进去,对我们人眼没有影响,但就会被AI就识别成女性,20岁。另外两个也是,叠加图层上去,整个AI识别结果完全颠覆了,结果变成了男性,36岁。我们进行了测试,最大会有20%的识别错误几率。

针对标识的识别也是如此。我们可以看到,通过类似的图层叠加手法,会严重影响AI的识别结果。比如第一张图可以直行,第二张图加入图层后,我们人眼识别完全没变化,但到AI去识别就可以直行也可以右转,限速30变成限速80。这就是对AI的攻击。大家可以想像,如果这个攻击案例被用到了实际环境,可能直接导致车毁人亡的严重情况。

第三个问题就是被污染,也就是在AI的底层框架存在的问题。

比如谷歌的深度学习系统TensorFlow,Tencent Blade Team研究之后,发现它其实存在一些传统的网络安全问题,比如恶意构造一个模型文件,格式经过特殊构造就可以控制它整个AI系统,然后可以算出AI系统的设计或者架构问题。除此之外,如果引用了恶意的第三方组件,也会导致系统崩溃,拿到系统权限。

这些漏洞我们都报给了官方,并拿到了致谢。这些系统如果底层出问题,被黑客利用,后果是灾难性的,所以现在产业界、学术界都非常关注AI的底层架构安全。

第四,许多智能设备都可能被控制。

比如智能音箱可能被窃听,我们团队对市面上的一些智能音箱做了一系列研究,许多智能音箱都有安全问题,包括协议的解析和认证授权等,其实还是传统的安全问题。如果大家感兴趣,可以在今年8月份在拉斯维加斯的DEF CON上关注我们介绍智能音箱的漏洞技术细节的议题。

智能音箱也存在被窃听的问题,小米和亚马逊都出现过安全问题,它们对协议的解析和认证授权有问题。

如果大家感兴趣,我们会在今年8月份,在拉斯维加斯讲亚马逊智能音箱的漏洞技术细节。

另外就是智慧城市,现在很多地方都引入了智慧城市,里面会用很多新的协议,比如 IoT 的协议,这个也存在许多安全隐患。

我们选用腾讯大厦作为目标进行了测试,发现它所使用的智能楼宇设备协议和加密通讯存在一些技术风险,这就造成我们可以通过远程控制某一层的会议室灯、空调、窗帘,包括插座等。

我们当时放了一个无人机到顶楼,挂了一个信号发射器,实现了对整层楼的开灯关灯关窗帘的控制,在欧洲的HITB安全峰会上我们也详细讲了这个漏洞的技术细节。

因为供应商是国外的,我们把问题报给官方,也修复了,做这个实验本身就是希望把这个问题修复掉。

除了智能音箱、智慧楼宇等,我们还研究过无人机。

2015年,Blade Team参加一个黑客比赛,远程用电脑把无人机劫持了。我们破解了无人机的通讯协议,破解之后发现,只能够抓到一部分无线电协议,就可以去模拟摇控器发出来的协议,把当时的无人机给劫持掉。

摄像头也是类似。2014年的时候,我们对国内的摄像头做了一系列的安全评测,2014年是智能摄像头元年,所以我们也要去跟进看一下。大家有没有见过有部电影叫《窃听风云》,里面有个桥段就是加了一个设备,把摄像头替换掉,导致保安没有发现有人进去了。

有些摄像头我们发现也是有这个问题的,我这里放了一个QQ公仔,摄像的 wifi 网络被我劫持替换,就能控制它所有想要展示的图像,我重新可以录视频,把公仔隐掉。

另外就是一些智能手机,因为智能手机现在用了越来越多的一些所谓的生物识别、智能识别,比如说人脸解锁,人脸解锁之前有很大的问题,但是我直接用照片,而且用二维的照片就可以解锁。

不过现在应该已经加了3D或者活体识别了,就没那么简单,但是我们目前在进行的一些研究中发现还是有机会的。所以后面有机会大家还可以看到我们的分享。

另外就是有些手机可以支持智能设备解锁,比如手环解锁,只要手机靠近手环就解锁了,不用输密码,这也是比较方便。

但在设计的时候会出问题,解锁的时候它只会检测我的手环match地址,这个也很容易实现,我们可以直接解锁他的手机。另外一些品牌手机可能采取的是指纹解锁,但我们发现用一个类似的导电硅胶,直接把纸巾按上去就可以了,根本不需要指纹,这个硅胶按上去算法也通过了,最后解锁也通过。就像现在的智能电锁,也是类似的原理。大家会发现,现在的智能手机也是不够靠谱的。

前面我讲的是智能设备本身的一些安全问题和供给场景演示,但除了他们本身存在的问题之外,AI技术还可能被黑产滥用。

这就是我们现在看到的,越来越多的智能设备链接到了网络上,但是这些智能设备的安全防护又没有传统的PC防火墙,反而会被黑客黑掉,黑客就拿来挖矿、进行DDoS攻击等等,这样就会带来很大的问题。

这些就是一些恶意软件,把物联网设备拿来做DDoS攻击,现在大量的IoT设备都连接上了网络,包括路由器、摄像头,很容易沦为黑客控制的工具。还有一些机器学算法也加入了黑产团队。

以上就是我讲的第一部分,AI的安全问题,下面我来展开讲一下第二部分,AI安全应用在具体场景下的应用,包括实战等。

大概也是这三个方向:一个是会向传统的生物特征转变,第二个是研究工具有变化,以前是用特征工程来对抗黑客攻击,现在可能会转入机器学习的方法,可能用机器学习给它建一个域值和模型,通过模型来看它是否是黑客攻击。

框架大概是这样,可能就是有一个整体的平台,再加上机器学习作为一个分析引擎,和其他的数据层、信誉库等一起,协同进行合作。

现在有一种很麻烦的攻击,就是UDP模拟,包括协议都会模拟到正常的业务,这样怎么做呢?还是会用机器学习相对好一点,在UDP模拟协议的特定场景之下,这种效果是非常好的。传统的 DDoS 防护是通过一个量来发现,但机器学习可以通过很多维度解决这个问题。

我们可以看一下,大概引入机器学习的实际效果。我们主要是应用在两个层面,一个是DDoS,一个是黑客的入侵行为,我们看一下 DDoS 的效果。

这是一个传统的DDoS的模型,加上一个 AI 环节,用机器学习给所有商户做画像。在腾讯云上有很多这样的小商家,可能它单个商户面临的流向不一样,QQ空间和微信朋友圈流量非常大,小的商户流量非常小,如果采取传统的特征工程的方法不能很好解决,比如商户做活动或者双十一整体流量上升,就会有这样那样的问题。

如果用AI画基线,比如取前面三个月或者前面一个月的数据,引入机器学习生成一个模型,通过检测模型来看是否是DDos的攻击或者活动量突增。这样的话,平时就不仅是流量的大小,还包括原IP的属性,或者原端口、整个IP的值,我们会把整个协议让机器自己去学,让它自己提特征出来,大概会选出很多维度,我们会用这个维度做模型。如果它某一天或者某一个时刻偏离这个模型,就可能是遭到DDos攻击。

最后平均准确率从80%到了96.4%,效果还可以,但机器也有误报,我们现在采取双引擎在跑,避免出问题。在反入侵上也是类似,比如说我们的系统管理员登陆服务器,登陆之后可能会做一系列的运维,或者是部署操作,但它是个有限的集,同时它可能会在某一个特定的时间,或者会有特定的习惯,反正是有规律的。

这个规律如果通过特征工程很难做,但通过机器学习,可以很好地为服务器的每一个管理员帐号进行精准画像,这样就可以解决黑客冒用帐号的攻击方式。

现在大部分情况是黑客直接拿一个帐号密码,冒充管理做操作,但它的操作跟管理员是不一样的,一个是时间,还有一个是翻找文档,或者是偷数据的行为,但这些是正常运维管理员和普通用户不会出现的行为。所以完全可以通过这种模型,直接算一个匹配度,同时把它标注出来。

腾讯也有在做这块东西,效果就是我们的几次演习,拿到管理员帐号做进一步渗透的时候,他会明显发现有异常,会告警出来,效果还可以。

今天我总结一下,讲了两部分:一部分就是AI本身的安全问题,其实我们可以看到,随着现在AI和智能设备越来越应用到我们的生活,有很多各式各样的安全问题,不管是智能音箱、智能插座还是智慧楼宇等,一定会有很多黑客盯着,学术界、产业界最好提前发现解决,避免出更大的事故,毕竟以前的互联网都是信息化的东西,现在跟物理世界结合之后,可能会产生很大很严重的影响。

第二部分是把机器学习方法应用到传统的安全场景,在某些特定场景下,AI绝对是优于人类或者传统的特征工程,但在某些场景我们还需要继续探索。

本文来自于6月30日举办的CCF-GAIR智能安全专场中,腾讯安全平台部总监胡珀带来了《从危到机,AI 时代下的安全挑战》的演讲内容,有删改。

原文发布于微信公众号 - 安智客(china_safer)

原文发表时间:2018-07-28

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏VRPinea

三星C-Lab将在WMC 2017上展示4个VR/AR项目

2884
来自专栏美团技术团队

互联网公司数据安全保护新探索

3638
来自专栏PPV课数据科学社区

【学习】利用爬虫技术能做到哪些很酷、很有趣、很有用的事情?

分析篇 先给大家看一些分析结果吧。大家几点睡觉呢? 我们来统计一下 sleep 这个词在 Twitter 上出现的频率。 看来很多人喜欢在睡前会说一声我睡了。那...

5007
来自专栏腾讯大讲堂的专栏

奔走相告!登机忘记带身份证 刷个“二维码”就能行

你有过起了个大早赶到机场,却忘带身份证的”悲惨”经历吗? 当时的你有以下几种选择: A.时间允许的情况下,请家人快马加鞭送到机场。(p.s.这条不适合单身狗...

9081
来自专栏企鹅号快讯

2017年度十本优秀信息安全技术书籍

...8一、智能汽车安全攻防大揭秘 2017年10月23日 360独角兽安全团队(UnicornTeam) (作者),‎ 李均 (作者),‎ 杨卿 (作者),‎...

5178
来自专栏老九学堂

8个程序猿必看冷门小知识

想要成为一名成功的程序员 我们除了了解不同编程语言的设计思路 也应当了解编程的发展历史 从而判断未来的编程技术将走向何方 下面就为大家普及下 计算机发展历程中的...

3685
来自专栏数据派THU

【数据蒋堂】1T数据到底有多大?

转载来源:数据蒋堂 作者:蒋步星 本文共1495字,建议阅读3分钟。 本文蒋步星老师从时间与空间上讲解了1T数据到底有多大。 一英里不是个很长的距离,一立方英里...

2558
来自专栏CSDN技术头条

大神自动化抓取400亿条秀恩爱和吐槽

能利用爬虫技术做到哪些很酷很有趣很有用的事情? 2011 年夏天我在 Google 实习的时候做了一些 Twitter 数据相关的开发,之后我看到了一篇关于利用...

2496
来自专栏互联网数据官iCDO

应用市场正在走向消亡?原因在此!

译者:王恒 审校:朱玉雪 本文长度为685字,预估阅读时间2分钟。 我们今天要向大家介绍应用市场正在发生的变化以及潜在原因 SensorTower 针对排名...

2835
来自专栏PPV课数据科学社区

你的爬虫会送老板进监狱么

各互金公司CTO们请看好你们家的爬虫,要不然一不小心就会把老板(法人代表)送进监狱,不是闹着玩的,按2017年6月1日,《网络安全法》以及最新刑事司法解释: -...

3816

扫码关注云+社区

领取腾讯云代金券