给你们介绍一个脑洞清奇的杀毒神兽:腾讯 TRP-AI 人工智能反病毒引擎

本文作者史中(微信:shizhongst),首发于浅黑科技。

今天的故事说来话长,我会给你们介绍一个脑洞清奇的杀毒思路——TRP-AI 人工智能杀毒引擎,不过别急,容我把故事娓娓道来。请大家扶稳坐好,嘀嘀,准备开车!

〇、手机回魂——这就是我们的世界

午夜,你安静地睡在床上。身边躺着新买来的手机。

房间漆黑,只有手机一角的红灯,像呼吸一样温柔均匀。时钟轻轻跳到下一秒,好像什么都没有发生。

窗角的一阵风吹进来,掠过光滑的屏幕。没人知道,这薄凉的屏幕之下,手机的 CPU 正在疯狂运转。

某个“系统自带”的 App,此刻正在扯开安卓系统的皮囊。它一手攥住 Root 权限,一个接一个地“帮”你安装软件;另一只手不断地打开奇异诡谲的网站,点击其中密密麻麻的广告。

没错,这根本不是什么 App,而是彻头彻尾的新型病毒。

你会说:这样的事情肯定发生在“别人的手机”上。但事实是,这款病毒的两百万受害者都在这么想。把镜头拉远,暗夜里的中国版图上,这类病毒正在以光速奔涌流窜。

这个伪装成“系统自带 App”的病毒,甚至在你购机之前,就已经被渠道上某只手塞进了手机里。

这就是我们真实的世界。

手机回魂,而你却懵然无知。

就是这个名为 EvilJS 的病毒家族,在传播高峰时感染了两百万用户。

一、齐装满员的病毒阵列

告诉我这些的,是腾讯安全研究员王佳斌。

最近几年,他和小伙伴不断监控安卓手机病毒的最新趋势,他们越来越看清一个真相:

普通人眼里一台独立而安静的手机,却是黑产利益之网上冥灭的节点。具体的节点时而挣脱,时而又被黑产捕获;但总之,他们会用尽一切手段保持这张大网永不熄灭。

王佳斌要做的事情很简单:毋庸多言,研发比病毒更凶悍的武器压制对方的火力。

在我看来,他简直就是一个专门生产新式杀毒武器的“奇异博士”。最近他刚刚搞出来一种驻扎在系统底层的人工智能杀毒引擎——“TRP-AI”引擎。我感觉这种技术可谓“脑洞清奇”,所以打算讲给你听。

安卓病毒其实包括很多种类。所谓知己知彼,百战不殆。从腾讯安全的角度来看,要想杀毒,首先要先知道“敌方”(病毒)的排兵布阵。

我们把安卓手机病毒分为八大类。但是现在最流行的是其中三类:

1、隐私窃取。

2、恶意扣费

3、流氓行为

王佳斌说。

腾讯安全反诈骗实验室专家 王佳斌

要想搞懂时下流行的病毒,看这三类就够了。我来具体解释一下:

隐私窃取:

注意,凡是你的小秘密,都能被黑客拿来换钱的。如果搞到你的账号密码,就可以窃取你的资产;如果搞到你的实时位置、通话记录,就骗你没商量,一不留神就交智商税;如果你是个刚刚迎娶白富美走上人生巅峰的 CEO 神马的,你的商业机密还能用来卖给竞争对手。

恶意扣费:

第一种可能就是从你的话费里扣:

比较讲规矩的扣费 App,会弹出一个框,里面有十万字的用户协议,并且在最下面的角落里,用白底白字0.001号字写着:“同意扣费请点击确定”;不讲规矩的 App 直接帮你在后台就确定了,上个厕所的功夫,你就会收到好几条运营商发回来的扣费通知短信。。。

第二种可能就是你主动交费:

比如电影里一个小姐姐,诱惑地脱掉一件衣服,然后弹出来一个通知,让你交十块钱。如果你此时智商为负,选择转账,影片再进行十秒,会让你再交十块。如此反复,到最后弹出通知:

根据相关法律,不允许观看黄色内容,请你遵守法律,洁身自好!

流氓行为:

这个大家最熟悉,通知栏、弹窗,海底捞式地询问你要不要安装,要不要下载,要不要ABCDEFG。或者根本不询问你,直接帮你下载好,然后回头向软件生产商要广告费。

文章开头那个感染了两百万台手机的病毒,就属于此类。

这些病毒 App 通过广告、网页、应用市场、垃圾短信链接(很可能是周边的伪基站发来的)或者社交软件等等渠道来到你面前,一旦点击下载,你就输了。

说了这么多,其实只是为了让你对这些病毒的“气质”有一个基本了解:

1、出来混,就是为了搞钱。

2、为了搞钱,技术都练得杠杠的。

3、为了这些钱,他们有动力和杀毒软件死磕到底。

二、杀毒软件的“火力边界”

我们和手机病毒的斗争,像极了现实世界中抗生素和病菌的斗争:

当年黑死病流行,人类大量“中枪”;

后来人们研发了抗生素,大量的病菌又被杀灭;

但是,总有一小部分病菌进化出了对抗抗生素的能力。由于人类暂时无法防御,它们迅速扩张,卷土重来;

直到人们找到了对抗新病菌的新方法,天平再一次倾斜。

王佳斌说,目前我们和网络病毒的对抗,就处在一个艰难的平衡,并且貌似一小部分病毒正在找到突破传统杀毒引擎的方法。这是个很危险的信号。

最近,病毒突破杀毒软件的技术产生了两个流派:

1、快速变种。

目前杀毒软件对于病毒的识别,最主要是基于“特征”。大概就像警察去抓坏人,需要手里拿一张画像,如果面前这个人和画像一致,就拿下没商量。

但是,病毒的“化妆术”可是越来越强,甚至现在已经开始“整容术”,技术比韩国人有过之而无不及。

用专业词汇说,这叫“免杀”。

每年在顶级黑客大会 BlackHat 上,都有人研究最新的代码加密混淆技术。而根据这些论文,有人就能做出免杀工具,并且公开下载。

王佳斌说。

实际上,病毒制造者绝对是三好学生,好学精神是能拿小红花的。他们紧跟国际顶级学术潮流,利用这样的前沿技术,可以做到自动批量为病毒“整容”,杀毒软件想要在第一时间发现他们,难度超高。

现在腾讯的杀毒软件,可以把病毒从产生到可以被杀软识别的时间压缩到几小时,但就是这几个小时的空窗期,病毒已经开始作恶。甚至,一个病毒在网上通过链接投放,你每一次点击,得到的都是不同样貌的病毒样本,完全是自动生成的变种。

他说。

2、云控下发

“这是目前最为流行的病毒模式,识别难度也极大”。王佳斌对这种技术给予了“极高评价”。

云控下发的技术并不难,我一说你就能明白:

1)各大应用市场里有很多废弃的“空壳应用”,可能是游戏,也可能是新闻,但已经没什么人下载了。于是软件开发者就可能把它卖给黑产。两万一个,网上明码标价。

2)黑产买来空壳应用,在里面稍稍做个手脚,增加一个“云投放”功能。就相当于在应用里挖了一条《肖申克救赎》那样的“地道”,随时可以进来搞一搞事情。

3)黑产花钱铺渠道,大力推广这个应用,争取让更多人来下载。而你下载之后,就相当于拿回家一个定时炸弹。人为刀俎我为鱼肉。

文章开头提到的,半夜悄无声息在你手机里祸乱的 App,就是这种“空壳应用”无疑。

为神马这种云控下发的病毒不容易被杀毒软件识别呢?

因为在这种情况下,所有的恶意代码都是临时下发的,只存放在内存里,像一次性筷子一样用完马上清除,不留痕迹。

做“空壳应用”这件事,黑产是认真的。王佳斌举了个例子:

2017年七八月,我们发现了一个仿冒游戏,名叫“梦幻花园”。用户一旦下载运行,很快就会收到运营商发来的自动扣费信息确认。

由于审核机制不严,这个 App 上了很多应用市场。而且他还可以自动根据用户是移动、联通还是电信,下发不同的恶意模块。

其实,这种病毒猖獗的蔓延,用传统方法已经接近无解,原因有两点:

1、恶意应用静止的时候,代码干干净净,应用市场和杀毒软件都没有办法发现。

2、应用作恶的时候,恶意代码临时寄存在内存中。但是,由于安卓系统的权限管理策略,杀毒软件没有权限去检测其他程序的内存。

你要注意,这其中重要的原因,是权限。安卓系统下的杀毒软件不像警察,反而有点像物业公司,虽然可以管理业主不私搭乱建,但却没办法破门而入搜查房间。这就在很大程度上限制了它发挥功能。

说到这,你应该大致明白,为什么在原有框架下,杀毒软件存在一个“火力边界”。现在,终于轮到今天的主角——TRP-AI 人工智能反病毒引擎——登场啦!

三、TRP-AI,这个人工智能杀毒神兽怎么工作?

说到 TRP-AI 的原理,有两条:

1、它使用了人工智能的方法来定位病毒。

有关机器学习的基础原理,这里来不及展开。简单来说,王佳斌需要把各种病毒行为输入人工智能系统,然后机器就会自动“学习”,总结出一个病毒究竟有哪些特点,从而下一次见到新的行为,就能瞬间判断它是不是病毒。

2、他在系统底层。相当于在上帝视角监控每一个应用的安全。

刚才说了,传统杀毒引擎都跑在“应用层”,和他们要管理的其他 App 是平行关系。而 TRP-AI 跑在了“系统层”,角色从物业管理员瞬间变成了警察叔叔。

在这种情况下,他们就有权对可疑的 App 实时调取内存检查。就好像警察监控犯罪分子一样,一旦他伸手,马上冰凉的手铐伺候。

如同电影《星际穿越》里描绘的那样,一旦到了更高的维度,我们就拥有了“上帝视角”,可以控制低维度的一切。

技术听上去很美,不过实际效果如何呢?王佳斌给了我几个数据:

1、如果只开启传统反病毒软件的本地特征引擎,对于新病毒第一次检测就能检出的概率是50%;

2、开启本地引擎+云引擎之后,对于新病毒的一次检出率能够到达 80%;

3、在开启前两个引擎的基础上,加上 TRP-AI 引擎,对于病毒的一次检出率是 92%。

其实,增加的这 10% 中,绝大部分都是传统引擎无论怎样优化都很难识别的病毒。就好像以前的警察,无论一个案子铺上多少警力也只能破掉 80% 的案子,而利用新的基因技术,给警察叔叔都开了“天眼”,他们瞬间能够掌握新的现场作案证据,轻松破掉以前几十年都破不掉的案子。从这个角度看,这个能力的价值是巨大的。

还记得我们把杀毒软件比作抗生素么?TRP-AI 引擎,其实就相当于一种新的“超级抗生素”。

当然,TRP-AI 引擎并不是传统引擎的替代品,因为在目前来看,二者覆盖的领域并不重合。严格地说,TRP-AI 是传统引擎的补充。“但是我相信,未来人工智能引擎的比重一定越来越大。”王佳斌说。

TRP-AI 的原理说完了,但是稍等,我们还不能下课。王佳斌和团队五十多人用了一年多的时间研发出的引擎,其中的技术细节非常有趣。

四、人工智能杀毒引擎“创造指南”

有关 TRP-AI 引擎研发中遇到的坑,我们来讲几个故事吧。

1st 选什么语意

王佳斌毕业于西安电子科技大学,本科是数学,研究生是密码学,技术背景非常硬。虽然他一直搞反病毒研究,但对于人工智能,他一直在密切关注。

早在2016年,他就开始尝试带着兄弟们研究 AI 杀毒技术。但是,病毒出自这个世界上最聪明的一票人之手,走位可谓飘忽+风骚。而现在的人工智能技术,很多时候看起来还相当智障,完全不是人类的对手。

所以,一股脑地把所有病毒代码直接交给 AI 去学,最后学出来的结果相当“凑合”。

王佳斌意识到,在这件事上,不能简单地把 AI 概念套用进来,而是要进入问题的本源,重新构建解决方案。他发现,如果回到反病毒的本质,安全研究员的实践经验非常重要——用代码作为基本学习元素,远远不如用行为作为基本元素效果好。于是,他们从一亿多病毒样本中,找到了几百万最有代表性的病毒,然后人工分出二十多个病毒行为种类。从这些行为里提炼出了近百个监控点

这段有点抽象,我可以举个例子:

一个妹子判断你爱不爱他,需要看你的若干种行为,例如,情人节是否买花、女生节是否发红包给她、换了新发型你是否发现、淘宝购物车是否被你清空等等;

每种若干行为又可以分出具体的监控点。以发红包为例:你发红包的数额是1314、131.4、13.14还是1.314;你发红包的时间是早晨、中午还是晚上,是在她索要之前还是索要之后完成。。。

不得不说,妹子真是绝好的人工智能啊。。。

有点歪楼,总之AI 去学习的,是这些监控点的数据。这个过程,用专业词汇来说,就是对“语意”的选择。

在这张神经网络的示意图里,每一个点都代表一个“语意”。

这件事情搞定之后,王佳斌又面临下一个问题。

2nd 选什么算子

有了数据,接下来就是算法。算法的最小颗粒称为算子。所以王佳斌和团队的目标就是找到最合适的算子组合。

在这里,我们主要解决两个问题:

1、根据病毒行为序列,构建出一个“行为网格”的基本结构;

2、仔细把根据病毒类型细分,提升病毒检测的准确率。

王佳斌说。

由于加入了很多原创模型,需要调整不同的算子组合,这需要大量时间。在研发最初的四五个月时间里,王佳斌和团队都花在了算法调优上。

“反复进行了不下十轮迭代。”他回忆说。

3rd 性能、性能、性能

如果你已经看到了这里,说明你一定是懂安全的小伙伴。那你一定知道,性能对于安全软件来说意味着什么。如果一个安全应用胆敢占用太多系统资源,它的命运一定是被砍掉,死无葬身。

而这里,其实有个巨大的坑:对于系统的资源占用,并不是腾讯安全团队一家说了算的。

说白了,TRP-AI 是内嵌在系统 ROM 之中的底层杀毒技术,所以需要与手机厂商共同开发;

由于要运用人工智能运算,需要独立的 AI 芯片支持,所以也需要和芯片厂商共同开发。

实际上,为了促成这件事,腾讯必须和上下游的手机厂商和芯片厂商深度合作,共同调试,这也是他们正在做的。换句话说,他们的野心是:打通整个产业链。

王佳斌告诉我,最早版本的 TRP-AI 引擎,功耗在 20%-30%,单次运算时间在80毫秒。这个数据相当扎心。为了降低这个数字,团队和手机厂商芯片厂商来回磨合。

“目前我们把单次检测功耗控制在12%,单次运算时间在20毫秒。”王佳斌说,“但这个数字我还是非常不满意。”

他告诉我,为了继续提高性能,团队已经和谷歌沟通,协商在最新的 Android 8.1 版本上支持需要的算子,并且和芯片厂商联发科发布合作,在芯片底层支持所需的算子。

“预计下一代引擎的 CPU 占用率可以到达5%-8%,绝对不会超过10%了。”

这种几个百分点的执着,在一般人看来有点矫情。但是从专业的角度来看,这比命都重要。就像一台车,如果百公里加速只需要5-8秒,那它就是奥迪,如果需要12秒,那它就是奥拓。

而跑在系统底层的引擎要想可用,对性能有变态的要求。你不仅要让自己变成奥迪,甚至要变成迈巴赫阿斯顿马丁保时捷法拉利。

其实,已经有越来越多的芯片厂商在顶级芯片里加入了 AI 计算模块。毫无疑问,AI 计算会成为未来移动设备的标配。从这个角度讲,AI 杀毒能力也会成为未来移动安全的标配。从顶级厂商腾讯对 AI 杀毒的大力投入,也可以看出这种技术的前途。

三个故事讲完了。

为了研发一个对抗病毒的新武器,一队人马花费了一年多的时光。目之所及的未来,他们还将在这片斗场上厮杀多年。

你可能觉得他们的努力都是技术宅的繁杂冗长,毫不性感。但我仍然愿意花费笔墨把这些记录下来。

不妨说回文章开头的故事,那个安睡的午夜。

病毒之所以潜踪蹑行,正是因为手机已有的安全机制和杀毒软件为我们构建了基本的安全屏障。而这些架构,都源于数年前,安全研究员上万次无聊的、疲倦的尝试。

生活在今天,我们对身边的抗生素习以为常,你可能看不到它们拯救了多少人,但是一旦失去它,你会看到有多少人因此死去。

不想走丢的话,你也可以关注我的自媒体公众号“浅黑科技”

  • 发表于:
  • 原文链接http://kuaibao.qq.com/s/20180314A0MP6R00?refer=cp_1026
  • 腾讯「云+社区」是腾讯内容开放平台帐号(企鹅号)传播渠道之一,根据《腾讯内容开放平台服务协议》转载发布内容。

扫码关注云+社区

领取腾讯云代金券