机器学习帮助探测网络漏洞

据麻省理工《技术评论》2016年8月报道,美国亚利桑那州立大学的研究人员发现了一种利用机器学习来研究黑客论坛和暗网络及深网络市场的方法,从而可探测网络漏洞。

2015年2月美国微软公司在其Windows操作系统中发现了一个关键漏洞,可能会让恶意攻击者远程控制目标计算机。这一问题影响了大范围的Windows操作系统,包括Vista、Win7、Win8、以及专为服务器和移动电脑设计的众多系统。微软公司立即发布了补丁,但该漏洞的详细信息不久就传遍了黑客圈。2015年4月,网络安全专家发现基于这种漏洞的攻击程序在暗网络市场出售,卖家要价约1.5万美元。7月,首个利用这一漏洞的恶意软件出现了,这款恶意软件叫做Dyre银行木马(Dyre Banking Trojan),目标是世界各地的用户,专门从被感染的计算机上盗取信用卡号。

这一事件让我们主要了解了恶意软件是如何演变的。短短几个月的时间里,黑客就将一个漏洞变成了一个攻击程序,用于出售,然后任由其发展成向全世界传播的恶意软件。在这个例子中,微软在漏洞还没有被攻击程序利用之前就发现了它,所以能发布一个补丁。但如果恶意软件利用了以前未发现的漏洞,软件最初的所有者就必须立即开发一个补丁,从字面上说就是用时“零天”,因此有个名字叫“零日漏洞攻击”(zero day attack)。

网络安全专家的主要目标是在零日漏洞攻击程序变成恶意软件之前发现它们。对于美国亚利桑那州立大学的埃里克·努内斯(Eric Nunes)及同事们来说,Dyre银行木马为这种类型的网络安全的全新解决方法提供了很重要的启示。现在,他们发现了一种网络威胁情报收集方法,利用机器学习来研究黑客论坛和暗网络及深网络市场,以寻找新出现漏洞的线索。他们的新系统有了令人欣喜的开端,“现在,这个系统平均每周收集了305个高质量的网络威胁警告,”努内斯和同事们说。

首先了解一些背景知识。黑客及其他心怀不轨的人总是用下列两种方法之一来隐藏他们的论坛和市场。第一种依靠广泛使用的Tor软件让其在互联网上的行踪匿名,防止被追踪,这被称为“暗网络”。另一种则是利用在网络开放部分设立的站点,但这种站点不会被搜索引擎检索,这就是“深网络”,同样难以搜寻。

要监控黑客在这些区域的活动,努内斯及其同事开发了一个爬虫程序从深网络和暗网络上的HTML页面收集信息。显然,此项工作的主要部分是让爬虫程序定位到最佳起始页面,该任务必须由熟悉这些页面的人来完成。然后,该团队从中提取关于黑客活动的具体信息,去掉了其他与毒品、武器等相关的信息。最后,他们利用机器学习算法来检测在这些站点讨论的相关产品及话题。他们的做法是手动标记25%的数据,指出哪些是相关的、哪些是无关的。一个人需要一分钟来标记五个市场产品或标记两个论坛话题,但随着机器学习的进展,这一时间可以缩短。然后,他们就利用这些标记的数据集来训练算法,并用剩余的数据来测试它。

得到的结果读起来很有趣。“使用了机器学习模型,我们可以以高准确度找到与恶意黑客攻击相关的92%的市场产品和80%的论坛话题,”努内斯和同事们说。这项技术已经发现了多个恶意行为。该团队表示,“4周时间内,我们从市场数据中检测到了16个零日漏洞攻击程序。”其中包括了一个安卓(Android)的严重攻击程序,售价约2万美元,一个与因特网浏览器(Internet Explorer 11)相关,售价约1万美元。这显然是有利可图的生意。努内斯和同事们说,“这位供应商的平均评分是4.7/5.0,评分来自市场上的顾客,成功交易超过7000次,说明了产品的可靠性和这位供应商的受欢迎程度。”

这在打击网络犯罪上迈出了有用的一步。现在,该系统每周发现超过300起网络威胁,它已经引起了商业界的注意。事实上,这个团队表示现在他们正把这个系统移交给商业合作伙伴。如果他们继续在零日漏洞开发成恶意攻击产品前就发现它们,他们能帮助软件所有者迅速开发补丁,这对安全专家帮助很大。

当然,这个系统将成为网络安全的猫捉老鼠游戏的一部分。有趣的是看到黑客现在如何改变自己的行为,因为他们知道了自己正通过这种方法被系统化监视。如果改变发生了,就会进入新的一轮游戏。

原文发布于微信公众号 - 人工智能快报(AI_News)

原文发表时间:2016-09-18

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

技术导向的创业公司必须关注IT安全的三大原因

随着越来越多的企业加入这样一个热潮,即推出下一个旗舰级应用,网络和移动应用现在已经随处可见了。据AppBrain称,迄今为止Android市场上有近280万个应...

871
来自专栏信安之路

重大福利!2018年白帽黑客最新干货资料,限时免费分享

嗨 ~~各位未来的白帽们,今天为大家推荐一套体系化的安全课程,感谢大家长时间对我的支持现在作为福利赠送给大家。

2953
来自专栏域名资讯

虎扑融资6.18亿元 官网域名超吸睛

近日虎扑完成新一轮6.18亿融资,领投方是“国家队”中金公司。据公司透露,过去两年低调的虎扑依托海量互联网用户,在电商变现,体育IP开发,以及产业...

2396
来自专栏人称T客

企业如何管控敏感数据 | 研报×To B

T客汇官网:tikehui.com 撰文| 杨洋 ? 这里是移动信息化研究中心在 T 客汇上的研报专栏。我们每周针对企业服务领域,进行深度解读。 ? 企业敏感...

3716
来自专栏安恒信息

安恒信息智慧城市安全风暴中心发布全国政府网站安全性测试结果

日前国务院办公厅下发《关于开展第一次全国政府网站普查的通知》国办发【2015】15号文,以下简称《15号文》。为了进一步加强电子政务建设,将政府网站、为民办事窗...

3817
来自专栏腾讯云安全的专栏

万豪5亿酒店客户资料或遭泄露,企业数据被“盯上”该怎么办?

昨日晚间,万豪国际酒店集团(Marriott International)宣布,旗下喜达屋酒店的一个顾客预订数据库遭到入侵,有约5亿顾客的信息可能遭到泄露。据...

1222
来自专栏云计算D1net

云计算+移动性=重新思考网络防御战略

现在企业正逐渐转移到更为分散和日益虚拟化的运营模式,这对IT产生了深远的影响。而企业资产数字化以及对企业资源的灵活的访问更是突出了这一趋势。随着传统物理界限逐渐...

37512
来自专栏重庆的技术分享区

如何发现内部威胁

之前,爱德华·斯诺登(Edward Snowden)的第一次曝光事件出现时,这是关于隐私和监视辩论的分水岭。对于数据安全行业,他的行为表明内部威胁仍然难以检测和...

1062
来自专栏安恒信息

微软谷歌发现新漏洞“变种4” 许多现代芯片将受影响

据路透社北京时间5月22日报道,微软和谷歌网络安全研究员发现了新的芯片漏洞,该漏洞与今年1月出现的Spectre和Meltdown漏洞有关,将对许多现代计算芯片...

1023
来自专栏人工智能快报

研究发现无人机存在较大安全漏洞

虽然无人机这种带有摄像头的小型飞行器的销量在不断刷新,美国约翰霍普金斯大学的一支计算机安全团队最新开展的一项研究指出,黑客可能会轻而易举地使这些机械设备摆脱人类...

3986

扫码关注云+社区

领取腾讯云代金券