机器学习帮助探测网络漏洞

据麻省理工《技术评论》2016年8月报道,美国亚利桑那州立大学的研究人员发现了一种利用机器学习来研究黑客论坛和暗网络及深网络市场的方法,从而可探测网络漏洞。

2015年2月美国微软公司在其Windows操作系统中发现了一个关键漏洞,可能会让恶意攻击者远程控制目标计算机。这一问题影响了大范围的Windows操作系统,包括Vista、Win7、Win8、以及专为服务器和移动电脑设计的众多系统。微软公司立即发布了补丁,但该漏洞的详细信息不久就传遍了黑客圈。2015年4月,网络安全专家发现基于这种漏洞的攻击程序在暗网络市场出售,卖家要价约1.5万美元。7月,首个利用这一漏洞的恶意软件出现了,这款恶意软件叫做Dyre银行木马(Dyre Banking Trojan),目标是世界各地的用户,专门从被感染的计算机上盗取信用卡号。

这一事件让我们主要了解了恶意软件是如何演变的。短短几个月的时间里,黑客就将一个漏洞变成了一个攻击程序,用于出售,然后任由其发展成向全世界传播的恶意软件。在这个例子中,微软在漏洞还没有被攻击程序利用之前就发现了它,所以能发布一个补丁。但如果恶意软件利用了以前未发现的漏洞,软件最初的所有者就必须立即开发一个补丁,从字面上说就是用时“零天”,因此有个名字叫“零日漏洞攻击”(zero day attack)。

网络安全专家的主要目标是在零日漏洞攻击程序变成恶意软件之前发现它们。对于美国亚利桑那州立大学的埃里克·努内斯(Eric Nunes)及同事们来说,Dyre银行木马为这种类型的网络安全的全新解决方法提供了很重要的启示。现在,他们发现了一种网络威胁情报收集方法,利用机器学习来研究黑客论坛和暗网络及深网络市场,以寻找新出现漏洞的线索。他们的新系统有了令人欣喜的开端,“现在,这个系统平均每周收集了305个高质量的网络威胁警告,”努内斯和同事们说。

首先了解一些背景知识。黑客及其他心怀不轨的人总是用下列两种方法之一来隐藏他们的论坛和市场。第一种依靠广泛使用的Tor软件让其在互联网上的行踪匿名,防止被追踪,这被称为“暗网络”。另一种则是利用在网络开放部分设立的站点,但这种站点不会被搜索引擎检索,这就是“深网络”,同样难以搜寻。

要监控黑客在这些区域的活动,努内斯及其同事开发了一个爬虫程序从深网络和暗网络上的HTML页面收集信息。显然,此项工作的主要部分是让爬虫程序定位到最佳起始页面,该任务必须由熟悉这些页面的人来完成。然后,该团队从中提取关于黑客活动的具体信息,去掉了其他与毒品、武器等相关的信息。最后,他们利用机器学习算法来检测在这些站点讨论的相关产品及话题。他们的做法是手动标记25%的数据,指出哪些是相关的、哪些是无关的。一个人需要一分钟来标记五个市场产品或标记两个论坛话题,但随着机器学习的进展,这一时间可以缩短。然后,他们就利用这些标记的数据集来训练算法,并用剩余的数据来测试它。

得到的结果读起来很有趣。“使用了机器学习模型,我们可以以高准确度找到与恶意黑客攻击相关的92%的市场产品和80%的论坛话题,”努内斯和同事们说。这项技术已经发现了多个恶意行为。该团队表示,“4周时间内,我们从市场数据中检测到了16个零日漏洞攻击程序。”其中包括了一个安卓(Android)的严重攻击程序,售价约2万美元,一个与因特网浏览器(Internet Explorer 11)相关,售价约1万美元。这显然是有利可图的生意。努内斯和同事们说,“这位供应商的平均评分是4.7/5.0,评分来自市场上的顾客,成功交易超过7000次,说明了产品的可靠性和这位供应商的受欢迎程度。”

这在打击网络犯罪上迈出了有用的一步。现在,该系统每周发现超过300起网络威胁,它已经引起了商业界的注意。事实上,这个团队表示现在他们正把这个系统移交给商业合作伙伴。如果他们继续在零日漏洞开发成恶意攻击产品前就发现它们,他们能帮助软件所有者迅速开发补丁,这对安全专家帮助很大。

当然,这个系统将成为网络安全的猫捉老鼠游戏的一部分。有趣的是看到黑客现在如何改变自己的行为,因为他们知道了自己正通过这种方法被系统化监视。如果改变发生了,就会进入新的一轮游戏。

原文发布于微信公众号 - 人工智能快报(AI_News)

原文发表时间:2016-09-18

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏FreeBuf

用实际危害说话:评定产品安全性的新指标

对产品或应用的安全性做出科学的评判是一项很困难的事。相关机构一般的做法,只是会根据操作系统和热门应用程序披露的漏洞个数,来衡量其安全性。 评定安全性的老办法:只...

1649
来自专栏程序员的知识天地

黑客程序员要想攻击阿里巴巴需要多强的技术?

之前网上有很多人讨论过,为什么黑客不敢攻击阿里巴巴。其实自阿里这些年发展迅猛之时有不少次都遭遇过黑客的攻击,同时可以说有很多黑客团队都一直窥嘘着想要攻破阿里的技...

1062
来自专栏大数据文摘

2015上半年度金融行业互联网安全报告

2497
来自专栏大数据文摘

【可视化、安全】盘点全球网络攻击实时追踪系统

881
来自专栏腾讯技术工程官方号的专栏

你的智能设备真的安全吗?

作者介绍:《漏洞战争:软件漏洞分析精要》作者,2011年毕业于福建中医药大学中西医骨伤专业,在腾讯安全平台部主要从事安全应急响应工作,涉及终端安全、Web安全、...

2116
来自专栏企鹅号快讯

物联网弊端:奥地利旅馆被入侵后的反思

导语:物联网给我们的生活带来了许多便利——例如,一些镇的集成交通系统——然而物联网也大大提高了网络安全方面的风险。我们应该如何应对这些新的威胁呢? ? Chri...

20010
来自专栏企鹅号快讯

迈克菲实验室:2018五大网络安全威胁

我们身处在一个网络安全高度动荡的时代,每天都有新的设备,新的危险,新的威胁出现。在这份报告中,迈克菲实验室的思想领导者和CTO给出了他们的看法,包括机器学习,威...

1947
来自专栏FreeBuf

为什么说机器学习是我们预防网络威胁的最佳武器

随着攻击面的不断扩大以及攻击技术的日趋复杂,安全行业目前正面临着严重的“安全技能短缺”。因此,我们过去所使用的安全保护策略可能已经不再像以前那么有效了,而现在唯...

3324
来自专栏机器之心

报告 | 牛津、剑桥、OpenAI 等多家机构发布重磅报告,论述恶意人工智能的「罪与罚」

2677
来自专栏信安之路

来谈一谈你对安全的理解

在不同的学习阶段以及不同安全岗位对于安全的理解是不一样的,知识星球新推出一个作业功能,我在知识星球提出了一个作业也就是一个问题,问题如下:

830

扫码关注云+社区