人工智能平台可有效预测网络攻击

现今使用的安全系统通常分为两类:基于人或机器的安全系统。所谓“分析师驱动的解决方案”(analyst-driven solutions)基于的是真人专家所建立的规则,因此会错过与规则不相匹配的攻击。此外,现今使用的机器学习方法基本是依赖于“异常检测”,而这往往会引发误报,造成对系统的不信任并最终不得不由人亲自调查。那么有没有可能将这两类方案合并?合并之后会怎样呢?

据美国麻省理工学院网站2016年4月18日报道,该校计算机科学与人工智能实验室(CSAIL)与机器学习技术新创公司PatternEx的研究人员在一篇新发表的论文中展示了一个名为AI2的人工智能平台,该平台可不断整合专家输入的信息,对网络攻击的预测效果大大优于现有系统。

该团队称,AI2平台能够检测出85%的网络攻击,约为过去检测水平的3倍,并将误报率减少了5倍。研究人员采用数百万用户在三个月内生成的36亿个“日志行”数据块对系统进行了测试。为了预测攻击,AI2采用非监督机器学习法让数据集变得有意义,从而进行数据梳理并发现可疑活动,然后将此类活动的信息传达给分析人员,由分析人员确认哪些是实际攻击,并将反馈信息集成到下一组数据的模型中去。

据研究人员Veeramachaneni称,该系统如同一个虚拟分析师,能够不断生成新的模型,并可在短短数个小时内对其进行优化,因此可以快速显著提高其检测率。Veeramachaneni在2016年4月纽约召开的IEEE大数据安全国际会议上向与会者介绍了一篇关于该系统的论文。在他看来,基于人与计算机方法的网络安全系统的研发并非易事,部分原因是因为这些算法要求对网络安全数据手动添加标签,这一点很具挑战性。

例如,开发人员在开发一种能够准确识别对象的计算机视觉算法时只需完成简单的数据标签:只需招几个志愿者给图片添加“对象(objects)”或“非对象(non-objects)”标签,并将数据输入算法即可。但在网络安全任务中,一般人根本未掌握在Amazon Mechanical Turk等众包网站上应用“分布式拒绝服务(DDOS)”或“数据渗漏攻击(exfiltration attacks)”标签这一技能,需要由安全专家完成这项工作。

这就引出了另一个问题:专家们都很忙,不可能成天审查那些可疑数据。已有公司打算放弃这些工作量巨大的平台工作,因此一个高效的机器学习系统必须能够在不消耗大量人力的情况下实现自动优化。

AI2的秘密武器在于其结合了三种不同的非监督学习方法,将优先级最高的事件报告给分析师,让分析师添加标签,然后系统会构建一个监督模型,该模型可通过一个“持续主动学习系统”不断完善。AI2在学习的第一天采集了200个异常事件并报告给专家。经过不断优化后,AI2能够识别越来越多的实际攻击事件,也就意味着数日后,分析师每天只需查看三四十个事件。

美国圣母大学的一位教授认为,该研究结合了分析师直觉和机器学习的优点,并最终降低了误报和漏报率,其研究成果可用于防御欺诈、服务滥用和账户侵权等攻击,这些攻击是现今一些面向用户的系统需要攻克的主要难题。

AI2每天可扫描数十亿日志行,数据转换速度以分钟计。系统检测到的攻击事件越多,其接收到的分析师反馈信息就越多,进而可提高未来预测的准确度。

原文发布于微信公众号 - 人工智能快报(AI_News)

原文发表时间:2016-05-23

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏互联网数据官iCDO

选对归因模型,突破竞价广告增长瓶颈不是梦!

引言:本文深度剖析为什么默认的归因模型对于那些想要增长的电商店铺来说是一个噩梦,展示了各种归因模型的区别。如果你希望看到你的广告效果激增的话,文末处告诉你应该选...

862
来自专栏AI研习社

演员要失业了?AI 实时模拟面部表情,传神效果堪比真人克隆

两年以前,也就是 2016 年,我们提到过一篇论文,其内容主旨是有关面部模拟的——大家只要坐在照相机前,AI 能够把我们的面部动作表现在虚拟演员身上。这项工作叫...

973
来自专栏BestSDK

一周简报|Uber推出机器学习平台Michelangelo,可训练API

声网SDK与V-cube达成战略合作,共同开拓日本视频市场;北汽与百度签署战略合作,打造“人工智能+汽车”生态;智齿客服加入“大数据星火联盟” 助力企业服务转型...

39710
来自专栏机器之心

专栏 | 视觉导向应用中的可扩展解决方案:全可编程SoC

赛灵思专栏 作者:前赛灵思机器视觉市场战略总监Aaron Behman 在这篇文章中,前赛灵思机器视觉市场战略总监Aaron Behman 针对嵌入式视觉方面的...

2594
来自专栏企鹅号快讯

用照片也能追踪手机?人脸识别迎来“终结者”

就像世界上没有两片相同的雪花,你用手机拍摄的每张照片也是独一无二的。布法罗大学的研究人员掌握了一种方法,可以通过分析照片来追踪拍摄的手机,这项研究为身份验证提供...

1845
来自专栏大数据文摘

关于机器学习在网络安全中的五大误解

2382
来自专栏新智元

全球十五年脑神经研究并未作废,人工智能大国竞争继续

【新智元导读】日前有媒体报道,一篇PNAS论文的发现让“15年的脑神经科学研究作废”。脑科学正是大国竞争之地,相关研究也与人工智能发展联系紧密,该结果真的具有这...

4066
来自专栏华章科技

好文丨数据挖掘界领军人物谢邦昌:深度剖析Data Mining

谢邦昌教授,是台北医学大学医务管理学系研究所暨大数据研究中心及管理学院主任,也是数据挖掘界领军人物及世界知名统计学家,他对数据挖掘的定义是:Data Minin...

811
来自专栏人工智能快报

美国北卡大学利用深度学习预测幼儿自闭症

美国《IEEE科技纵览》杂志发表了Megan Scudellari的文章,称美国北卡罗莱纳大学正在利用深度学习技术预测幼儿自闭症。 22年前,研究人员首次报道了...

37510
来自专栏腾讯大讲堂的专栏

Christakis:Hard-Wired: Human Social Networks

本期,讲堂君接着跟大家同步跟分享11月10日WE大会视频。 第七期分享《大连接》作者、联合作者医学博士、健康与社会网络专家Nicholas Christakis...

1915

扫码关注云+社区