人工智能平台可有效预测网络攻击

现今使用的安全系统通常分为两类:基于人或机器的安全系统。所谓“分析师驱动的解决方案”(analyst-driven solutions)基于的是真人专家所建立的规则,因此会错过与规则不相匹配的攻击。此外,现今使用的机器学习方法基本是依赖于“异常检测”,而这往往会引发误报,造成对系统的不信任并最终不得不由人亲自调查。那么有没有可能将这两类方案合并?合并之后会怎样呢?

据美国麻省理工学院网站2016年4月18日报道,该校计算机科学与人工智能实验室(CSAIL)与机器学习技术新创公司PatternEx的研究人员在一篇新发表的论文中展示了一个名为AI2的人工智能平台,该平台可不断整合专家输入的信息,对网络攻击的预测效果大大优于现有系统。

该团队称,AI2平台能够检测出85%的网络攻击,约为过去检测水平的3倍,并将误报率减少了5倍。研究人员采用数百万用户在三个月内生成的36亿个“日志行”数据块对系统进行了测试。为了预测攻击,AI2采用非监督机器学习法让数据集变得有意义,从而进行数据梳理并发现可疑活动,然后将此类活动的信息传达给分析人员,由分析人员确认哪些是实际攻击,并将反馈信息集成到下一组数据的模型中去。

据研究人员Veeramachaneni称,该系统如同一个虚拟分析师,能够不断生成新的模型,并可在短短数个小时内对其进行优化,因此可以快速显著提高其检测率。Veeramachaneni在2016年4月纽约召开的IEEE大数据安全国际会议上向与会者介绍了一篇关于该系统的论文。在他看来,基于人与计算机方法的网络安全系统的研发并非易事,部分原因是因为这些算法要求对网络安全数据手动添加标签,这一点很具挑战性。

例如,开发人员在开发一种能够准确识别对象的计算机视觉算法时只需完成简单的数据标签:只需招几个志愿者给图片添加“对象(objects)”或“非对象(non-objects)”标签,并将数据输入算法即可。但在网络安全任务中,一般人根本未掌握在Amazon Mechanical Turk等众包网站上应用“分布式拒绝服务(DDOS)”或“数据渗漏攻击(exfiltration attacks)”标签这一技能,需要由安全专家完成这项工作。

这就引出了另一个问题:专家们都很忙,不可能成天审查那些可疑数据。已有公司打算放弃这些工作量巨大的平台工作,因此一个高效的机器学习系统必须能够在不消耗大量人力的情况下实现自动优化。

AI2的秘密武器在于其结合了三种不同的非监督学习方法,将优先级最高的事件报告给分析师,让分析师添加标签,然后系统会构建一个监督模型,该模型可通过一个“持续主动学习系统”不断完善。AI2在学习的第一天采集了200个异常事件并报告给专家。经过不断优化后,AI2能够识别越来越多的实际攻击事件,也就意味着数日后,分析师每天只需查看三四十个事件。

美国圣母大学的一位教授认为,该研究结合了分析师直觉和机器学习的优点,并最终降低了误报和漏报率,其研究成果可用于防御欺诈、服务滥用和账户侵权等攻击,这些攻击是现今一些面向用户的系统需要攻克的主要难题。

AI2每天可扫描数十亿日志行,数据转换速度以分钟计。系统检测到的攻击事件越多,其接收到的分析师反馈信息就越多,进而可提高未来预测的准确度。

原文发布于微信公众号 - 人工智能快报(AI_News)

原文发表时间:2016-05-23

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏FreeBuf

关于机器学习在网络安全中的五大误解

机器学习已经渗透到了人类活动的所有领域,它不仅在语音识别、手势识别、手写识别和图像识别上起着关键的作用,这些领域如果没有机器学习在现代医学、银行、生物信息和存在...

2135
来自专栏AI科技评论

学界 | Facebook 最新研究:自主学习一个会和世界互动的智能体

AI 科技评论按:本文由来自 Facebook 人工智能研究院的研究员 Dhruv Batra 和 Devi Parikh 共同撰写,文中介绍了 Faceboo...

1222
来自专栏专知

【CIKM2018】从大数据到大信息和大知识教程(附PPT下载)

CIKM创办于1992年,是由美国计算机协会针对信息检索、知识管理以及数据库主办的全球顶尖学术会议。CIKM每年汇聚了最前沿的科研人员,探讨先进知识及信息系统面...

2023
来自专栏AI研习社

演员要失业了?AI 实时模拟面部表情,传神效果堪比真人克隆

两年以前,也就是 2016 年,我们提到过一篇论文,其内容主旨是有关面部模拟的——大家只要坐在照相机前,AI 能够把我们的面部动作表现在虚拟演员身上。这项工作叫...

1093
来自专栏FreeBuf

机器学习来了,安全行业准备好了吗?

信息安全一直以来都是一个“猫捉老鼠”的游戏。好人建起防御的围墙,坏人想方设法通过或者绕过它。然而最近我们发现坏人似乎越来越容易绕过我们建立的高墙。想要阻止他们就...

21810
来自专栏AI科技评论

视频 | 演员要失业了?AI 实时模拟面部表情,传神效果堪比真人克隆

这里是,雷锋字幕组编译的 Two minutes paper 专栏,每周带大家用碎片时间阅览前沿技术,了解 AI 领域的最新研究成果。

1446
来自专栏大数据文摘

关于机器学习在网络安全中的五大误解

2892
来自专栏腾讯大讲堂的专栏

Christakis:Hard-Wired: Human Social Networks

本期,讲堂君接着跟大家同步跟分享11月10日WE大会视频。 第七期分享《大连接》作者、联合作者医学博士、健康与社会网络专家Nicholas Christakis...

2065
来自专栏PPV课数据科学社区

技术贴:大数据告诉你,如何给微信公众号文章取标题?

267个新闻时政类自媒体公号在11月23日—11月29日(周日—周六)的统计周期里共发表了1447篇文章。此次我们选择其中的1000篇文章作为样本进行分析。 ?...

3354
来自专栏企鹅号快讯

用照片也能追踪手机?人脸识别迎来“终结者”

就像世界上没有两片相同的雪花,你用手机拍摄的每张照片也是独一无二的。布法罗大学的研究人员掌握了一种方法,可以通过分析照片来追踪拍摄的手机,这项研究为身份验证提供...

2655

扫码关注云+社区

领取腾讯云代金券