人工智能平台可有效预测网络攻击

现今使用的安全系统通常分为两类:基于人或机器的安全系统。所谓“分析师驱动的解决方案”(analyst-driven solutions)基于的是真人专家所建立的规则,因此会错过与规则不相匹配的攻击。此外,现今使用的机器学习方法基本是依赖于“异常检测”,而这往往会引发误报,造成对系统的不信任并最终不得不由人亲自调查。那么有没有可能将这两类方案合并?合并之后会怎样呢?

据美国麻省理工学院网站2016年4月18日报道,该校计算机科学与人工智能实验室(CSAIL)与机器学习技术新创公司PatternEx的研究人员在一篇新发表的论文中展示了一个名为AI2的人工智能平台,该平台可不断整合专家输入的信息,对网络攻击的预测效果大大优于现有系统。

该团队称,AI2平台能够检测出85%的网络攻击,约为过去检测水平的3倍,并将误报率减少了5倍。研究人员采用数百万用户在三个月内生成的36亿个“日志行”数据块对系统进行了测试。为了预测攻击,AI2采用非监督机器学习法让数据集变得有意义,从而进行数据梳理并发现可疑活动,然后将此类活动的信息传达给分析人员,由分析人员确认哪些是实际攻击,并将反馈信息集成到下一组数据的模型中去。

据研究人员Veeramachaneni称,该系统如同一个虚拟分析师,能够不断生成新的模型,并可在短短数个小时内对其进行优化,因此可以快速显著提高其检测率。Veeramachaneni在2016年4月纽约召开的IEEE大数据安全国际会议上向与会者介绍了一篇关于该系统的论文。在他看来,基于人与计算机方法的网络安全系统的研发并非易事,部分原因是因为这些算法要求对网络安全数据手动添加标签,这一点很具挑战性。

例如,开发人员在开发一种能够准确识别对象的计算机视觉算法时只需完成简单的数据标签:只需招几个志愿者给图片添加“对象(objects)”或“非对象(non-objects)”标签,并将数据输入算法即可。但在网络安全任务中,一般人根本未掌握在Amazon Mechanical Turk等众包网站上应用“分布式拒绝服务(DDOS)”或“数据渗漏攻击(exfiltration attacks)”标签这一技能,需要由安全专家完成这项工作。

这就引出了另一个问题:专家们都很忙,不可能成天审查那些可疑数据。已有公司打算放弃这些工作量巨大的平台工作,因此一个高效的机器学习系统必须能够在不消耗大量人力的情况下实现自动优化。

AI2的秘密武器在于其结合了三种不同的非监督学习方法,将优先级最高的事件报告给分析师,让分析师添加标签,然后系统会构建一个监督模型,该模型可通过一个“持续主动学习系统”不断完善。AI2在学习的第一天采集了200个异常事件并报告给专家。经过不断优化后,AI2能够识别越来越多的实际攻击事件,也就意味着数日后,分析师每天只需查看三四十个事件。

美国圣母大学的一位教授认为,该研究结合了分析师直觉和机器学习的优点,并最终降低了误报和漏报率,其研究成果可用于防御欺诈、服务滥用和账户侵权等攻击,这些攻击是现今一些面向用户的系统需要攻克的主要难题。

AI2每天可扫描数十亿日志行,数据转换速度以分钟计。系统检测到的攻击事件越多,其接收到的分析师反馈信息就越多,进而可提高未来预测的准确度。

原文发布于微信公众号 - 人工智能快报(AI_News)

原文发表时间:2016-05-23

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏高性能服务器开发

如何运用 DDD 解决团队协作与沟通问题?

领域驱动设计的核心是“领域”,因此要运用领域驱动设计,从一开始就要让团队走到正确的点上。当我们组建好了团队之后,应该从哪里开始?

692
来自专栏企鹅号快讯

量子计算开启云计算通往新世界的大门

随着数据的海量增长,机器处理数据所需的时间也越来越多。增强现实、虚拟现实、人工智能、机器人、实时分析和机器学习算法都需要云计算提供无限快速且无限计算能力和无穷大...

1965
来自专栏数据科学与人工智能

【机器学习】机器学习正在五个方面重塑我们的世界

机器学习的技术越来越成熟,与大数据结合在一起为我们的世界带来了巨大的变化。对此,大数据专家Bernard Marr总结了机器学习在听、说、读、写、看五个方面如何...

2218
来自专栏新智元

【Google 重磅论文】人工智能关键模型,量子计算快1亿倍(论文下载)

今天 Google 量子人工智能实验室公布,Google 和 NASA 在 2013 年购买的量子计算机,在最近一系列的测试中都完胜经典计算机,成绩令人瞩目。 ...

4329
来自专栏AI科技评论

Facebook、微软、谷歌三大研究巨头齐聚首,共同探讨人工智能发展现状和趋势

AI 科技评论消息,日前 AAAS 在 reddit 上组织了一场问答,Facebook 人工智能研究院 Yann LeCun,微软研究院院长 Eric Hor...

3255
来自专栏机器之心

前沿 | MIT脑控机器人再升级:脑信号+肌肉信号,轻松控制机器人动作

让机器人做事并不容易:通常,科学家要么对机器人进行明确编程,要么使机器人理解人类如何通过语言进行沟通。

832
来自专栏FD的专栏

什么是最小可行性数据产品(MVP)?如何用它做机器学习?

本文作者是一名数据科学家,现在离开了Pivotal公司加入了idealo公司,正在帮助其搭建数据科学团队以及把机器学习整合到公司的产品中。

782
来自专栏机器之心

深度学习:远非人工智能的全部和未来

选自Linkedin 作者:Fabio Ciucci 机器之心编译 参与:黄小天、路雪 人工智能的这一波热潮毫无疑问是由深度学习引发的,自吴恩达等人 2011 ...

2538
来自专栏web前端教室

选择很多,怎么才叫“对”

这段时间,我拉黑了一些群成员,因为他们问的问题很low。问我是不是前端做的久了,不容易做到管理?我直接回复是的。跟我说什么,要不就去学后端,后端更容易转管理什么...

1805
来自专栏PPV课数据科学社区

如何区分理解数据科学家与机器学习工程师

数据科学家Vs机器学习工程师 原文: What are machine learning engineers来源: https://tech.co/12-way...

2449

扫描关注云+社区