专栏首页绿盟科技研究通讯基于图的技术在企业威胁评估中的应用

基于图的技术在企业威胁评估中的应用

摘要

5G,云和物联网等技术的发展必将赋能新的信息设施。新的设施会带来新的场景,在新的场景中,入侵途径增加等原因会导致网络安全的问题越来越多。当然新技术的发展也会使网络安全防护向着更高水平的智能化和自动化的方向发展。如何打造智能化的网络安全防护成为了学术界和工业界的热点。人、技术、流程这三个要素,已成为网络安全运营(SecOps)中被广泛认可的铁三角。智能安全运营(AISecOps)[1]在SecOps的基础上,更强调利用技术实现“数据”的利用与流动,挖掘融合不同层次中数据的价值,最终提供各任务层次的决策支持。其中,技术是网络安全运营成败的关键要素之一。通过先进有效的技术构建AISecOps,跟上攻击者的步伐,才能防范新兴威胁。本文为AISecOps的技术分析系列篇,主要介绍基于图的技术在企业威胁评估中的应用。

一、概述

网络攻击源的威胁评估是从攻击者视角出发,将攻击的手法,目的,以及攻击者情况等多个方面进行综合来实现精准高效的威胁评估,进而用于后续的处置等操作。由于与同一时间段内的正常用户相比,真实攻击者的数量非常小,且攻击者的活动少于正常活动,所以可以给出一个假设,即真正的攻击者对应的流量数据中的某一维度是异常的,因此,异常检测技术可以用来评估攻击者,进而发现攻击源。异常检测[2]是对不匹配预期模式或数据集中其他项目的项目、事件或观测值的识别,其中,异常也被称为离群值。

目前,机器学习在异常检测领域中发挥着重要作用,例如入侵检测[3]和恶意软件检测[4]等。虽然异常检测技术在许多领域取得了比较好的成果,但是由于安全数据更为复杂,异常检测技术在网络入侵检测中面临着巨大的挑战[5],例如,海量未标注的数据等。在真实的网络安全的场景中,复杂的安全数据往往是高维且难处理的。随着攻击技术越来越先进,攻击的隐蔽性越来越强,如何从安全数据中挖掘更多与攻击相关的语义信息是提高企业威胁评估性能的关键点之一。由于安全数据之间存在复杂的关系,与其他方法相比,由节点和关系构成的图可以将安全数据丰富的上下文信息保存下来,以便于刻画攻击行为。通过基于图的方法可以更好地在复杂的企业威胁评估的场景中发现异常,进而发现攻击源,这对安全运营人员识别和分析企业威胁可以提供有效的帮助。因此,如何将基于图的方法应用到网络安全运营中具有很高的研究价值。

二、基于图的威胁评估

本节将分析基于图表示的异常检测技术Log2vec[6]和 ADSAGE[7]应用到企业内部网络威胁检测的情况,以及分析图神经网络应用到企业内部网络威胁检测的前景,以供从事网络安全运营的人员参考。

[6]给出的异构图嵌入方法--Log2vec的三个组件如图1所示,包括图形的构建,图嵌入和检测算法。首先,作者通过基于规则的启发式方法构建包含日志记录间关系映射的异构图,其中,映射可以表示用户的典型行为和恶意操作。为了深入挖掘分析日志记录间的关系,作者将其分为主题,对象,操作类型,时间和主机等五个主要的元属性,并根据不同元属性的组合方式来设计规则。他们设计了十个规则,将日志记录转换成序列和子图,以此来构建成一个异构图。作者通过随机游走的方式来提取每个节点的上下文,把由节点的上下文构成的路径看作自然语言处理中的句子,并用word2vec来计算每个节点上下文的向量。针对不同的攻击场景,作者通过控制邻居节点的数量和在不同比列的边类型集合中抽取上下文的方式来改进随机游走,以此解决数据不平衡问题。该方法可以根据攻击场景来确定日志记录之间关系的重要性,并进行差异化处理。作者将正常的日志记录和恶意操作放到不同的族中,采用一种聚类方法来进行检测。最终,作者通过设定阈值来识别恶意类别。作者表示Log2vec是该领域第一个复杂且有效的构建异构图的方式,并且其效果在CERT[8]等多个数据集上超过了隐马尔可夫,Tiresias[9]和DeepLog[10]等多种方法。此外,作者也在文章中提到图神经网络相比于所提出的方法会更有效的学习图的拓扑等信息,但是由于受限于无标签数据以及样本不平衡等情况,导致图神经网络很难应用到该领域。在网络安全运营领域如何利用基于图神经网络的异常检测技术进行攻击源威胁评估可以参考《图卷积神经网络在企业侧网络安全运营中的应用》。

图1. Log2vec原理图

[7]中所提的ADSAGE是一种用于检测图的边序列的异常检测方法。作者采用审计事件属性来进行细粒度事件的异常检测,这可以减少数据汇聚和特征工程的工作量,并且在入侵检测系统中能够更好地追踪告警。他们采用属性图的边来表示事件,例如,将认证事件表示为用户和计算机之间的边,其中,边的特征类型可能是数值,分类属性和文本属性。作者采用了DeepLog中的事件特征预测模块,该模块通过下一个时间的预测值和观察值之间的误差来计算异常分数。文章中提出了一个RNN 和FFNN联合训练的架构如图2所示。通过RNN来预测下一个事件,并输出一个RNN的状态值,该状态值和下一个事件一起输入到FFNN中,FFNN预测代表下一个事件的边是否有效。通过图2可以看出,ADSAGE会对正常事件和异常事件训练并输出一个分数,其中,异常事件样本是通过人工从源实体未访问过的目标实体中随机选择一个目标实体来替换真实的目标实体的方法产生的。在他们的实验中一次只使用一个审计数据源,可以发现哪种审计数据源和哪种方法适合特定的恶意行为。此外,作者表示ADSAGE填补了基于图的边级别的异常检测算法的空白,该方法可以有效的检测身份验证和电子邮件流量场景中的异常。


图2 RNN 和FFNN联合训练的架构

虽然基于图的方法在企业内部网络威胁检测的场景中提高了检测的准确性,但是需要注意的是在网络安全场景中不仅对于模型结果的准确性高度敏感,而且对于结果的可解释性也是十分看重。神经网络等算法的优势在于其强大的表征能力,但是相比于传统安全采用的基于规则等方法,不可解释性会导致其在网络安全场景下无法直接使用。因此,在网络安全领域威胁评估的研究中,不仅需要提高基于图的异常检测技术的准确性,而且需要提供可解释性。

三、结束语

人工智能技术可以为安全运营带来新的视角,拓宽其监控范围,自动化的识别更广泛的威胁。人工智能技术已经在网络安全的很多领域被使用,未来人工智能技术必将有更多的应用与落地。攻击源威胁评估是网络安全运营中的重要组成部分,基于图神经网络的异常检测技术可以为网络安全领域的攻击源评估提供新的思路。如何提高攻击源威胁评估的性能,促进AISecOps更好地发展还有很长的路要走,这需要网络安全人员共同探索。

欢迎点击阅读AISecOps系列相关文章。

能力框架篇:

《AISecOps:打造可信任安全智能》数据建模篇:

《智能威胁分析之图数据构建》《以ATT&CK为例构建网络安全知识图》

算法分析篇:

《XAI系列一:可信任安全智能与可解释性》

《XAI系列二:模型可解释性技术概览》

《Provenance Mining:终端溯源数据挖掘与威胁狩猎》

参考文献


[1] AISecOps:打造可信任安全智能

[2]https://zh.wikipedia.org/wiki/%E5%BC%82%E5%B8%B8%E6%A3%80%E6%B5%8B

[3] V. Jyothsna, V. R. Prasad, and K. M. Prasad, ”A review of anomalybased intrusion detection systems,” International Journal of ComputerApplications, vol. 28, no. 7, pp. 26–35, 2011.

[4] J.Y. Kim, S.J. Bu, and S.B. Cho, ”Zero-day malware detection usingtransferred generative adversarial networks based on deep autoencoders,”Information Sciences, vol. 460, pp. 83–102, 2018.

[5] M. Ahmed, A. N. Mahmood, and J. Hu, ”A survey of network anomalydetection techniques,” Journal of Network and Computer Applications, vol. 60,pp. 19–31, 2016.

[6] F. Liu, Y. Wen, and D. Zhang et al. ”Log2vec: A Heterogeneous GraphEmbedding Based Approach for Detecting Cyber Threats within Enterprise”, inProceedings of the 2019 ACM SIGSAC Conference on Computer and CommunicationsSecurity, 2019, pp. 1777-1794.

[7] Mathieu Garchery, Michael Granitzer, ADSAGE: Anomaly Detection in Sequencesof Attributed Graph Edges applied to insider threat detection at fine-grainedlevel,https://arxiv.org/abs/2007.06985

[8] The CERT Division. 2018. Insider Threat Tools.https://www.cert.org/insiderthreat/ tools/.

[9] Yun Shen, Enrico Mariconti, Pierre Antoine Vervier, and GianlucaStringhini. 2018. Tiresias: Predicting Security Events Through Deep Learning.In Proceedings of the 2018 ACM SIGSAC Conference on Computer and CommunicationsSecurity (CCS ’18). ACM, NewYork, NY, USA, 592–605.https://doi.org/10.1145/3243734.3243811

[10] Min Du, Feifei Li, Guineng Zheng, and Vivek Srikumar. 2017.DeepLog: Anomaly Detection and Diagnosis from System Logs Through DeepLearning. In Proceedings of the 2017 ACM SIGSAC Conference on Computer andCommunications Security (CCS ’17). ACM, New York, NY, USA, 1285–1298. https://doi.org/10.1145/3133956.3134015

关于天枢实验室

天枢实验室聚焦安全数据、AI攻防等方面研究,以期在“数据智能”领域获得突破。

内容编辑:天枢实验室 王星凯 责任编辑: 王星凯

本公众号原创文章仅代表作者观点,不代表绿盟科技立场。所有原创内容版权均属绿盟科技研究通讯。未经授权,严禁任何媒体以及微信公众号复制、转载、摘编或以其他方式使用,转载须注明来自绿盟科技研究通讯并附上本文链接。

关于我们

绿盟科技研究通讯由绿盟科技创新中心负责运营,绿盟科技创新中心是绿盟科技的前沿技术研究部门。包括云安全实验室、安全大数据分析实验室和物联网安全实验室。团队成员由来自清华、北大、哈工大、中科院、北邮等多所重点院校的博士和硕士组成。

绿盟科技创新中心作为“中关村科技园区海淀园博士后工作站分站”的重要培养单位之一,与清华大学进行博士后联合培养,科研成果已涵盖各类国家课题项目、国家专利、国家标准、高水平学术论文、出版专业书籍等。

我们持续探索信息安全领域的前沿学术方向,从实践出发,结合公司资源和先进技术,实现概念级的原型系统,进而交付产品线孵化产品并创造巨大的经济价值。

本文分享自微信公众号 - 绿盟科技研究通讯(nsfocus_research),作者:天枢实验室

原文出处及转载信息见文内详细说明,如有侵权,请联系 yunjia_community@tencent.com 删除。

原始发表时间:2020-12-24

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

我来说两句

0 条评论
登录 后参与评论

相关文章

  • GoBrut破解型僵尸网络悄然再度来袭

    Go语言因为跨平台且易上手,越来越受到攻击者的青睐。2019年年初[1],一个由Go语言编写的新型恶意软件家族问世,称为GoBrut(又名StealthWork...

    绿盟科技研究通讯
  • 安全是一门语言的艺术:威胁调查分析语言概述

    语言的本质源于规则,准确的规则是安全逻辑判别的标尺;语言的魅力在于传播,有效的传播是安全情报与技术打破安全信息孤岛的关键路径。回顾总结安全智能与运营智能技术的演...

    绿盟科技研究通讯
  • 【冰蝎全系列有效】针对HTTPS加密流量的webshell检测研究

    webshell是Web攻击中常见的一种木马形式,目前主流的检测方法都是基于HTTP请求和响应流量的内容特征,然而在HTTPS协议下,很多webshell检测机...

    绿盟科技研究通讯
  • DNSPod十问谭晓生:安全领域的创业教练

    ? 问答时间:2020年12月24日 嘉宾简介: 谭晓生:北京赛博英杰科技有限公司创始人、董事长,正奇学院创始人,曾任360集团技术总裁、首席安全官,公安部网...

    腾讯云DNSPod团队
  • 打击网络威胁从员工培训开始

    技术是完成公司目标的驱动力。云计算的迅速普及以及移动设备和应用程序的广泛应用,使得技术从简单的辅助作用渐渐转变为公司日常运营和应对未来挑战的重要手段。

    百浪多息
  • 堆叠技术之堆叠分裂、双主检测

    堆叠建立后,主交换机和备交换机之间定时发送心跳报文来维护堆叠系统的状态。堆叠线缆、主控板发生故障时或者其中一台交换机下电、重启都将导致两台交换机之间失去通信,导...

    Ponnie
  • 腾讯云服务器搭建网站只需7个步骤(宝塔面板+wordpress)

    建网站本身是没有什么难度的,只是配套需要的东西有些繁琐,我们需要提前准备一些软件之类的必备的东西,其中主要包括:

    用户2416682
  • 大会 | 清华对话式人工智能课题组六篇长文被ACL、IJCAI-ECAI录用

    AI 科技评论按:本文首发于「人工智能THU」,作者钱桥,AI 科技评论获授权转载。

    AI科技评论
  • 《关键信息基础设施保护条例》已上报国务院,有望年内出台​

    2019北京网络安全大会8月21日在北京国家会议中心开幕,在大会上了解到由中央网信办和公安部共同制定的《关键信息基础设施保护条例》已上报国务院,有望年内正式出台...

    FB客服
  • 使用pg_resetwal时空穿梭找回“幽灵”元组

    pg_resetwal工具是个很有用的工具,我们使用它来修改控制文件的一些信息,可能用的最多的地方是应急清理wal日志并更新lsn信息。但是pg_resetwa...

    数据库架构之美

扫码关注云+社区

领取腾讯云代金券