基于图的技术在企业威胁评估中的应用
摘要
5G，云和物联网等技术的发展必将赋能新的信息设施。新的设施会带来新的场景，在新的场景中，入侵途径增加等原因会导致网络安全的问题越来越多。当然新技术的发展也会使网络安全防护向着更高水平的智能化和自动化的方向发展。如何打造智能化的网络安全防护成为了学术界和工业界的热点。人、技术、流程这三个要素，已成为网络安全运营（SecOps）中被广泛认可的铁三角。智能安全运营（AISecOps）[1]在SecOps的基础上，更强调利用技术实现“数据”的利用与流动，挖掘融合不同层次中数据的价值，最终提供各任务层次的决策支持。其中，技术是网络安全运营成败的关键要素之一。通过先进有效的技术构建AISecOps，跟上攻击者的步伐，才能防范新兴威胁。本文为AISecOps的技术分析系列篇，主要介绍基于图的技术在企业威胁评估中的应用。
一、概述
网络攻击源的威胁评估是从攻击者视角出发，将攻击的手法，目的，以及攻击者情况等多个方面进行综合来实现精准高效的威胁评估，进而用于后续的处置等操作。由于与同一时间段内的正常用户相比，真实攻击者的数量非常小，且攻击者的活动少于正常活动，所以可以给出一个假设，即真正的攻击者对应的流量数据中的某一维度是异常的，因此，异常检测技术可以用来评估攻击者，进而发现攻击源。异常检测[2]是对不匹配预期模式或数据集中其他项目的项目、事件或观测值的识别，其中，异常也被称为离群值。
目前，机器学习在异常检测领域中发挥着重要作用，例如入侵检测[3]和恶意软件检测[4]等。虽然异常检测技术在许多领域取得了比较好的成果，但是由于安全数据更为复杂，异常检测技术在网络入侵检测中面临着巨大的挑战[5]，例如，海量未标注的数据等。在真实的网络安全的场景中，复杂的安全数据往往是高维且难处理的。随着攻击技术越来越先进，攻击的隐蔽性越来越强，如何从安全数据中挖掘更多与攻击相关的语义信息是提高企业威胁评估性能的关键点之一。由于安全数据之间存在复杂的关系，与其他方法相比，由节点和关系构成的图可以将安全数据丰富的上下文信息保存下来，以便于刻画攻击行为。通过基于图的方法可以更好地在复杂的企业威胁评估的场景中发现异常，进而发现攻击源，这对安全运营人员识别和分析企业威胁可以提供有效的帮助。因此，如何将基于图的方法应用到网络安全运营中具有很高的研究价值。
二、基于图的威胁评估
本节将分析基于图表示的异常检测技术Log2vec[6]和 ADSAGE[7]应用到企业内部网络威胁检测的情况，以及分析图神经网络应用到企业内部网络威胁检测的前景，以供从事网络安全运营的人员参考。
[6]给出的异构图嵌入方法--Log2vec的三个组件如图1所示，包括图形的构建，图嵌入和检测算法。首先，作者通过基于规则的启发式方法构建包含日志记录间关系映射的异构图，其中，映射可以表示用户的典型行为和恶意操作。为了深入挖掘分析日志记录间的关系，作者将其分为主题，对象，操作类型，时间和主机等五个主要的元属性，并根据不同元属性的组合方式来设计规则。他们设计了十个规则，将日志记录转换成序列和子图，以此来构建成一个异构图。作者通过随机游走的方式来提取每个节点的上下文，把由节点的上下文构成的路径看作自然语言处理中的句子，并用word2vec来计算每个节点上下文的向量。针对不同的攻击场景，作者通过控制邻居节点的数量和在不同比列的边类型集合中抽取上下文的方式来改进随机游走，以此解决数据不平衡问题。该方法可以根据攻击场景来确定日志记录之间关系的重要性，并进行差异化处理。作者将正常的日志记录和恶意操作放到不同的族中，采用一种聚类方法来进行检测。最终，作者通过设定阈值来识别恶意类别。作者表示Log2vec是该领域第一个复杂且有效的构建异构图的方式，并且其效果在CERT[8]等多个数据集上超过了隐马尔可夫，Tiresias[9]和DeepLog[10]等多种方法。此外，作者也在文章中提到图神经网络相比于所提出的方法会更有效的学习图的拓扑等信息，但是由于受限于无标签数据以及样本不平衡等情况，导致图神经网络很难应用到该领域。在网络安全运营领域如何利用基于图神经网络的异常检测技术进行攻击源威胁评估可以参考《图卷积神经网络在企业侧网络安全运营中的应用》。
图1. Log2vec原理图
[7]中所提的ADSAGE是一种用于检测图的边序列的异常检测方法。作者采用审计事件属性来进行细粒度事件的异常检测，这可以减少数据汇聚和特征工程的工作量，并且在入侵检测系统中能够更好地追踪告警。他们采用属性图的边来表示事件，例如，将认证事件表示为用户和计算机之间的边，其中，边的特征类型可能是数值，分类属性和文本属性。作者采用了DeepLog中的事件特征预测模块，该模块通过下一个时间的预测值和观察值之间的误差来计算异常分数。文章中提出了一个RNN 和FFNN联合训练的架构如图2所示。通过RNN来预测下一个事件，并输出一个RNN的状态值，该状态值和下一个事件一起输入到FFNN中，FFNN预测代表下一个事件的边是否有效。通过图2可以看出，ADSAGE会对正常事件和异常事件训练并输出一个分数，其中，异常事件样本是通过人工从源实体未访问过的目标实体中随机选择一个目标实体来替换真实的目标实体的方法产生的。在他们的实验中一次只使用一个审计数据源，可以发现哪种审计数据源和哪种方法适合特定的恶意行为。此外，作者表示ADSAGE填补了基于图的边级别的异常检测算法的空白，该方法可以有效的检测身份验证和电子邮件流量场景中的异常。
图2 RNN 和FFNN联合训练的架构
虽然基于图的方法在企业内部网络威胁检测的场景中提高了检测的准确性，但是需要注意的是在网络安全场景中不仅对于模型结果的准确性高度敏感，而且对于结果的可解释性也是十分看重。神经网络等算法的优势在于其强大的表征能力，但是相比于传统安全采用的基于规则等方法，不可解释性会导致其在网络安全场景下无法直接使用。因此，在网络安全领域威胁评估的研究中，不仅需要提高基于图的异常检测技术的准确性，而且需要提供可解释性。
三、结束语
人工智能技术可以为安全运营带来新的视角，拓宽其监控范围，自动化的识别更广泛的威胁。人工智能技术已经在网络安全的很多领域被使用，未来人工智能技术必将有更多的应用与落地。攻击源威胁评估是网络安全运营中的重要组成部分，基于图神经网络的异常检测技术可以为网络安全领域的攻击源评估提供新的思路。如何提高攻击源威胁评估的性能，促进AISecOps更好地发展还有很长的路要走，这需要网络安全人员共同探索。
欢迎点击阅读AISecOps系列相关文章。
能力框架篇：
《AISecOps：打造可信任安全智能》数据建模篇：
《智能威胁分析之图数据构建》《以ATT&CK为例构建网络安全知识图》
算法分析篇：
《Provenance Mining：终端溯源数据挖掘与威胁狩猎》
参考文献
[2]https://zh.wikipedia.org/wiki/%E5%BC%82%E5%B8%B8%E6%A3%80%E6%B5%8B
[3] V. Jyothsna, V. R. Prasad, and K. M. Prasad, ”A review of anomalybased intrusion detection systems,” International Journal of ComputerApplications, vol. 28, no. 7, pp. 26–35, 2011.
[4] J.Y. Kim, S.J. Bu, and S.B. Cho, ”Zero-day malware detection usingtransferred generative adversarial networks based on deep autoencoders,”Information Sciences, vol. 460, pp. 83–102, 2018.
[5] M. Ahmed, A. N. Mahmood, and J. Hu, ”A survey of network anomalydetection techniques,” Journal of Network and Computer Applications, vol. 60,pp. 19–31, 2016.
[6] F. Liu, Y. Wen, and D. Zhang et al. ”Log2vec: A Heterogeneous GraphEmbedding Based Approach for Detecting Cyber Threats within Enterprise”, inProceedings of the 2019 ACM SIGSAC Conference on Computer and CommunicationsSecurity, 2019, pp. 1777-1794.
[7] Mathieu Garchery, Michael Granitzer, ADSAGE: Anomaly Detection in Sequencesof Attributed Graph Edges applied to insider threat detection at fine-grainedlevel，https://arxiv.org/abs/2007.06985
[8] The CERT Division. 2018. Insider Threat Tools.https://www.cert.org/insiderthreat/ tools/.
[9] Yun Shen, Enrico Mariconti, Pierre Antoine Vervier, and GianlucaStringhini. 2018. Tiresias: Predicting Security Events Through Deep Learning.In Proceedings of the 2018 ACM SIGSAC Conference on Computer and CommunicationsSecurity (CCS ’18). ACM, NewYork, NY, USA, 592–605.https://doi.org/10.1145/3243734.3243811
[10] Min Du, Feifei Li, Guineng Zheng, and Vivek Srikumar. 2017.DeepLog: Anomaly Detection and Diagnosis from System Logs Through DeepLearning. In Proceedings of the 2017 ACM SIGSAC Conference on Computer andCommunications Security (CCS ’17). ACM, New York, NY, USA, 1285–1298. https://doi.org/10.1145/3133956.3134015
关于天枢实验室
天枢实验室聚焦安全数据、AI攻防等方面研究，以期在“数据智能”领域获得突破。
内容编辑：天枢实验室 王星凯 责任编辑： 王星凯
本公众号原创文章仅代表作者观点，不代表绿盟科技立场。所有原创内容版权均属绿盟科技研究通讯。未经授权，严禁任何媒体以及微信公众号复制、转载、摘编或以其他方式使用，转载须注明来自绿盟科技研究通讯并附上本文链接。
关于我们
绿盟科技研究通讯由绿盟科技创新中心负责运营，绿盟科技创新中心是绿盟科技的前沿技术研究部门。包括云安全实验室、安全大数据分析实验室和物联网安全实验室。团队成员由来自清华、北大、哈工大、中科院、北邮等多所重点院校的博士和硕士组成。
绿盟科技创新中心作为“中关村科技园区海淀园博士后工作站分站”的重要培养单位之一，与清华大学进行博士后联合培养，科研成果已涵盖各类国家课题项目、国家专利、国家标准、高水平学术论文、出版专业书籍等。
我们持续探索信息安全领域的前沿学术方向，从实践出发，结合公司资源和先进技术，实现概念级的原型系统，进而交付产品线孵化产品并创造巨大的经济价值。