前往小程序,Get更优阅读体验!
立即前往
首页
学习
活动
专区
工具
TVP
发布
社区首页 >专栏 >IP黑名单质量如何提升?看看BLAG

IP黑名单质量如何提升?看看BLAG

作者头像
绿盟科技研究通讯
发布2020-03-26 17:14:48
1.4K0
发布2020-03-26 17:14:48
举报
文章被收录于专栏:绿盟科技研究通讯

近几年,威胁情报在网络安全领域展现出其独有价值,结合大数据技术、人工智能技术,威胁情报可为企业提供决策支撑信息,降低企业整体风险,具有光明的应用前景,可威胁情报的一些内在缺陷却阻碍了其抵御风险的有效性,如准确率、覆盖率,本文以IP黑名单为例,介绍其使用中缺陷和提升准确率的最新研究成果[1]。

一、背景

IP黑名单记录了攻击者的历史信息,是威胁情报的重要组成部分,经常被企业用作于各种类型的防御,如垃圾邮件过滤、恶意流量识别等,被集成到多种类型的安全产品中,IP黑名单经常被用于做入侵防护或应急响应,在大规模网络攻击中过滤已知攻击者的流量,可以说是纵深防御体系中的第一道屏障,例如,在企业遭受DDoS攻击的时候,IP黑名单可用于过滤所有已知攻击源,降低链路负载,为了实现有效的防御,IP黑名单必须非常准确,识别出大部分攻击者的IP并且放行合法流量。

在现实应用中,企业采集到的IP黑名单往往有很大的缺陷,很难做到对攻击源的精准识别,原因大致有如下几个方面:

1. 单个企业往往只能看到网络空间的冰山一角,蜜罐部署的地理位置范围受限、蜜罐类型多样性不够等原因导致IP黑名单的覆盖度不足,这种视野受限的问题可以通过IP黑名单的共享进行一定程度的弥补;

2. 黑名单是攻击源的一个快照,攻击者往往有多种手段绕过黑名单的检测 [2];

3. 攻击源往往集中在管理不当的网络中 [3],我们往往只能采集到部分IP,因此可以考虑把IP黑名单中的IP地址扩展为IP前缀。总结来说,如果能够将多个IP黑名单进行聚合并且将IP地址扩展为IP前缀,便可提升IP黑名单的准确度,但简单的聚合和扩充往往会带来很大误差,因此本文将介绍一种智能IP黑名单聚合技术BLAG[1],在尽量降低误报的同时提升对攻击源的识别准确率,相关数据和源码应该会在近期公布,有需求的朋友可以持续关注https://steel.isi.edu/Projects/BLAG/#blag。

二、现有黑名单的共性问题

在介绍BLAG之前,我们先来看看现有黑名单的一些基础问题:

第一,每个黑名单只包含网络中的局部信息。由于不同机构只能采集到网络中特定领域的数据,单个IP黑名单一般覆盖率比较低,并且不同IP黑名单中的IP经常重复出现,如图1所示,通过分析157个公开IP黑名单(具体名单可去文章中自行查看),可以发现,IP黑名单的覆盖率普遍较低,平均为3.03%,不同企业关注的攻击类型往往也存在差异,这些不同类型的攻击IP之间会发生重叠,如图2所示,平均有20.4%的IP会发生重叠。

图1 IP黑名单覆盖率

图2 不同类型的IP重合率

第二,“惯犯”现象。在黑名单中被移除的IP经常会重新出现在同一个黑名单中,我们称这些IP为“惯犯”,这些IP“惯犯”在不同黑名单中的分布如图3所示,平均来说,29.3%的IP为“惯犯”。

图3 IP“惯犯”在黑名单中的分布

第三,攻击源共现在同一网络中。如图4所示,57.5%的IP前缀中包含至少2个恶意IP,这表明在同一网络中出现多个恶意IP的攻击概率很高,封锁整个IP前缀可以提高恶意IP的覆盖率。

图4 同一IP前缀中的恶意IP数量分布

第四,黑名单中存在噪声。由于检测算法存在偏差,黑名单中的IP并不全是恶意IP,并且由于信息更新的滞后,被清理的恶意IP也经常无法在黑名单中体现。

总之,我们可以聚合不同黑名单,并且使用IP前缀来提高黑名单的准确率,在聚合时也要有一定分寸,不能引入过多噪声。

三、BLAG技术原理

BLAG即黑名单聚合技术(blacklist aggregation),输入为一系列IP黑名单和企业允许通过的合法流量,输出为一份聚合后的黑名单,其中删除了噪声并且进行了IP前缀的提取,整体框架如图5所示,可以分3步进行:

图5 BLAG框架图

  • 评估每个IP地址的信誉评分。根据上节所述,平均有29%的IP地址为“惯犯”,其中91%的IP在过去一个月内出现过。我们可以根据IP在黑名单中的出现时间进行打分,距当前时间越近,威胁程度越高,信誉值可以根据如下公式计算:

其中,

为IP地址a在黑名单b中的信誉值,l为常量,t为当前时间,

为a在b中最近出现的时间,信誉值随时间的缩短呈现指数衰减的趋势。

  • 预测可能分类错误的IP。如图6所示,在矩阵R中,行为IP,列为IP黑名单,数值代表第一步计算出的IP信誉评分,其中最后一列为误分类信息,即黑名单中的噪声,该信息由企业的白名单等方式提供,我们需要找出其他可能的噪声。在这里,我们利用推荐系统中所采用的常见算法“协同过滤”进行计算,具体计算细节我们在此省略,最终我们可以得到两个中间矩阵,P和Q,P和Q满足如下条件:

我们可以得到最终矩阵R’,R’由 P和Q计算而来,其最后一行代表误分类的可能性已经填充完毕。如图7所示,IP地址128.0.0.5为误分类IP,但是128.0.0.1却没有信息,经过计算,128.0.0.1的误分类可能性为0.84,概率较高,将之作为误判IP,从直观上分析,128.0.0.1和128.0.0.5在bambenek和openbl两个黑名单中的信誉评分相近,被分类为误判IP在情理之中,而128.0.0.2-128.0.0.4与128.0.0.5的信誉评分差距较大,因此没有被分类为误判IP。最后我们需要选定一个阈值α对IP进行误判的标定。

图6 预测可能分类错误的IP

  • 将IP地址扩充为IP前缀。如图7所示,最后的IP黑名单会经过两步检查,第一步先检查该IP是否在白名单中,第二步检查该IP是否在第二步中被判定为误判,若其中任何一步判定该IP为误判,则不进行IP前缀的扩充,以169.231.140.68为例,在第二步中被判定为误判,则不进行前缀扩充,193.1.64.5,193.1.64.8没有发生误判,也不在白名单中,则进行IP前缀的扩充,最后的黑名单为193.1.64.0/24(在这里,我们一般使用长度为24的网络号)。

图7 将IP地址扩充为IP前缀

BLAG黑名单聚合方法在垃圾邮件检测、一个校园网的DDoS攻击、针对根DNS服务器的DDoS攻击这些场景下可以有95%-99%的检测准确率,并且比现有的黑名单技术能更快地检测到攻击者,具体使用的数据和横向比较的方法,感兴趣的朋友可以直接参考原文[1]。

在实际部署过程当中,需要注意如下事项:

  • 收集到的黑名单应该尽量多,如上节所述,每个黑名单的视野都极其有限,平均为3%,这些黑名单可以通过公开信息和威胁情报共享等渠道实现。
  • 为了删除黑名单中的噪声,企业应该采集业务所需的合法流量,流量的采集时长也需要进行合理设置。
  • 系统在部署过程中有几个参数需要调节,分别为步骤一中常量l的取值,文章[1]的取值为30,步骤二中的阈值α,这个参数需要根据实际情况进行调节,协同过滤中使用的隐变量个数K,该参数需要根据计算耗时、结果准确率进行调节,文章[1]取值为5。

四、总结

黑名单技术在网络安全中被广泛使用,并且随着威胁情报技术和概念的兴起,黑名单技术愈发凸显其重要性,但是由于企业的局限性,不可能观测到网络中的所有数据,黑名单聚合,或者称之为威胁情报共享的需求愈发强烈,本文以黑名单聚合为例,介绍了在威胁情报共享中进行数据融合的关键技术,在此基础上大大提升了原有黑名单的准确性,进一步保障了企业安全。另外对于不同类型的情报数据,如域名数据,文件数据,我们认为也可以采用类似的方法进行融合,相关实验结果有待进一步研究。

参考文献:

[1].Ramanathan, Sivaramakrishnan, Jelena Mirkovic, and Minlan Yu. "BLAG: Improving the Accuracy of Blacklists."

[2].Noroozian, Arman, et al. "Platforms in everything: analyzing ground-truth data on the anatomy and economics of bullet-proof hosting." 28th {USENIX} Security Symposium ({USENIX} Security 19). 2019.

[3].Zhang, Jing, et al. "On the Mismanagement and Maliciousness of Networks." NDSS. 2014.

关于天枢实验室

天枢实验室聚焦安全数据、AI攻防等方面研究,以期在“数据智能”领域获得突破。

内容编辑:天枢实验室 童明凯 责任编辑:肖晴

本文参与 腾讯云自媒体同步曝光计划,分享自微信公众号。
原始发表:2020-03-18,如有侵权请联系 cloudcommunity@tencent.com 删除

本文分享自 绿盟科技研究通讯 微信公众号,前往查看

如有侵权,请联系 cloudcommunity@tencent.com 删除。

本文参与 腾讯云自媒体同步曝光计划  ,欢迎热爱写作的你一起参与!

评论
登录后参与评论
0 条评论
热度
最新
推荐阅读
目录
  • BLAG即黑名单聚合技术(blacklist aggregation),输入为一系列IP黑名单和企业允许通过的合法流量,输出为一份聚合后的黑名单,其中删除了噪声并且进行了IP前缀的提取,整体框架如图5所示,可以分3步进行:
  • 参考文献:
相关产品与服务
高级威胁追溯系统
腾讯高级威胁追溯系统(Advanced Threat Tracking System,ATTS)由腾讯安全团队构建的高级威胁追溯平台,旨在帮助用户通过该平台进行线索研判,攻击定性和关联分析,追溯威胁源头,有效预测威胁的发生并及时预警。
领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档