前往小程序,Get更优阅读体验!
立即前往
首页
学习
活动
专区
工具
TVP
发布
社区首页 >专栏 >如何发现数据间关联来打击网络犯罪?

如何发现数据间关联来打击网络犯罪?

作者头像
灯塔大数据
发布2018-04-09 11:45:20
7840
发布2018-04-09 11:45:20
举报
文章被收录于专栏:灯塔大数据

商业问题

每天未被检测出的网络威胁,增加了信息失窃可能性,扩大了对商业的长期影响。为了最小化网络犯罪的破坏性,公司需要提高快速检测其网络上异常活动的能力,快速发现问题并及时做出反应。同时也需要提高分析历史数据和发现模式的能力,以帮助他们快速感知异常活动。这些都要求有先进数据关联模型的系统。

尽管一般的杀毒软件、防火墙和事件管理工具就能发现“已知”的病毒威胁,但是“未知的”威胁变化多端,一般的杀毒软件很难立马识别。

技术挑战

当今,公司通常都是利用历史数据和记录来辨别模式和数据间的关联,分析档案数据和流数据,来快速发现差异和潜在威胁。通常需要分析以下几项:

- 分析以往入侵的特征,来建立已知网络威胁模型

- 分析多个数据点(如活动时间、活动频率、活动地点),并分析这些数据点与单个用户及过去趋势之间的关联

- 分析社交网络上异常情况与公司主要成员之间的关联

分析这些项目的系统必须包括一个复数据吸收层,流数据可以在此进行转换,还需要包括一个类图像储存层,用于保存数据间的关联,方便以后查询。

数据泄露事件上涨

• 783起:2014年美国公司报告泄露数据事件783起创历史新高;

• 2万亿:至2019年全球泄露造成的损失已经达到2万亿美元;

引人深思的案例分析:阿什利•麦迪逊案

• 3200万:2015年遭受攻击的网络数据服务商的客户数高达3200万家;

• 15,000:有约15,000个美国政府雇员曾暴露过涉及国家安全的信息;

• 7亿6千万:集体诉讼案要求的损失赔偿高达7亿6千万美元;

实时应对的需求

发现数据泄露的应对时间:

• 98天:对金融公司来说需要98天;

• 7个月:对零售商来说需要7个月;

随着消耗数据和分析数据工作的不断增多,需要创建一个吸收层,既能消耗、转换和储存流数据,同时又能产生并维护交易间关联信息,这确实非常难。在很多时候,对企业来说这都是一个难以跨越的门槛。

除此之外,现在可用的大部分图像储存都不能达到几十亿字节和边缘的规模,不能做到同时支持每天数十亿分析和查询的处理:必须达到一定的等级和规模,才能识别不断出现的威胁,在更大损失发生之前快速做出反应。

大部分公司都依赖于定制吸收层的对应方案来维护关联,这既不能扩大规模,也不能支持必须的查询时间。这样的应对方案有以下局限性:

- 复合吸收路径方案,花费过高且很难维持

- 应对某些非法入侵,如可接受查询时间的预计算子图,效率低,成本高,因此功能效果欠佳。

ThingSpan应对方案

ThingSpan™是objectivity的快速数据应对方案平台,结合了Hadoop和Spark, 帮助公司企业设计可靠的网络安全应对方案。可以帮助公司企业吸收、转变和消耗大量不同的数据流,以产生并维持复合的可拓展的图像结构。这些结构可以运行拍字节,且能有效支持复杂的连续的查询。

ThingSpan采用开源代码,支持建立在高性能、分布式图像数据库上的 Hadoop和Spark生态系统。ThingSpan作为一种YARN应用,在分布式文件系统中能够本地运行,同时运用Spark来转换工作流和数据。它还支持基于Kafka、Flume和其他分布式通讯工具的流系统。通过DataFrames,ThingSpan与Spark联合,ThingSpan能吸收流数据,同时还能维持一级逻辑模型关联。

这个模型兼容强化和变形的数据,以简化网络安全应用并支持分析相关联的复合多维度查询。通过这种以关联为导向的方式,获取快速流数据及静态历史交易数据组成的信息融合,ThingSpan为打击网络犯罪提供最佳的智力支持。现在公司企业可以从高效大规模实时流数据和大数据中,深度分析商业行情,由此也能防止未来可能发生的安全漏洞。

翻译:灯塔大数据

本文参与 腾讯云自媒体同步曝光计划,分享自微信公众号。
原始发表:2016-09-21,如有侵权请联系 cloudcommunity@tencent.com 删除

本文分享自 灯塔大数据 微信公众号,前往查看

如有侵权,请联系 cloudcommunity@tencent.com 删除。

本文参与 腾讯云自媒体同步曝光计划  ,欢迎热爱写作的你一起参与!

评论
登录后参与评论
0 条评论
热度
最新
推荐阅读
相关产品与服务
云 HDFS
云 HDFS(Cloud HDFS,CHDFS)为您提供标准 HDFS 访问协议,您无需更改现有代码,即可使用高可用、高可靠、多维度安全、分层命名空间的分布式文件系统。 只需几分钟,您就可以在云端创建和挂载 CHDFS,来实现您大数据存储需求。随着业务需求的变化,您可以实时扩展或缩减存储资源,CHDFS 存储空间无上限,满足您海量大数据存储与分析业务需求。此外,通过 CHDFS,您可以实现计算与存储分离,极大发挥计算资源灵活性,同时实现存储数据永久保存,降低您大数据分析资源成本。
领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档