如何发现数据间关联来打击网络犯罪？

商业问题

每天未被检测出的网络威胁，增加了信息失窃可能性，扩大了对商业的长期影响。为了最小化网络犯罪的破坏性，公司需要提高快速检测其网络上异常活动的能力，快速发现问题并及时做出反应。同时也需要提高分析历史数据和发现模式的能力，以帮助他们快速感知异常活动。这些都要求有先进数据关联模型的系统。

尽管一般的杀毒软件、防火墙和事件管理工具就能发现“已知”的病毒威胁，但是“未知的”威胁变化多端，一般的杀毒软件很难立马识别。

技术挑战

当今，公司通常都是利用历史数据和记录来辨别模式和数据间的关联，分析档案数据和流数据，来快速发现差异和潜在威胁。通常需要分析以下几项：

- 分析以往入侵的特征，来建立已知网络威胁模型

- 分析多个数据点（如活动时间、活动频率、活动地点），并分析这些数据点与单个用户及过去趋势之间的关联

- 分析社交网络上异常情况与公司主要成员之间的关联

分析这些项目的系统必须包括一个复数据吸收层，流数据可以在此进行转换，还需要包括一个类图像储存层，用于保存数据间的关联，方便以后查询。

数据泄露事件上涨

• 783起：2014年美国公司报告泄露数据事件783起创历史新高；

• 2万亿：至2019年全球泄露造成的损失已经达到2万亿美元；

引人深思的案例分析：阿什利•麦迪逊案

• 3200万：2015年遭受攻击的网络数据服务商的客户数高达3200万家；

• 15,000：有约15,000个美国政府雇员曾暴露过涉及国家安全的信息；

• 7亿6千万：集体诉讼案要求的损失赔偿高达7亿6千万美元；

实时应对的需求

发现数据泄露的应对时间：

• 98天：对金融公司来说需要98天；

• 7个月：对零售商来说需要7个月；

随着消耗数据和分析数据工作的不断增多，需要创建一个吸收层，既能消耗、转换和储存流数据，同时又能产生并维护交易间关联信息，这确实非常难。在很多时候，对企业来说这都是一个难以跨越的门槛。

除此之外，现在可用的大部分图像储存都不能达到几十亿字节和边缘的规模，不能做到同时支持每天数十亿分析和查询的处理：必须达到一定的等级和规模，才能识别不断出现的威胁，在更大损失发生之前快速做出反应。

大部分公司都依赖于定制吸收层的对应方案来维护关联，这既不能扩大规模，也不能支持必须的查询时间。这样的应对方案有以下局限性：

- 复合吸收路径方案，花费过高且很难维持

- 应对某些非法入侵，如可接受查询时间的预计算子图，效率低，成本高，因此功能效果欠佳。

ThingSpan应对方案

ThingSpan™是objectivity的快速数据应对方案平台，结合了Hadoop和Spark， 帮助公司企业设计可靠的网络安全应对方案。可以帮助公司企业吸收、转变和消耗大量不同的数据流，以产生并维持复合的可拓展的图像结构。这些结构可以运行拍字节，且能有效支持复杂的连续的查询。

ThingSpan采用开源代码，支持建立在高性能、分布式图像数据库上的 Hadoop和Spark生态系统。ThingSpan作为一种YARN应用，在分布式文件系统中能够本地运行，同时运用Spark来转换工作流和数据。它还支持基于Kafka、Flume和其他分布式通讯工具的流系统。通过DataFrames，ThingSpan与Spark联合，ThingSpan能吸收流数据，同时还能维持一级逻辑模型关联。

这个模型兼容强化和变形的数据，以简化网络安全应用并支持分析相关联的复合多维度查询。通过这种以关联为导向的方式，获取快速流数据及静态历史交易数据组成的信息融合，ThingSpan为打击网络犯罪提供最佳的智力支持。现在公司企业可以从高效大规模实时流数据和大数据中，深度分析商业行情，由此也能防止未来可能发生的安全漏洞。

翻译：灯塔大数据