Flink在涂鸦防护体系中的应用
一、引言
随着互联网的快速发展，数据量呈爆炸性增长，安全分析领域面临着前所未有的挑战。传统的安全分析方法在处理海量数据时显得力不从心，无法满足实时、高效的需求。为了解决这一问题，Flink作为一种实时数据处理框架，逐渐在安全分析领域崭露头角。本文将基于涂鸦SOC平台建设经验浅谈Flink在安全分析领域的应用。
一、Flink介绍
Flink是一个开源的分布式流处理框架，被设计用于对无界和有界数据流进行有状态计算。Flink具有以下特点：
- 事件驱动型（Event-driven）：事件驱动型应用是一类具有状态的应用，它从一个或多个事件流提取数据，并根据到来的事件触发计算、状态更新或其他外部动作。
- 高吞吐、低延迟、高性能：Flink被设计在所有常见的集群环境中运行，以内存执行速度和任意规模来执行计算。Flink的延迟是毫秒级别，而Spark Streaming的延迟是秒级延迟。
- 灵活的窗口API：Flink提供了灵活的窗口API，使得开发人员能够根据需求灵活地定义窗口大小、滑动距离等参数。
- 精确一次语义保证：Flink提供了严格的精确一次性语义保证，确保在分布式环境下数据处理的一致性和准确性。
- 对状态编程的API：Flink提供更加灵活的对状态编程的API，使得开发人员能够更加方便地进行状态计算。
这里需要重点介绍下flink的时间窗口，Flink的时间窗口是用于处理流数据的一种机制，它可以帮助开发人员在流处理应用中更好地管理和处理时间相关的数据。在Flink中，时间窗口可以将流数据按照时间间隔进行分组，以便进行聚合、过滤等操作。时间窗口的长度可以是固定的，也可以是滑动式的。固定窗口会在指定时间内将数据分组，而滑动窗口则会根据一定的滑动距离对数据进行分组。使用时间窗口可以帮助开发人员更好地处理实时数据流，例如：
- 计算时间序列数据的移动平均值、最大值、最小值等。
- 对实时数据流进行计数、统计等操作。
- 检测时间序列数据中的异常值、趋势等。
二、Flink在安全分析的应用
通过上面介绍我们了解了flink的基础知识，那么如何通过flink进行安全分析呢？我们以一个最基础的针对登录的爆破攻击场景为例，我们创建一条规则：
- 5分钟内同一账号登录请求超过50次认为存在爆破攻击的行为。
为实现这一规则我们在flink中实现如下时间窗口（本例以滚动窗口为例，具体窗口类型以自身业务目标为准）
keyBy(account).window(TumblingProcessingTimeWindows.of(Time.minutes(5)))
在窗口内进行数据统计超过50次则触发告警。这样我们就使用flink实现了爆破攻击行为的检测。很完美，下班回家。
第二天接到业务方反馈存在误报行为，要求尽快解决。分析后发现时间范围太大导致有些正常用户请求也被识别为爆破攻击。那行，发现问题就好办，修改规则：
- 2分钟内同一账号登录请求超过50次认为存在爆破攻击的行为。
接下来我们看一下如何使用flink去实现这一规则的修改：
- 首先我们需要将之前的flink任务进行暂停
- 然后需要我们的flink代码实现新的规则
- 最后启动新的flink任务
下图展示了规则修改的简单过程：
到这里我们就实现了一次规则的优化，可以愉快的下班了。
到了第三天业务方又来了，这次没有误报了，但是仍然存在大量攻击行为未被检测到。分析后发现规则配置条件太严格导致很多攻击行为也无法触发告警。没检测到攻击自然不存在误报了。行吧，继续改规则吧。我们再次调整规则：
- 2分钟内同一账号登录请求超过20次认为存在爆破攻击的行为。
那么这次我们又要重复上门的修改过程。整个过程如下所示：
至此我们终于通过flink实现了对爆破攻击行为的检测。我们回顾下整个过程，每次时间窗口的调整、规则的细微修改我们都要进行一次flink任务的重启。而规则修改调整是安全运营中每条规则必不可少的过程。单一规则可能影响不大，但是想象一下如果我们配置了几十几百条规则的话flink任务的调度会变成一个多么复杂的过程，对服务器性能也是极大的开销。那么在多规则的情况下，我们如何去实现呢？
三、涂鸦安全分析引擎方案
针对以上现象我们提炼出两个核心问题：
- 如何在不重启任务的情况下进行时间窗口的调整
- 如何在不重启任务的情况下进行规则的调整
针对问题1，我们引入的“基准窗口”的概念，比如以一分钟作为基准窗口，我们创建一个一分钟的滚动窗口，对这一分钟的数据进行计数、统计、聚合等预处理操作。当数据进入分析引擎时根据规则配置的时间窗口获取对应个数的基准窗口，同时对各个基准窗口的数据进行再次聚合，对符合规则条件的数据进行告警。这样我们就实现了不重启任务的情况下进行时间窗口的调整。
针对问题2，如何实现不重启的情况下进行规则的修改和调整呢，针对这个问题我们使用flink的广播，当规则发生变化时我们使用flink广播的形式将新的规则内容散发给flink各个节点，节点会将新的规则与数据流进行绑定以便能够实时完成规则的更新。
整个过程如下所示：
至此我们实现了一个稳定的flink统计分析引擎，只需一个flink任务即可实现多种统计规则的匹配，并可进行动态的规则更新。
基于上面爆破攻击行为检测的案例，我们进一步思考，对爆破攻击而言，爆破成功与爆破失败属于两种不同的威胁等级，应该对应不同的威胁处置流程。那么针对这种复杂的分析我们又如何实现呢？
经过多年的建设，涂鸦安全实时分析平台基于flink实现了3大分析引擎：特征分析引擎、统计分析引擎、关联分析引擎。
- 特征分析引擎：基于数据的基础特征进行匹配，对统计字段实现等于、不等于、大于、小于、存在、不存在、包含、不包含、正则匹配等多种不同的匹配语义。
- 统计分析引擎：实现不同时间周期的数据统计操作，包括计数、求和、求平均值等各类不同的统计方式
- 关联分析引擎：对特征分析引擎和统计分析引擎匹配到的数据进行进一步关联分析，实现各种复杂场景的关联分析能力。
对于上面的问题，我们可以通过统计分析引擎实现对爆破攻击行为的检测，通过特征分析引擎实现对登录成功行为的检测，最后使用关联分析引擎对特征分析引擎与统计分析引擎的结果进行管理，存在爆破攻击行为与登录成功行为的关联性则认定为爆破成功。
下图展示了涂鸦安全分析引擎完整链路图：
三、总结
随着互联网的发展和安全事件的增加，传统的安全分析方法已经无法满足需求。而Flink作为一种实时数据处理框架，在安全分析领域具有广泛的应用前景。在未来，我们相信Flink将在安全分析领域发挥更大的作用，推动信息安全事业的进步和发展。
PS:本文所使用案例仅为方便理解文章内容，非实际运营案例。