摘要：本文作者彭明德，介绍了钱大妈与阿里云 Flink 实时计算团队共建实时风控规则引擎，精确识别羊毛党以防营销预算流失。 钱大妈与阿里云 Flink 实时计算团队共建实时风控规则引擎，精确识别羊毛党以防营销预算流失。 图一：钱大妈实时风控流程示意图 二、业务架构 钱大妈风控业务架构如图二所示总共分为四个部分：事件接入、风险感知、风险应对、风险回溯。 图二：钱大妈实时风控业务架构图 三、规则模型 风控业务专员通过产品界面简单配置即可实时动态发布风控规则，同时对在线 Flink 作业的规则进行新增、更新以及删除，其中风控规则模型主要分为统计型规则和序列型规则 图六：社区Flink动态CEP规则表 五、回顾展望 基于 Flink 的实时风控解决方案已接应用于钱大妈集团内部生产环境，在此解决方案里未引入新的技术组件和编程语言，最大化复用 Flink 资源实现实时风控场景需求
主要分三大模块：风控引擎、数据服务、数据运算、辅助系统。 风控引擎：主要处理风控请求，有预处理、规则引擎和模型执行服务，风控引擎所需要的数据是由数据服务模块提供的。 由于携程的业务种类非常多，而且每种业务都有其特性，在进入风控系统（Aegis）后，为了便于整个风控系统对数据进行处理，风控前端有一个适配器模块，把各个业务的数据都按照风控内部标准化配置进行转换，以适合风控系统使用 风控系统要进行数据的合并。举个例子，当有一笔支付风控校验，支付BU只抛过来支付信息（支付金额、支付方式、订单号等）。 由于每个风控Event请求，都需要执行数百个规则，以及模型，这时，风控引擎引入了规则执行路径优化方法。 ，对于技术将继续拥抱开源技术，下一步会引入Spark等提高风控系统的数据处理能力。
个人网站、项目部署、开发环境、游戏服务器、图床、渲染训练等免费搭建教程，多款云服务器20元起。
性能和复杂度可以兼得 携程的风控系统，和大部分第三方支付平台一样，也是以实时风控系统为主： 支付环节一般留给风控校验的时间不会超过1s，业务风控点上更是希望风控能在100ms内就能通过；对性能的追求，也是对极致用户体验的追求 在实时风控场景里大量部署复杂模型，使模型也能和规则一样能直接拒绝交易；平均来看、执行一个模型以及相关的变量计算所需的资源可能与200条普通规则相当，对系统的架构和性能都是很高的挑战。 携程风控架构变迁简史 ? 携程自建风控系统开始于2011年左右，直到2015年正好赶上公司技术栈从.Net往Java平台转变，风控系统也迎来了一次完全的重写。 支撑风控系统的高可用、高性能，离不开强大的基础设施，下面我向大家展示一下携程风控的几个核心服务和组件： ? 风控引擎： ? 我们给他起了一个名字叫 Matrix，意思是像魔方一样灵活多变。 模型执行引擎： 风控引擎支持把SAS或SPARK等工具训练出来的模型直接在风控系统中部署，支持DOT和PMML等多种格式。
这要求风控系统一定要有实时性。本文就介绍一种实时风控解决方案。 1.总体架构 风控是业务场景的产物，风控系统直接服务于业务系统，与之相关的还有惩罚系统和分析系统，各系统关系与角色如下： ? 该系统有三条数据流向： 实时风控数据流，由红线标识，同步调用，为风控调用的核心链路； 准实时指标数据流，由蓝线标识，异步写入，为实时风控部分准备指标数据； 准实时/离线分析数据流，由绿线标识，异步写入， 2.1 实时风控 实时风控是整个系统的核心，被业务系统同步调用，完成对应的风控判断。 前面提到规则往往由人编写并且需要动态调整，所以我们会把风控判断部分与规则管理部分拆开。 前边提到，做规则判断需要事实的相关指标，比如最近一小时登陆次数，最近一小时注册账号数等等，这些指标通常有一段时间跨度，是某种状态或聚合，很难在实时风控过程中根据原始数据进行计算，因为风控的规则引擎往往是无状态的 Flink 把汇总的指标结果写入 Redis 或 Hbase，供实时风控系统查询。两者问题都不大，根据场景选择即可。
摘要：本文整理自阿里云开发工程师耿飙&阿里云开发工程师胡俊涛，在 FFA 实时风控专场的分享。 我们这里展示三个典型场景： 第一个场景，实时风控。
图1 主要分三大模块：风控引擎、数据服务、数据运算、辅助系统。 风控引擎：主要处理风控请求，有预处理、规则引擎和模型执行服务，风控引擎所需要的数据是由数据服务模块提供的。 由于携程的业务种类非常多，而且每种业务都有其特性，在进入风控系统（Aegis）后，为了便于整个风控系统对数据进行处理，风控前端有一个适配器模块，把各个业务的数据都按照风控内部标准化配置进行转换，以适合风控系统使用 风控系统要进行数据的合并。 举个例子，当有一笔支付风控校验，支付BU只抛过来支付信息（支付金额、支付方式、订单号等）。 由于每个风控Event请求，都需要执行数百个规则，以及模型，这时，风控引擎引入了规则执行路径优化方法。 在4.0中，将在机器学习、人工智能、行为特征等方向继续发力，进一步提高风控系统识别能力，对于技术将继续拥抱开源技术，下一步会引入Spark等提高风控系统的数据处理能力。
导语 随着部门在业务安全领域的不断拓展，围绕着验证码、金融广告等服务场景，腾讯水滴作为支撑业务安全对抗的实时风控系统，上线的任务实时性要求越来越高，需要支撑的业务请求量也随之增加。 对于业务快速上线和资源快速扩缩容的需求，且公司自研上云项目往全面容器化上云方向推进，水滴风控平台开始进行自研上云的改造。 水滴后台架构 水滴平台主要是用于业务安全对抗的高可用、高性能、低延时的实时风控策略平台，提供一系列的基础组件给策略人员进行构建策略模型，能够帮忙策略人员快速地完成策略模型的构建和测试验证。 水滴系统架构如下图所示： 水滴实时风控平台系统主要由配置处理模块和数据处理模块两部分组成。 配置处理模块主要由前端 web 页面、cgi 、mc_srv 和 Zookeeper 等组成。
陈建平，后台开发工程师，现就职于TEG安全平台部-业务安全中心，主要负责中心实时策略风控平台开发。 导语 随着部门在业务安全领域的不断拓展，围绕着验证码、金融广告等服务场景，腾讯水滴作为支撑业务安全对抗的实时风控系统，上线的任务实时性要求越来越高，需要支撑的业务请求量也随之增加。 对于业务快速上线和资源快速扩缩容的需求，且公司自研上云项目往全面容器化上云方向推进，水滴风控平台开始进行自研上云的改造。 水滴后台架构 腾讯水滴平台主要是用于业务安全对抗的高可用、高性能、低延时的实时风控策略平台，提供一系列的基础组件给策略人员进行构建策略模型，能够帮忙策略人员快速地完成策略模型的构建和测试验证。 水滴系统架构如下图所示： 水滴实时风控平台系统主要由配置处理模块和数据处理模块两部分组成。 配置处理模块：主要由前端 web 页面、cgi 、mc_srv 和 Zookeeper 等组成。
干货 | 携程在线风控系统架构 https://mp.weixin.qq.com/s? 8376fa6eb4017378babd51cd6f474cbd6ac5fa0ad51b18783c8ff7a75c4c2ea52c5a5723eac0&mpshare=1&scene=1&srcid=1013uCmHHCB3qu0dUbD30MWg&pass_ticket=tPRWL 干货 | 携程基于大数据分析的实时风控体系 https://mp.weixin.qq.com/s/xlCO__HucTUd_gYNRTueGg 京东基于Spark的风控系统架构实践和技术细节 https://mp.weixin.qq.com MzU1NDA4NjU2MA==&mid=2247486513&idx=1&sn=bd6d6bbd13efc7f9612190dceaf4c180&source=41#wechat_redirect 美团点评业务风控系统构建经验
万达网络科技集团的技术团队，建设和维护着一套实时风控平台。这套实时风控平台，承担着各种关键交易的在线风控数据的写入和查询服务。 实时风控平台后端的数据库系统在高性能，可靠性，可扩展性上有很高的要求，并且需要满足如下核心功能和业务要求： 风控相关业务数据实时入库 实时风控规则计算 通过 BI 工具分析风控历史数据 ETL 入库到 但这些方案，无论是高可用安全性，强一致性，还是对业务应用所需要的复杂事务／JOIN 操作以及横向扩展能力上，都无法满足实时风控平台的业务要求。 在实时风控平台的高并发高性能的对外服务过程中，在线灵活扩容的相关工作在 MySQL Proxy 中间件架构中无法高效和可靠的实施。 TiDB 针对分布式事务和强一致性的完善设计以及对各种 JOIN 模式的支持，使得实时风控类和 BI 分析类的业务应用能够高效运行。
那么如何改善以上这些问题并建立完整的风控体系呢？ 梁堃认为一个全栈式风控体系应该包括布控体系、策略体系、画像体系和运营体系。 首先风控系统要跟业务系统解耦，这样业务规则随时升级变化不会影响风控，风控规则的变化不会影响业务。另外一个风控平台结构需要包括多场景策略体系、实时风控平台和风险画像网络，如下图所示： ? Spark在MobTech应用实操分享 MobTech作为全球领先的数据智能科技平台，目前累计覆盖设备量有120亿，服务开发者32万，累计接入APP数量达50万，庞大的数据量也给MobTech带来了诸多挑战 在Mob有大量复杂的任务，业务需求促使其将部分慢任务、Hive任务迁移到Spark上面，取得性能的提升，同时还对一些Spark任务进行优化。 MobTech大数据技术架构师张峻滔围绕复杂的Spark使用分享了两个案例：第一个是Spark动态裁减在MobTech的应用。
根据业务的不同特点，对于常规的数据ETL处理，我们使用MapReduce[4]框架来完成；BI和数据挖掘这些工作都放到了Spark[5]上。 这样一来，依赖不同任务或不同计算框架间的数据共享情况在所难免，例如Spark的分属不同Stage的两个任务，或Spark与MapReduce框架的数据交互。 而且，使用了Tachyon之后还解决了Spark任务进程崩溃后就要丢失进程中的所有数据的问题，因为此时数据都在Tachyon里面了，从而进一步提升了Spark的性能。 宜信[9]作为国内最大的p2p机构，拥有多年的业务积累，以及一流的风控团队。传统上是通过线下风控的手段，对用户进行详尽的背景调查。 图三 分单平台系统 四、美国的风控系统案例 打造一流的风控系统不是光靠数据分析师团队能够做到的，整个风控是需要在公司的DNA里面。
这些用户的应用 TiDB 的业务场景，主要聚焦在：在线交易，在线支付，移动支付，在线信贷，营销积分，实时风控， 投资者服务，金融征信管理。 TiSpark OLAP 分布式引擎，结合了 TiKV 分布式存储引擎和 Spark 分布式计算的强大能力，对于极复杂的 SQL 查询，可以通过 Spark SQL, 直接从 监察监控库中获得数据，并利用 Spark 集群进行高性能计算。 OLAP - 风控：实时风控 TiDB 的解决之道： 风控数据通过信息中间件双写Hive/Hadoop（历史库/历史分析） TiDB的分布式存储引擎架构，非常轻松地应对海量风控数据的导入，存储和查询处理 TiDB 完整的标准的SQL关系模型支持，为了风控业务开发团队建模和业务侧的应用开发。
治理不良信息的大数据平台包含平台层、算法层、应用层，可提供强大的数据据处理能务，提升信息安全工作整体价值，用到了Hadoop Spark等开源技术。 腾讯安全云部助理总经理 李旭阳 数美公司联合创始人兼CTO梁堃：Sentry金融实时风控系统 数美公司联合创始人兼CTO梁堃在主题演讲中介绍了Sentry金融实时风控系统。 他表示实时风控系统对于银行业继续保持高速发展越来越重要。Sentry金融实时风控系统是基于大数据技术构建的实时交易风险评估系统。 其工作过程是，在每一笔交易发生时，实时进行（1）业务系统将交易信息发送风控系统；（2）发现该交易中存在的异常行为和可疑场景；（3）根据发现的“证据”计算该交易的风险系数；（4）将风险系数等相关信息反馈给业务系统
数据实验楼Spark大数据分析综合实训项目正式发布 http://idatacoding.cn/project_main? Spark大数据分析项目 地理数据可视化、Spark SQL、Spark ML 实训目标 本实训运用真实的出租车订单数据，使用基于Spark的大数据处理分析技术，对城市车流进行时间和空间上的分析并建立行程费用预测模型 通过本实训，学生将进一步夯实Spark分布式计算框架的基本使用，熟悉使用Spark SQL处理和分析数据的基本方法，掌握使用Spark ML构建分布式机器学习模型的方法以及空间地理数据可视化的方法。 项目流程 实训任务示例 新功能 请关注 闯关任务全局视图 闯关模式完成项目任务，边看边做。通过了解项目背景及所需的知识，按照实训任务要求完成编码任务。 实训进度可视化 实训进度可视化大屏会展示每个学生的任务进度与状态，老师可查看学生的任务答案并与正确答案进行比对。 实训报告留档 实时统计学生的任务进度与报告完成进度。
前言 在实时计算作业中，往往需要动态改变一些配置，举几个栗子： 实时日志ETL服务，需要在日志的格式、字段发生变化时保证正常解析； 实时NLP服务，需要及时识别新添加的领域词与停用词； 实时风控服务 Spark Streaming和Flink的广播机制都能做到这点，本文分别来简单说明一下。 Spark Streaming的场合 ? Spark Core内部的广播机制: 广播变量（broadcast variable）的设计初衷是简单地作为只读缓存，在Driver与Executor间共享数据，Spark文档中的原话如下： Broadcast rdd.mapPartitions(records -> { }); }); 这种方法基本上解决了问题，但不是十全十美的，因为广播数据的更新始终是周期性的，并且周期不能太短（得考虑外部存储的压力），从根本上讲还是受Spark Flink的场合 Flink中也有与Spark类似的广播变量，用法也几乎相同。
技术进步推动实时风控 随着互联网金融的发展，各类网银支付欺诈、电商钓鱼网站等风险因素也在增加，对风险控制(简称“风控”)的要求越来越高。 储信资产管理(上海)有限公司副总裁舒赵平表示，风控是P2P乃至互联网金融发展的核心，大数据、云计算等技术的发展，使得从技术入手提高风控能力逐渐成为互联网金融发展的方向。 就如何找到用户体验与信息安全的平衡点，杭州邦盛金融信息技术有限公司总经理王新宇指出，通过实时风控一定程度上可以解决这个问题。 从人类感知学来讲，实时风控如果判断的时间大于200毫秒，这件事情是不可接受的，同时，实时风控每秒又要面对上万笔的吞吐量，所以实时风控平台的技术门槛特别高。 但有了实时风控系统，企业可以更自如地做产品创新、限额的调整。
腾讯大数据处理套件（TBDS）是基于腾讯多年海量数据处理经验，对外提供的可靠、安全、易用的大数据处理平台。你可以根据不同数据处理需求选择合适的大数据分析引擎和相应的实时数据开发、离线数据开发以及算法开发服务，来构建您的大数据应用服务……
扫码关注腾讯云开发者
领取腾讯云代金券
云服务器
网站备案
对象存储
云直播
实时音视频
