首页
学习
活动
专区
圈层
工具
发布

钱大妈基于 Flink 的实时风控实践

摘要:本文作者彭明德,介绍了钱大妈与阿里云 Flink 实时计算团队共建实时风控规则引擎,精确识别羊毛党以防营销预算流失。...钱大妈与阿里云 Flink 实时计算团队共建实时风控规则引擎,精确识别羊毛党以防营销预算流失。...图一:钱大妈实时风控流程示意图 二、业务架构 钱大妈风控业务架构如图二所示总共分为四个部分:事件接入、风险感知、风险应对、风险回溯。...图二:钱大妈实时风控业务架构图 三、规则模型 风控业务专员通过产品界面简单配置即可实时动态发布风控规则,同时对在线 Flink 作业的规则进行新增、更新以及删除,其中风控规则模型主要分为统计型规则和序列型规则...图六:社区Flink动态CEP规则表 五、回顾展望 基于 Flink 的实时风控解决方案已接应用于钱大妈集团内部生产环境,在此解决方案里未引入新的技术组件和编程语言,最大化复用 Flink 资源实现实时风控场景需求

3.2K20

携程是如何把大数据用于实时风控的?

主要分三大模块:风控引擎、数据服务、数据运算、辅助系统。 风控引擎:主要处理风控请求,有预处理、规则引擎和模型执行服务,风控引擎所需要的数据是由数据服务模块提供的。...由于携程的业务种类非常多,而且每种业务都有其特性,在进入风控系统(Aegis)后,为了便于整个风控系统对数据进行处理,风控前端有一个适配器模块,把各个业务的数据都按照风控内部标准化配置进行转换,以适合风控系统使用...风控系统要进行数据的合并。举个例子,当有一笔支付风控校验,支付BU只抛过来支付信息(支付金额、支付方式、订单号等)。...由于每个风控Event请求,都需要执行数百个规则,以及模型,这时,风控引擎引入了规则执行路径优化方法。...Aegis还有配置系统,用户可以在上面进行各种配置,如规则、规则运行路径,标准化、tag、变量定义、已经数据清洗业务罗辑等等,当然监控系统也是非常重要的,风控研发秉承着监控无处不在的设计理念,使其能够在第一时间发现系统的任何细小变化

3.1K80
  • 您找到你想要的搜索结果了吗?
    是的
    没有找到

    基于 Apache Flink 和规则引擎的实时风控解决方案 ​

    这要求风控系统一定要有实时性。本文就介绍一种实时风控解决方案。 1.总体架构 风控是业务场景的产物,风控系统直接服务于业务系统,与之相关的还有惩罚系统和分析系统,各系统关系与角色如下: ?...基于上边的讨论,我们设计一个风控系统方案如下: ?...该系统有三条数据流向: 实时风控数据流,由红线标识,同步调用,为风控调用的核心链路; 准实时指标数据流,由蓝线标识,异步写入,为实时风控部分准备指标数据; 准实时/离线分析数据流,由绿线标识,异步写入,...2.1 实时风控 实时风控是整个系统的核心,被业务系统同步调用,完成对应的风控判断。 前面提到规则往往由人编写并且需要动态调整,所以我们会把风控判断部分与规则管理部分拆开。...09/29/基于规则的风控系统/ 4.网易严选风控实践 https://sq.163yun.com/blog/article/183314611296591872 5.网易考拉规则引擎平台架构设计与实践

    6.8K20

    干货 | 携程基于大数据分析的实时风控体系

    性能和复杂度可以兼得 携程的风控系统,和大部分第三方支付平台一样,也是以实时风控系统为主: 支付环节一般留给风控校验的时间不会超过1s,业务风控点上更是希望风控能在100ms内就能通过;对性能的追求,也是对极致用户体验的追求...在实时风控场景里大量部署复杂模型,使模型也能和规则一样能直接拒绝交易;平均来看、执行一个模型以及相关的变量计算所需的资源可能与200条普通规则相当,对系统的架构和性能都是很高的挑战。...携程风控架构变迁简史 ? 携程自建风控系统开始于2011年左右,直到2015年正好赶上公司技术栈从.Net往Java平台转变,风控系统也迎来了一次完全的重写。...新系统的架构、设计复杂度、预计的处理能力也充分考虑了公司的业务发展预期,第一次让技术走在了业务到来之前。经过每年一个大版本的迭代,到目前为止,携程风控的技术水平已经处于行业第一梯队。...支撑风控系统的高可用、高性能,离不开强大的基础设施,下面我向大家展示一下携程风控的几个核心服务和组件: ? 风控引擎: ? 我们给他起了一个名字叫 Matrix,意思是像魔方一样灵活多变。

    3.4K50

    Flink CEP 新特性进展与在实时风控场景的落地

    摘要:本文整理自阿里云开发工程师耿飙&阿里云开发工程师胡俊涛,在 FFA 实时风控专场的分享。...我们这里展示三个典型场景: 第一个场景,实时风控。...02 动态多规则的设计与云上实践 2.1 动态规则支持:背景 在介绍我们为什么需要动态规则更新前,先看一下右边的图,明确一下规则究竟包含哪些要素。...2.2 动态规则支持:设计 基于以上提到的背景和问题,阿里的同学在社区内提出了 FLIP-200,并在阿里云实时计算 Flink 云产品中按照 FLIP-200 实现了一版 CEP 中动态多规则的支持...我们定义的格式有如下几个设计原则。 有完整的表达能力,能对标完整的 Java API。 方便序列化和反序列化,最好能依赖于一个常见的格式。 易于拓展,方便集成。

    3.1K30

    微分享回放 | 携程是如何把大数据用于实时风控的

    图1 主要分三大模块:风控引擎、数据服务、数据运算、辅助系统。 风控引擎:主要处理风控请求,有预处理、规则引擎和模型执行服务,风控引擎所需要的数据是由数据服务模块提供的。...由于携程的业务种类非常多,而且每种业务都有其特性,在进入风控系统(Aegis)后,为了便于整个风控系统对数据进行处理,风控前端有一个适配器模块,把各个业务的数据都按照风控内部标准化配置进行转换,以适合风控系统使用...风控系统要进行数据的合并。 举个例子,当有一笔支付风控校验,支付BU只抛过来支付信息(支付金额、支付方式、订单号等)。...由于每个风控Event请求,都需要执行数百个规则,以及模型,这时,风控引擎引入了规则执行路径优化方法。...图7 Aegis还有配置系统,用户可以在上面进行各种配置,如规则、规则运行路径,标准化、tag、变量定义、已经数据清洗业务罗辑等等,当然监控系统也是非常重要的,风控研发秉承着监控无处不在的设计理念,使其能够在第一时间发现系统的任何细小变化

    1.6K80

    资源利用率提高67%,腾讯实时风控平台云原生容器化之路

    导语 随着部门在业务安全领域的不断拓展,围绕着验证码、金融广告等服务场景,腾讯水滴作为支撑业务安全对抗的实时风控系统,上线的任务实时性要求越来越高,需要支撑的业务请求量也随之增加。...对于业务快速上线和资源快速扩缩容的需求,且公司自研上云项目往全面容器化上云方向推进,水滴风控平台开始进行自研上云的改造。...水滴后台架构 水滴平台主要是用于业务安全对抗的高可用、高性能、低延时的实时风控策略平台,提供一系列的基础组件给策略人员进行构建策略模型,能够帮忙策略人员快速地完成策略模型的构建和测试验证。...水滴系统架构如下图所示: 水滴实时风控平台系统主要由配置处理模块和数据处理模块两部分组成。 配置处理模块主要由前端 web 页面、cgi 、mc_srv 和 Zookeeper 等组成。...智研指标改造前期,未进行合理的维度设计,导致指标和维度选择过于混乱,不便于后续的增加和维护。

    1.3K20

    资源利用率提高67%,腾讯实时风控平台云原生容器化之路

    陈建平,后台开发工程师,现就职于TEG安全平台部-业务安全中心,主要负责中心实时策略风控平台开发。...导语 随着部门在业务安全领域的不断拓展,围绕着验证码、金融广告等服务场景,腾讯水滴作为支撑业务安全对抗的实时风控系统,上线的任务实时性要求越来越高,需要支撑的业务请求量也随之增加。...水滴后台架构 腾讯水滴平台主要是用于业务安全对抗的高可用、高性能、低延时的实时风控策略平台,提供一系列的基础组件给策略人员进行构建策略模型,能够帮忙策略人员快速地完成策略模型的构建和测试验证。...水滴系统架构如下图所示: 水滴实时风控平台系统主要由配置处理模块和数据处理模块两部分组成。 配置处理模块:主要由前端 web 页面、cgi 、mc_srv 和 Zookeeper 等组成。...智研指标改造前期,未进行合理的维度设计,导致指标和维度选择过于混乱,不便于后续的增加和维护。

    1.6K61

    TiDB 帮助万达网络科技集团实现高性能高质量的实时风控平台

    万达网络科技集团的技术团队,建设和维护着一套实时风控平台。这套实时风控平台,承担着各种关键交易的在线风控数据的写入和查询服务。...实时风控平台后端的数据库系统在高性能,可靠性,可扩展性上有很高的要求,并且需要满足如下核心功能和业务要求: 风控相关业务数据实时入库 实时风控规则计算 通过 BI 工具分析风控历史数据 ETL 入库到...基于 MySQL Proxy 中间件的方案需要业务代码的开发妥协,需要显式设计和指定分库分表的切分规则和路由配置,开发改造和运维成本显著增高。...在实时风控平台的高并发高性能的对外服务过程中,在线灵活扩容的相关工作在 MySQL Proxy 中间件架构中无法高效和可靠的实施。...TiDB 针对分布式事务和强一致性的完善设计以及对各种 JOIN 模式的支持,使得实时风控类和 BI 分析类的业务应用能够高效运行。

    1.8K10

    智能风控系统设计与实践

    在信息安全领域,建立在人工智能技术之上的策略引擎已经深入到了风控产品功能的方方面面,相应的,每一个策略系统都离不开大量的特征,来支撑模型算法或人工规则对请求的精准响应,因此特征系统成为了支持线上风控引擎的重要支柱...c) 滑动窗口期:时间窗口的长度是固定的,但起止时间点一直在向前滚动,主要针对风控事中检测,常用来判读信息准入,例如风控发帖时间点前15分钟的计数。...在线实时特征系统设计与实践,对从整体功能上来讲,在线实时特征系统的设计主要考虑以下几个方面: a) 数据大,风控系统每天产生日志量3TB左右,同时特征系统还会接入发布、浏览、登录、注册、聊天等数据。...因此对时间特别敏感的特征应该采用TC的方式计算,图8为TC设计的核心流程。 ? 图8 4. 低延时存储设计 a) 资源隔离 考虑到特征的存取延时要求极低,因此底层使用Redis分片集群。...总结和规划 本文主要以智能风控在线特征系统为原型,提出了在线特征系统的一些设计思路。其中特征工程系统的边界并不限于特征的解析、计算、存取等。

    2.3K20

    小型无人机飞控系统设计

    首先须明确飞控系统设计是一项艰巨的任务,图1给出了目前飞行控制系统设计与验证的详细流程。...其核心基础为:1.控制律设计 2.系统架构设计 3.嵌入式软硬件开发 另外,未来对无人机的自主能力要求会越来越高。在自主控制的框架内,飞控系统担负的任务也越来越多,如图2。...在未来无人机设计中,飞机设计将越来越弱,机器人设计将越来越强。...面对现代复杂的飞行控制系统,控制律设计的真正问题之一就是更快更早地掌握所需的知识。对于控制律设计人员而言,没有可以借鉴的设计手册,也缺乏合适的设计原则。...设计飞控系统软件时,就不仅仅是让飞机飞起来那么简单了,也就是说软件模块除了基本要素外,还需有其他扩展,如下图。知乎专栏的一篇文章:浅谈飞控的软件设计,针对一些软件、算法部分进行讨论。

    1.4K40

    管控平台适合面向Kubernetes设计么?

    管控平台 管控平台就是公司后台资源和应用服务的系统,也被称作运维平台。 演进 一个公司的运维,通常先从单机脚本开始,随着规模逐渐扩大,需求增多,慢慢演变出平台型的云位系统。...管控逻辑 操作层都差不多,主要的区别在于逻辑层。 同样的功能有不同的设计思想和实现方式,但本质上还是相同的,都是让事情按照一定的依赖执行下去。...设计思想 实现方式也和设计思想相关。 面向任务和面向终态对应任务流和Operator式管控逻辑。 面向任务 传统的RPC思想,即接口对应操作。 复杂的操作通过简单的操作组合实现。...比如使用Kubernetes的Operator来设计管控平台,也就是所谓的面向Kubernetes编程。 对比 在适用范围上,面向任务的接口模式是面向终态的超集。...类比 方式 设计 编程 思维 特点 面向任务 过程式设计/接口 (Procedural) 面向过程(OP) 过程导向 使用者友好 面向终态 声明式设计/接口 (Declarative) 面向对象(OO)

    1K30

    CKAD考试实操指南(四)---优雅设计:掌握Pod设计技巧

    在这篇 CKAD 考试实操指南文章中将为你介绍如何使用知十平台并结合开源项目 CKAD Exercises 中提供的练习题来练习 CKAD 考试中 Pod Design 部分的考试内容。...实操平台介绍 访问实验平台 在浏览器中输入此网址 https://www.knows10.com 或点击此处进入知十平台。...Selectors 文档链接: https://kubernetes.io/docs/concepts/overview/working-with-objects/labels/#label-selectors 实操练习...kubectl create job --from=cronjob/sample-cron-job sample-job 图片 系列文章 CKAD考试实操指南(一)---登顶CKAD:征服考试的完美蓝图...CKAD考试实操指南(二)---深入核心:探秘Kubernetes核心实操秘技 CKAD考试实操指南(三)---舞动容器:多容器Pod实践指南

    90711

    大厂的风控引擎架构设计

    表如何设计?API如何设计?模块之间如何通信?...3 风控引擎设计的核心点架构会围绕核心点进行设计:3.1 高效率的规则(策略)选代风险规则可动态,自由组合的调整风险规则设计思路风险规则可由多个基础规则(因子)组成风险规则就是与(AND)或(OR)非(...将所有的事件数据进行统一管理从任意的数据源以流式传输大量的事件数据不同的业务场景,包含不同的事件类型(evenType),事件接入中心是整个风控引擎的数据流入口。...包含数据:3.5 风控服务稳定可靠服务高可用+熔断降级。...因此,得到最终的4 风控引擎的系统架构图说一大段话,不如画一张图让人更加容易理解:业务架构图应用架构图需要划分出系统的层级,各个层级的应用服务数据架构图技术架构图

    45400
    领券