文档建议反馈控制台
首页
学习
活动
专区
圈层
工具
MCP广场
文章/答案/技术大牛
发布

钱大妈基于 Flink 的实时风控实践

摘要：本文作者彭明德，介绍了钱大妈与阿里云 Flink 实时计算团队共建实时风控规则引擎，精确识别羊毛党以防营销预算流失。...除了数仓的分析场景以外，钱大妈面临着业务系统中的风控需求，例如每季度的营销费用中被不少的羊毛党薅走正常用户的利益，其中羊毛党一方面可能导致用户的口碑下降，另一方面也会影响原有的活动运营预算迅速攀升从而导致资损...钱大妈与阿里云 Flink 实时计算团队共建实时风控规则引擎，精确识别羊毛党以防营销预算流失。...图一：钱大妈实时风控流程示意图 二、业务架构 钱大妈风控业务架构如图二所示总共分为四个部分：事件接入、风险感知、风险应对、风险回溯。...图六：社区Flink动态CEP规则表 五、回顾展望 基于 Flink 的实时风控解决方案已接应用于钱大妈集团内部生产环境，在此解决方案里未引入新的技术组件和编程语言，最大化复用 Flink 资源实现实时风控场景需求

4.1K20
    • 您找到你想要的搜索结果了吗？
    是的
    没有找到

    基于 Apache Flink 和规则引擎的实时风控解决方案 ​

    这要求风控系统一定要有实时性。本文就介绍一种实时风控解决方案。 1.总体架构 风控是业务场景的产物，风控系统直接服务于业务系统，与之相关的还有惩罚系统和分析系统，各系统关系与角色如下： ?...该系统有三条数据流向： 实时风控数据流，由红线标识，同步调用，为风控调用的核心链路； 准实时指标数据流，由蓝线标识，异步写入，为实时风控部分准备指标数据； 准实时/离线分析数据流，由绿线标识，异步写入，...2.1 实时风控 实时风控是整个系统的核心，被业务系统同步调用，完成对应的风控判断。 前面提到规则往往由人编写并且需要动态调整，所以我们会把风控判断部分与规则管理部分拆开。...Flink 把汇总的指标结果写入 Redis 或 Hbase，供实时风控系统查询。两者问题都不大，根据场景选择即可。...4.参考资料 1.从 Drools 规则引擎到风控反洗钱 http://archive.keyllo.com/L-编程/drools-从Drools规则引擎到风控反洗钱系统v0.3.2.pdf 2.基于

    7.5K20

    携程是如何把大数据用于实时风控的？

    目前携程利用自主研发的风控系统有效识别、防范这些风险。携程风控系统从零起步，经过五年的不断探索与创新，已经可以有效覆盖事前、事中、事后各个环节。...一、Aegis系统体系 ? 主要分三大模块：风控引擎、数据服务、数据运算、辅助系统。 风控引擎：主要处理风控请求，有预处理、规则引擎和模型执行服务，风控引擎所需要的数据是由数据服务模块提供的。...由于携程的业务种类非常多，而且每种业务都有其特性，在进入风控系统（Aegis）后，为了便于整个风控系统对数据进行处理，风控前端有一个适配器模块，把各个业务的数据都按照风控内部标准化配置进行转换，以适合风控系统使用...我们最后选择了开源 Drools，第一它是开源；第二它可以使用Java语言，入门方便；第三功能够用。...这样携程风控引擎实现了规则上线的高效携程风控实时引擎，通过使用规则引擎Drools，使其具有非常高的灵活性、可配置性，并且由于是java语法的，规则人员自己就可以制定规则并迅速上线。

    3.7K80

    接口被刷百万QPS，怎么防？

    实时规则配置 我们还可以使用动态规则引擎（比如：Drools引擎），可以配置风控规则。...Drools风控规则示例： rule "高频访问敏感接口"     // 规则元数据     salience // 优先级     no-loop true// 防止规则循环触发          /...防御的架构体系： 核心组件解析： 流量清洗层（CDN） 过滤静态资源请求 吸收70%以上流量冲击 安全防护层（网关集群） 设备指纹生成：标记每个请求源 分布式限流：集群级QPS控制 规则引擎：实时判断风险 实时风控层...（Flink计算） // Flink实时风控处理 riskStream   .keyBy(req => req.getDeviceId()) // 按设备ID分组   .timeWindow(Time.seconds...第3～5章构建了资金安全防护的“双闭环”机制，即在业务侧通过三流合一、平衡性约束等金融级设计来确保业务逻辑正确，在技术侧通过分布式事务、幂等设计等技术方案来确保数据一致，通过业业、业会、会会、账实核对来实现资损的分钟级发现

    77810

    实时风控系统的构建之路：Node.js 集成多头借贷小时级 API 的方法与应用

    一、关于API随着风控系统对实时性的要求不断提高，小时级别的借贷查询数据愈发成为核心资产。...Node.js因为天然的事件驱动模型，经常出现在API网关、异步风控任务和对外数据交换层中。它轻量、灵活、易并发，特别适合在高调用量的查询系统中承担接口请求角色。...系统会在用户申请时实时调用接口，把短周期查询、逾期情况和夜间行为作为同步风险输入，交给评分系统或规则引擎。若连续出现密集查询或逾期金额较大，系统会自动调整审批流程。...五、总结Node.js结合天远API的细粒度风控数据，可以构建敏捷、高并发的风控网关和实时查询服务。...API本身结构清晰，加上Node的灵活性，无论是接入审批系统、反欺诈系统还是贷中监控，都能形成顺畅的业务链条。在生产环境中加入缓存、限流和稳定加密模块，可以让系统持续可靠地运行。

    25510

    干货 | 携程基于大数据分析的实时风控体系

    性能和复杂度可以兼得 携程的风控系统，和大部分第三方支付平台一样，也是以实时风控系统为主： 支付环节一般留给风控校验的时间不会超过1s，业务风控点上更是希望风控能在100ms内就能通过；对性能的追求，也是对极致用户体验的追求...在实时风控场景里大量部署复杂模型，使模型也能和规则一样能直接拒绝交易；平均来看、执行一个模型以及相关的变量计算所需的资源可能与200条普通规则相当，对系统的架构和性能都是很高的挑战。...携程风控架构变迁简史 ? 携程自建风控系统开始于2011年左右，直到2015年正好赶上公司技术栈从.Net往Java平台转变，风控系统也迎来了一次完全的重写。...每天风控收集上来的数据超过50亿条，其中超过1亿左右的请求需要风控实时校验风险并返回给业务系统当前操作是否可以继续。...规则引擎： 初始版本基于drools实现，不过经过两个版本的迭代优化后，已经完全替换成自主研发的引擎，新引擎兼容drools的脚本，迁移到新引擎几乎零成本。

    4.3K50

    构建实时风控：多头借贷小时级 API 的 Java 实战、数据结构解析与系统集成

    而天远API提供的多头借贷小时级API，恰恰把这些细节整理成一份精细的时间切片，让风控系统不再依赖迟缓的周级或月级数据，而能以小时为单位观察风险波动。...Java在企业级风控体系中长期占据主导，它强调稳定、可维护和类型安全，非常适合构建与风控API通信的基础服务。...Java通常会把加密模块抽成独立类，以便复用，同时把网络请求托付给HttpClient，这些都能让代码在复杂的风控系统中保持干净。...06:00||BH_A357|近1天非银机构夜间查询|捕捉短周期异常|逾期记录|字段名|含义|说明||BH_B001|近90天最大逾期金额|与信用风险高度相关||BH_B016|当前逾期最大金额|判断即时风险的重要指标...短期查询次数的突然增多，常常代表着用户短时间内多次申请信贷；如果这种行为同时伴随在夜间发生，就更容易引起系统侧的风险提醒。系统会默认先让模型对这些数据做一次初筛，再把明显异常的情况推入人工审核。

    26710

    Drools规则引擎让业务逻辑真正活起来

    老李意识到，业务规则和系统代码之间必须彻底解耦。这时候，他想到了Drools。三、是什么"工欲善其事，必先利其器。"...Drools是ApacheKIE项目旗下的开源业务规则管理系统（BRMS），原由JBoss/RedHat主导，2023年正式进入ApacheIncubator，GitHub已积累6200+Star。...if-then业务逻辑提取为独立的.drl文件DMN引擎：支持OMGDecisionModelandNotation标准，业务人员可直接画决策表CEP（复杂事件处理）：支持时间窗口内的事件流分析，适合实时风控用一句大白话解释...洞见三：Drools在AI时代的新定位观点：LLM擅长理解模糊意图，Drools擅长精确确定性执行。两者结合是未来智能决策系统的黄金搭档——用AI生成规则草稿，经人工校验后推送到Drools执行。...这个架构已在部分金融风控场景落地。九、竞品全景对比"知己知彼，百战不殆。"你要找的drule在搜索引擎上没有独立的知名开源项目，大概率是误拼或小众项目。

    39421

    实时业务风控系统

    账号：垃圾注册、撞库、盗号等 交易：盗刷、恶意占用资源、篡改交易金额等 活动：薅羊毛 短信：短信轰炸 项目介绍 实时业务风控系统是分析风险事件，根据场景动态调整规则，实现自动精准预警风险的系统。...本项目只提供实时风控系统框架基础和代码模板。...对各种场景风险阈值和评分的设置，需要长期不断的调整，所以灵活的规则引擎是很重要的 支持对历史数据的回溯，能够发现以前的风险，或许能够找到一些特征供参考 项目标签 轻量级，可扩展，高性能的Java实时业务风控系统...基于Spring boot构建，配置文件能少则少 使用drools规则引擎管理风控规则，原则上可以动态配置规则 使用redis、mongodb做风控计算和事件储存，历史事件支持水平扩展 原理 统计学...的详细文档，请参考官方http://docs.jboss.org/drools/release/6.4.0.Final/drools-docs/html_single/index.html 部署 系统默认采用

    3.4K10

    微分享回放 | 携程是如何把大数据用于实时风控的

    目前携程利用自主研发的风控系统有效识别、防范这些风险。携程风控系统从零起步，经过五年的不断探索与创新，已经可以有效覆盖事前、事中、事后各个环节。...一、Aegis系统体系 ? 图1 主要分三大模块：风控引擎、数据服务、数据运算、辅助系统。 风控引擎：主要处理风控请求，有预处理、规则引擎和模型执行服务，风控引擎所需要的数据是由数据服务模块提供的。...由于携程的业务种类非常多，而且每种业务都有其特性，在进入风控系统（Aegis）后，为了便于整个风控系统对数据进行处理，风控前端有一个适配器模块，把各个业务的数据都按照风控内部标准化配置进行转换，以适合风控系统使用...我们最后选择了开源Drools，第一它是开源，第二它可以使用Java语言，入门方便，第三功能够用。...这样携程风控引擎 ，实现了 规则上线的高效携程风控实时引擎 通过使用 规则引擎Drools，使其具有非常高的灵活性、可配置性，并且由于是java语法的，规则人员自己就可以制定规则并迅速上线。

    2.2K80

    金融实时风控工具怎么选？这5款利器让你精准狙击风险！

    金融市场的波动往往在毫秒间决定盈亏，而传统风控系统因数据延迟、分析维度单一，常让企业陷入“事后补救”的被动局面。据行业统计，过去五年内，风险事件导致的平均利润损失高达17%。...一、金融实时风控的核心需求 金融风控需覆盖多维度数据整合、秒级响应、智能预警三大核心能力。...低至万元级 三、腾讯云流计算：为何成实时风控利器？...场景适配案例 某银行使用其构建交易反欺诈系统，通过Flink SQL实时聚合用户交易频率、地理位置等特征，将欺诈拦截从分钟级压缩至200毫秒内； 与Kafka、Redis等组件深度集成，支持维表关联...结语 实时风控已从“可选项”变为“生存刚需”。工具选型需摒弃“大而全”的堆砌思维，聚焦数据整合效率、计算延迟与团队适配性。腾讯云流计算以其全托管、低延迟的特性，尤其适合追求敏捷迭代的金融团队。

    49510

    资源利用率提高67%，腾讯实时风控平台云原生容器化之路

    导语 随着部门在业务安全领域的不断拓展，围绕着验证码、金融广告等服务场景，腾讯水滴作为支撑业务安全对抗的实时风控系统，上线的任务实时性要求越来越高，需要支撑的业务请求量也随之增加。...对于业务快速上线和资源快速扩缩容的需求，且公司自研上云项目往全面容器化上云方向推进，水滴风控平台开始进行自研上云的改造。...水滴后台架构 水滴平台主要是用于业务安全对抗的高可用、高性能、低延时的实时风控策略平台，提供一系列的基础组件给策略人员进行构建策略模型，能够帮忙策略人员快速地完成策略模型的构建和测试验证。...水滴系统架构如下图所示： 水滴实时风控平台系统主要由配置处理模块和数据处理模块两部分组成。 配置处理模块主要由前端 web 页面、cgi 、mc_srv 和 Zookeeper 等组成。...，我们将指标监控系统由 Monitor 监控系统改造为智研监控系统。

    1.8K20

    Go语言接入天远API信贷行为数据洞察：构建高性能实时风控引擎

    一、关于"信贷行为数据洞察API在秒级放款的现金贷业务、高频交易反欺诈、以及大型互金平台的微服务网关等场景中，系统的响应速度与吞吐量直接决定了用户体验与风控效率。...[信贷全周期行为特征]——包括多维度的查验频次与还款履约记录，是进行[实时风险决策]——如毫秒级自动审批与动态额度计算的核心数据支撑。...本文档专为Go(Golang)开发者编写，旨在展示如何利用Go语言的强类型系统与原生并发特性，高效对接此API。...调用API补充信贷行为数据，清洗后写入HBase或ClickHouse，用于构建实时风控大屏。...通过合理定义Struct并利用Go的并发优势，企业可以快速构建起能够支撑千万级日调用量的信贷行为数据洞察系统，将天远API的数据价值转化为实实在在的业务风控防线。

    27810

    规则引擎 VS 指标库，白话版解释来了

    因为本人并没有规则引擎相关的实操经验（就是知道有这么个东西而已，没有真的用过），内容主要来自于网上看到的东西，准确性方面还是多方核对过可以保障的，实操相关的内容说不了一点。...通常来说应用于风控、审批、自动化流程等领域，例如在金融风控中根据用户行为和信用评分进行风险评估等。 指标库则是一个用于存储和管理指标的系统，指标是用于评估和衡量特定对象或过程的量化工具。...因为两种方式各有优劣，实操的过程中，很有可能指标库和规则引擎是需要同时使用的。...数据可手动输入或从其他系统下载，支持与其他文档链接，可多层级定义指标，能图形化展示指标时间序列及阈值，用于辅助图书馆管理者进行决策支持。 OpenDigger 主要面向开源协作数字生态。...Drools 特点： 强大的开源规则引擎，基于 Rete 算法实现，支持复杂规则推理、决策表、规则流等。它提供了 Drools Workbench，这是一个图形化界面工具，方便用户管理和编辑规则。

    44000

    金融行业数据湖平台选型：实时风控与监管合规的双重奏

    摘要 在金融行业数字化转型中，数据湖平台成为平衡实时风控与监管合规的核心基础设施。...##正文 一、实时风控：从“T+1”到“毫秒级”的技术挑战 金融实时风控需覆盖交易监控、反欺诈、信用评估等场景，对数据湖平台的核心诉求包括： 低延迟处理：需在数百毫秒内完成PB级数据查询与模型推理...集成腾讯云智能分析Agent，实时调用风控模型，输出动态决策建议。...反洗钱等SaaS服务 - 兼容Apache Iceberg标准 典型客户案例： 某国有大行：通过DLC构建实时反欺诈系统，日均处理10亿笔交易，风险拦截准确率达99.9%； 东南亚某银行...##结语 金融行业数据湖选型需兼顾“实时风控”与“监管合规”双重目标。

    49310
    点击加载更多

    相关资讯

    热门标签

    更多标签

    活动推荐

      运营活动

      活动名称
      广告关闭

      腾讯云开发者

      扫码关注腾讯云开发者

      扫码关注腾讯云开发者

      领取腾讯云代金券

      热门产品

      热门推荐

      更多推荐

      Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有

      深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 粤公网安备44030502008569号

      腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号

      领券