首页
学习
活动
专区
圈层
工具
发布

钱大妈基于 Flink 的实时风控实践

摘要:本文作者彭明德,介绍了钱大妈与阿里云 Flink 实时计算团队共建实时风控规则引擎,精确识别羊毛党以防营销预算流失。...钱大妈与阿里云 Flink 实时计算团队共建实时风控规则引擎,精确识别羊毛党以防营销预算流失。...图一:钱大妈实时风控流程示意图 二、业务架构 钱大妈风控业务架构如图二所示总共分为四个部分:事件接入、风险感知、风险应对、风险回溯。...策略命中后进行统计和风险分类分级,预警离线回溯并对风控事件闭件。...图六:社区Flink动态CEP规则表 五、回顾展望 基于 Flink 的实时风控解决方案已接应用于钱大妈集团内部生产环境,在此解决方案里未引入新的技术组件和编程语言,最大化复用 Flink 资源实现实时风控场景需求

3.3K20

携程是如何把大数据用于实时风控的?

主要分三大模块:风控引擎、数据服务、数据运算、辅助系统。 风控引擎:主要处理风控请求,有预处理、规则引擎和模型执行服务,风控引擎所需要的数据是由数据服务模块提供的。...数据运算所需的数据来源主要是:风控Event数据(订单数据、支付数据),各个系统采集来的 UBT、设备指纹、日志数据等等。 除了这些,风控平台还有非常完善的监控预警系统,人工审核平台以及报表系统。...由于携程的业务种类非常多,而且每种业务都有其特性,在进入风控系统(Aegis)后,为了便于整个风控系统对数据进行处理,风控前端有一个适配器模块,把各个业务的数据都按照风控内部标准化配置进行转换,以适合风控系统使用...风控系统要进行数据的合并。举个例子,当有一笔支付风控校验,支付BU只抛过来支付信息(支付金额、支付方式、订单号等)。...由于每个风控Event请求,都需要执行数百个规则,以及模型,这时,风控引擎引入了规则执行路径优化方法。

3.1K80
  • 您找到你想要的搜索结果了吗?
    是的
    没有找到

    干货 | 携程基于大数据分析的实时风控体系

    性能和复杂度可以兼得 携程的风控系统,和大部分第三方支付平台一样,也是以实时风控系统为主: 支付环节一般留给风控校验的时间不会超过1s,业务风控点上更是希望风控能在100ms内就能通过;对性能的追求,也是对极致用户体验的追求...在实时风控场景里大量部署复杂模型,使模型也能和规则一样能直接拒绝交易;平均来看、执行一个模型以及相关的变量计算所需的资源可能与200条普通规则相当,对系统的架构和性能都是很高的挑战。...携程风控架构变迁简史 ? 携程自建风控系统开始于2011年左右,直到2015年正好赶上公司技术栈从.Net往Java平台转变,风控系统也迎来了一次完全的重写。...每天风控收集上来的数据超过50亿条,其中超过1亿左右的请求需要风控实时校验风险并返回给业务系统当前操作是否可以继续。...支撑风控系统的高可用、高性能,离不开强大的基础设施,下面我向大家展示一下携程风控的几个核心服务和组件: ? 风控引擎: ? 我们给他起了一个名字叫 Matrix,意思是像魔方一样灵活多变。

    3.5K50

    基于 Apache Flink 和规则引擎的实时风控解决方案 ​

    对一个互联网产品来说,典型的风控场景包括:注册风控、登陆风控、交易风控、活动风控等,而风控的最佳效果是防患于未然,所以事前事中和事后三种实现方案中,又以事前预警和事中控制最好。...这要求风控系统一定要有实时性。本文就介绍一种实时风控解决方案。 1.总体架构 风控是业务场景的产物,风控系统直接服务于业务系统,与之相关的还有惩罚系统和分析系统,各系统关系与角色如下: ?...该系统有三条数据流向: 实时风控数据流,由红线标识,同步调用,为风控调用的核心链路; 准实时指标数据流,由蓝线标识,异步写入,为实时风控部分准备指标数据; 准实时/离线分析数据流,由绿线标识,异步写入,...2.1 实时风控 实时风控是整个系统的核心,被业务系统同步调用,完成对应的风控判断。 前面提到规则往往由人编写并且需要动态调整,所以我们会把风控判断部分与规则管理部分拆开。...Flink 把汇总的指标结果写入 Redis 或 Hbase,供实时风控系统查询。两者问题都不大,根据场景选择即可。

    6.8K20

    Sentinel Slot扩展实践-流控熔断预警实现

    那我们就简单分析一下这个问题,首先肯定是业务层面的疏漏导致 task 发出不合理的大量请求,其二我们的流控只是简单粗暴的流控,没有更好的预警措施,导致影响到用户之后我们才知晓(即流控或熔断已经触发)。...其次就是预警,就是我们能否在快要触发流控之前知晓,然后报警到相关负责人提前介入处理,防止触发流控熔断。当然也不能完全避免,但是总比流控或熔断触发之后在报警要好得多。...github.com/alibaba/Sentinel/tree/master/sentinel-demo/sentinel-demo-slot-chain-spi[3] 具体实现 下面介绍下 Sentinel 预警功能的相关实现...,使用的前提是你的系统已经在用 Sentinel 的流控或熔断等功能。...org.springframework.util.CollectionUtils; import java.util.List; import java.util.Map; import java.util.stream.Collectors; /** * 流控预警

    1.7K30

    微分享回放 | 携程是如何把大数据用于实时风控的

    图1 主要分三大模块:风控引擎、数据服务、数据运算、辅助系统。 风控引擎:主要处理风控请求,有预处理、规则引擎和模型执行服务,风控引擎所需要的数据是由数据服务模块提供的。...数据运算所需的数据来源主要是:风控Event数据(订单数据、支付数据),各个系统采集来的UBT、设备指纹、日志数据等等。 除了这些,风控平台还有非常完善的监控预警系统,人工审核平台以及 报表系统。...由于携程的业务种类非常多,而且每种业务都有其特性,在进入风控系统(Aegis)后,为了便于整个风控系统对数据进行处理,风控前端有一个适配器模块,把各个业务的数据都按照风控内部标准化配置进行转换,以适合风控系统使用...风控系统要进行数据的合并。 举个例子,当有一笔支付风控校验,支付BU只抛过来支付信息(支付金额、支付方式、订单号等)。...由于每个风控Event请求,都需要执行数百个规则,以及模型,这时,风控引擎引入了规则执行路径优化方法。

    1.6K80

    资源利用率提高67%,腾讯实时风控平台云原生容器化之路

    导语 随着部门在业务安全领域的不断拓展,围绕着验证码、金融广告等服务场景,腾讯水滴作为支撑业务安全对抗的实时风控系统,上线的任务实时性要求越来越高,需要支撑的业务请求量也随之增加。...对于业务快速上线和资源快速扩缩容的需求,且公司自研上云项目往全面容器化上云方向推进,水滴风控平台开始进行自研上云的改造。...水滴后台架构 水滴平台主要是用于业务安全对抗的高可用、高性能、低延时的实时风控策略平台,提供一系列的基础组件给策略人员进行构建策略模型,能够帮忙策略人员快速地完成策略模型的构建和测试验证。...水滴系统架构如下图所示: 水滴实时风控平台系统主要由配置处理模块和数据处理模块两部分组成。 配置处理模块主要由前端 web 页面、cgi 、mc_srv 和 Zookeeper 等组成。

    1.3K20

    智能预警·防患未然:AI 预警系统构建全方位风险防控新体系

    风险防控进入预测预警新时代在全球化与数字化进程加速的背景下,传统基于阈值规则和人工监控的预警模式已难以应对日益复杂多变的风险环境。...AI 预警系统通过融合多源数据感知、深度学习算法与时空分析技术,构建了从风险感知、智能分析到精准预警的完整链条,实现了从事后应对到事前预防、从单点报警到系统防控的根本性转变。...,系统能同时监测交易数据、网络行为、舆情信息,当检测到异常资金流动与负面舆情并发时,自动追溯关联实体,评估风险等级,并预测未来 24 小时风险传导路径。...金融风险实时监测在银行业部署智能风控预警系统,实时监测信贷风险、市场风险、操作风险。通过图神经网络识别复杂关联交易与潜在欺诈网络,风险识别准确率提升至 96%,平均预警时间提前 72 小时。...持续进化路径未来技术发展聚焦自主预警智能体与元宇宙预警平台:通过强化学习训练具备自主决策能力的预警智能体;构建元宇宙环境下的数字风险预警平台,实现虚实空间风险协同防控;发展跨域风险传导预测能力,最终建成具备自学习

    18310

    资源利用率提高67%,腾讯实时风控平台云原生容器化之路

    陈建平,后台开发工程师,现就职于TEG安全平台部-业务安全中心,主要负责中心实时策略风控平台开发。...导语 随着部门在业务安全领域的不断拓展,围绕着验证码、金融广告等服务场景,腾讯水滴作为支撑业务安全对抗的实时风控系统,上线的任务实时性要求越来越高,需要支撑的业务请求量也随之增加。...对于业务快速上线和资源快速扩缩容的需求,且公司自研上云项目往全面容器化上云方向推进,水滴风控平台开始进行自研上云的改造。...水滴后台架构 腾讯水滴平台主要是用于业务安全对抗的高可用、高性能、低延时的实时风控策略平台,提供一系列的基础组件给策略人员进行构建策略模型,能够帮忙策略人员快速地完成策略模型的构建和测试验证。...水滴系统架构如下图所示: 水滴实时风控平台系统主要由配置处理模块和数据处理模块两部分组成。 配置处理模块:主要由前端 web 页面、cgi 、mc_srv 和 Zookeeper 等组成。

    1.6K61

    AI风险评估系统:技术架构、行业落地与风控效能革新

    在数字化浪潮中,传统风险评估依赖人工经验、覆盖维度有限,难以应对复杂多变的业务场景(如金融可疑交易、制造业设备故障预警)。...数据源类型适配(如MySQL、HDFS、API接口);实时与离线融合:采用CDC(变更数据捕获)技术实现实时数据同步(如交易数据延迟<100ms),离线数据(如历史风险案例、行业政策)按日/周批量更新,兼顾实时风控与长期趋势分析...),设置三级预警阈值;成效:设备故障漏检率降至0.3%,故障响应时间从4小时缩短至30分钟,生产线停机损失减少60%。...、制造车间传感器),实现本地化实时风控(如门店异常交易即时阻断),降低云端依赖;数字孪生可视化:构建业务场景数字孪生体(如供应链、生产线),模拟风险扩散路径(如“某供应商违约对库存的影响”),辅助制定预防策略...需要补充系统技术架构图或某行业AI风控模型的参数调优指南吗?可进一步强化技术落地的实操性,帮助读者快速适配具体业务场景。

    18210

    风控引擎如何快速接入不同的数据源?

    实时监控:风控引擎可以通过分析客户信息、历史交易数据和公共数据库等信息,对客户的信用状况进行评估和风险判断,并通过实时监控各种风险,对交易异常、信用评估、欺诈检测等,通过即时通知进行提醒和预警。...数据是风控引擎的重要组成数据是风控决策引擎中不可或缺的组成部分,包括历史数据、实时风险数据、行为数据等等,不仅提供关键的信息和指示,更有助于做出明智的决策。...通过不断地收集、分析和利用数据,风控引擎可以更好地理解市场变化和顾客需求的变化,分析和识别潜在的风险因素,实现更准确的预测和预警,进而及时调整风险控制策略。业务数据。...以顶象Dinsight实时风控引擎为例,首先在控制台接入,然后就可以在引擎配置。...接入控制台 (console) ,在application.properties中配置:接入引擎 (engine), 在application.properties中配置:顶象Dinsight实时风控引擎可以在营销活动

    78110

    游戏打金工作室治理:腾讯云ACE如何守护公平竞技生态?

    本文结合腾讯云推出的游戏反作弊(ACE)解决方案,从技术防控、生态治理、行业协作三个维度,解析如何构建公平游戏环境,并附产品功能对比表供企业选型参考。...传统封号机制存在滞后性,亟需智能化风控体系。...手游/端游/页游反作弊 深度加固 VMP虚拟化保护 so文件加壳 内存防篡改 核心逻辑代码保护 内容风控...NLP语义识别 图像鉴黄鉴暴 智能审核拦截 社区/聊天系统净化 经济监测 大数据分析异常交易 离线行为画像 实时风险预警...价格体系 按DAU阶梯计费 年费制 按设备量收费 四、行业实践指南 事前防御:接入SDK集成反外挂引擎,建立白名单准入机制 事中拦截:通过实时风控引擎阻断异常操作

    22810

    卢明樊:爱奇艺的业务安全风控“秘籍”

    风控作为一个集成了风险意识教育,风险评估,加固,高性能引擎,威胁情报,前端能力(加固,数据采集,验证),拦截阻断能力,离线和流式大数据系统,数仓,算法模型,跨业务联防联控,持续预警监控,应急响应,策略优化...风控所用的数据源包括但不限于威胁情报、实时风控日志、业务数据、设备数据、行为数据、验证数据、数据中心其他风险数据、客诉数据等等。...3.优化引擎服务 风控系统对接支持业务后,应当充分考虑如何优化风控系统的服务架构,确保实时风控服务的低延迟低熔断,既要做到保证业务服务不会因为风控服务增加延迟,从而导致业务服务质量下降或者过多资源占用,...(5) 持续监控与快速响应: 要能提供风险预警能力,及时报警,并且预警要能够为策略优化提供依据,快速优化策略。 最后,对于不同企业而言,还需要根据实际企业规模、业务风险场景进行判断与选择。...,同时注意做好风险预警,并和第三方一起做好策略评价,真正将风险运营纳入到业务运营中来,提高黑产攻击成本和门槛。

    2.2K30

    TiDB 帮助万达网络科技集团实现高性能高质量的实时风控平台

    万达网络科技集团的技术团队,建设和维护着一套实时风控平台。这套实时风控平台,承担着各种关键交易的在线风控数据的写入和查询服务。...实时风控平台后端的数据库系统在高性能,可靠性,可扩展性上有很高的要求,并且需要满足如下核心功能和业务要求: 风控相关业务数据实时入库 实时风控规则计算 通过 BI 工具分析风控历史数据 ETL 入库到...但这些方案,无论是高可用安全性,强一致性,还是对业务应用所需要的复杂事务/JOIN 操作以及横向扩展能力上,都无法满足实时风控平台的业务要求。...在实时风控平台的高并发高性能的对外服务过程中,在线灵活扩容的相关工作在 MySQL Proxy 中间件架构中无法高效和可靠的实施。...TiDB 针对分布式事务和强一致性的完善设计以及对各种 JOIN 模式的支持,使得实时风控类和 BI 分析类的业务应用能够高效运行。

    1.8K10
    领券