首页
学习
活动
专区
工具
TVP
发布
精选内容/技术社群/优惠产品,尽在小程序
立即前往

钱大妈基于 Flink 的实时风实践

摘要:本文作者彭明德,介绍了钱大妈与阿里云 Flink 实时计算团队共建实时风规则引擎,精确识别羊毛党以防营销预算流失。...钱大妈与阿里云 Flink 实时计算团队共建实时风规则引擎,精确识别羊毛党以防营销预算流失。...图一:钱大妈实时风流程示意图 二、业务架构 钱大妈风业务架构如图二所示总共分为四个部分:事件接入、风险感知、风险应对、风险回溯。...图二:钱大妈实时风业务架构图 三、规则模型 风业务专员通过产品界面简单配置即可实时动态发布风规则,同时对在线 Flink 作业的规则进行新增、更新以及删除,其中风规则模型主要分为统计型规则和序列型规则...图六:社区Flink动态CEP规则表 五、回顾展望 基于 Flink 的实时风解决方案已接应用于钱大妈集团内部生产环境,在此解决方案里未引入新的技术组件和编程语言,最大化复用 Flink 资源实现实时风场景需求

1.8K20

携程是如何把大数据用于实时风的?

目前携程利用自主研发的风系统有效识别、防范这些风险。携程风系统从零起步,经过五年的不断探索与创新,已经可以有效覆盖事前、事中、事后各个环节。...主要分三大模块:风引擎、数据服务、数据运算、辅助系统。 风引擎:主要处理风请求,有预处理、规则引擎和模型执行服务,风引擎所需要的数据是由数据服务模块提供的。...由于携程的业务种类非常多,而且每种业务都有其特性,在进入风系统(Aegis)后,为了便于整个风系统对数据进行处理,风前端有一个适配器模块,把各个业务的数据都按照风内部标准化配置进行转换,以适合风系统使用...风系统要进行数据的合并。举个例子,当有一笔支付风校验,支付BU只抛过来支付信息(支付金额、支付方式、订单号等)。...由于每个风Event请求,都需要执行数百个规则,以及模型,这时,风引擎引入了规则执行路径优化方法。

2.2K80
您找到你想要的搜索结果了吗?
是的
没有找到

基于 Apache Flink 和规则引擎的实时风解决方案 ​

这要求风系统一定要有实时性。本文就介绍一种实时风解决方案。 1.总体架构 风是业务场景的产物,风系统直接服务于业务系统,与之相关的还有惩罚系统和分析系统,各系统关系与角色如下: ?...该系统有三条数据流向: 实时风数据流,由红线标识,同步调用,为风调用的核心链路; 准实时指标数据流,由蓝线标识,异步写入,为实时风部分准备指标数据; 准实时/离线分析数据流,由绿线标识,异步写入,...2.1 实时风时风是整个系统的核心,被业务系统同步调用,完成对应的风判断。 前面提到规则往往由人编写并且需要动态调整,所以我们会把风判断部分与规则管理部分拆开。...前边提到,做规则判断需要事实的相关指标,比如最近一小时登陆次数,最近一小时注册账号数等等,这些指标通常有一段时间跨度,是某种状态或聚合,很难在实时风过程中根据原始数据进行计算,因为风的规则引擎往往是无状态的...Flink 把汇总的指标结果写入 Redis 或 Hbase,供实时风系统查询。两者问题都不大,根据场景选择即可。

4.7K20

干货 | 携程基于大数据分析的实时风体系

性能和复杂度可以兼得 携程的风系统,和大部分第三方支付平台一样,也是以实时风系统为主: 支付环节一般留给风校验的时间不会超过1s,业务风点上更是希望风能在100ms内就能通过;对性能的追求,也是对极致用户体验的追求...在实时风场景里大量部署复杂模型,使模型也能和规则一样能直接拒绝交易;平均来看、执行一个模型以及相关的变量计算所需的资源可能与200条普通规则相当,对系统的架构和性能都是很高的挑战。...携程风架构变迁简史 ? 携程自建风系统开始于2011年左右,直到2015年正好赶上公司技术栈从.Net往Java平台转变,风系统也迎来了一次完全的重写。...每天风收集上来的数据超过50亿条,其中超过1亿左右的请求需要风实时校验风险并返回给业务系统当前操作是否可以继续。...支撑风系统的高可用、高性能,离不开强大的基础设施,下面我向大家展示一下携程风的几个核心服务和组件: ? 风引擎: ? 我们给他起了一个名字叫 Matrix,意思是像魔方一样灵活多变。

2.2K50

微分享回放 | 携程是如何把大数据用于实时风

目前携程利用自主研发的风系统有效识别、防范这些风险。携程风系统从零起步,经过五年的不断探索与创新,已经可以有效覆盖事前、事中、事后各个环节。...图1 主要分三大模块:风引擎、数据服务、数据运算、辅助系统。 风引擎:主要处理风请求,有预处理、规则引擎和模型执行服务,风引擎所需要的数据是由数据服务模块提供的。...由于携程的业务种类非常多,而且每种业务都有其特性,在进入风系统(Aegis)后,为了便于整个风系统对数据进行处理,风前端有一个适配器模块,把各个业务的数据都按照风内部标准化配置进行转换,以适合风系统使用...风系统要进行数据的合并。 举个例子,当有一笔支付风校验,支付BU只抛过来支付信息(支付金额、支付方式、订单号等)。...由于每个风Event请求,都需要执行数百个规则,以及模型,这时,风引擎引入了规则执行路径优化方法。

97380

资源利用率提高67%,腾讯实时风平台云原生容器化之路

导语 随着部门在业务安全领域的不断拓展,围绕着验证码、金融广告等服务场景,腾讯水滴作为支撑业务安全对抗的实时风系统,上线的任务实时性要求越来越高,需要支撑的业务请求量也随之增加。...对于业务快速上线和资源快速扩缩容的需求,且公司自研上云项目往全面容器化上云方向推进,水滴风平台开始进行自研上云的改造。...水滴后台架构 水滴平台主要是用于业务安全对抗的高可用、高性能、低延时的实时风策略平台,提供一系列的基础组件给策略人员进行构建策略模型,能够帮忙策略人员快速地完成策略模型的构建和测试验证。...水滴系统架构如下图所示: 水滴实时风平台系统主要由配置处理模块和数据处理模块两部分组成。 配置处理模块主要由前端 web 页面、cgi 、mc_srv 和 Zookeeper 等组成。

65020

资源利用率提高67%,腾讯实时风平台云原生容器化之路

陈建平,后台开发工程师,现就职于TEG安全平台部-业务安全中心,主要负责中心实时策略风平台开发。...导语 随着部门在业务安全领域的不断拓展,围绕着验证码、金融广告等服务场景,腾讯水滴作为支撑业务安全对抗的实时风系统,上线的任务实时性要求越来越高,需要支撑的业务请求量也随之增加。...对于业务快速上线和资源快速扩缩容的需求,且公司自研上云项目往全面容器化上云方向推进,水滴风平台开始进行自研上云的改造。...水滴后台架构 腾讯水滴平台主要是用于业务安全对抗的高可用、高性能、低延时的实时风策略平台,提供一系列的基础组件给策略人员进行构建策略模型,能够帮忙策略人员快速地完成策略模型的构建和测试验证。...水滴系统架构如下图所示: 水滴实时风平台系统主要由配置处理模块和数据处理模块两部分组成。 配置处理模块:主要由前端 web 页面、cgi 、mc_srv 和 Zookeeper 等组成。

1K61

TiDB 帮助万达网络科技集团实现高性能高质量的实时风平台

万达网络科技集团的技术团队,建设和维护着一套实时风平台。这套实时风平台,承担着各种关键交易的在线风数据的写入和查询服务。...实时风平台后端的数据库系统在高性能,可靠性,可扩展性上有很高的要求,并且需要满足如下核心功能和业务要求: 风相关业务数据实时入库 实时风规则计算 通过 BI 工具分析风历史数据 ETL 入库到...但这些方案,无论是高可用安全性,强一致性,还是对业务应用所需要的复杂事务/JOIN 操作以及横向扩展能力上,都无法满足实时风平台的业务要求。...在实时风平台的高并发高性能的对外服务过程中,在线灵活扩容的相关工作在 MySQL Proxy 中间件架构中无法高效和可靠的实施。...TiDB 针对分布式事务和强一致性的完善设计以及对各种 JOIN 模式的支持,使得实时风类和 BI 分析类的业务应用能够高效运行。

1.2K10

大数据等技术进步驱动互联网金融创新

技术进步推动实时风   随着互联网金融的发展,各类网银支付欺诈、电商钓鱼网站等风险因素也在增加,对风险控制(简称“风”)的要求越来越高。   ...储信资产管理(上海)有限公司副总裁舒赵平表示,风是P2P乃至互联网金融发展的核心,大数据、云计算等技术的发展,使得从技术入手提高风能力逐渐成为互联网金融发展的方向。...就如何找到用户体验与信息安全的平衡点,杭州邦盛金融信息技术有限公司总经理王新宇指出,通过实时风一定程度上可以解决这个问题。...从人类感知学来讲,实时风如果判断的时间大于200毫秒,这件事情是不可接受的,同时,实时风每秒又要面对上万笔的吞吐量,所以实时风平台的技术门槛特别高。...但有了实时风系统,企业可以更自如地做产品创新、限额的调整。

1.2K50

数据赋能,高效防:蚂蚁数据智能如何守护金融安全

在 7 月 21-22 日深圳 ArchSummit 全球架构师峰会上,来自蚂蚁集团的高级技术专家马希民分享了,基于信贷实时风,构建数据智能的高可用实时风决策系统实践。以下是演讲内容整理。...我们团队主要负责的是消费金融产品的实时风,例如支付宝收银台中花呗、花呗分期、信用卡分期等贷记产品显示时,表示这笔交易已经通过了我们的实时风系统,被视为无风险交易,我们实时的决策系统面临的主要问题有以下四方面...因此,实时风除了需要保障日常正常流量压力下的极速响应,还需要在面临一些特殊状态依然保持高可用,例如大促、直播的高峰流量,以及当风险规则因为数据等原因导致异常,进行了远超出预期的拦截,实时风架构需要对上述特殊状态进行快速的自适应响应...,来将实时风的响应时间和拦截率始终维持在一个合理的水位。...今天我主要分享了如何使实时风决策系统实现极速响应和高可用性。实时风决策系统的在性能方面的核心优化手段是降低 IO,我之前提到的多级决策、分层决策、预决策和规则精简,本质上都是为了减少 IO。

22730

快速开启专属的风系统

顶象Dinsight实时风引擎,支持私有化部署和SaaS服务。以SaaS接入为例: 第一步,注册/登陆 顶象防御云,开通实时风险决策服务。...第二步,访问 [实时风险决策] - [应用管理] 菜单,新增应用。用来标识用户入口,比如:App、Web等。 第三步,访问 [实时风险决策] - [事件管理] 菜单,新增事件。...第四步,访问 [实时风险决策] - [风策略] - [策略管理] 菜单,添加一条简单策略。 第五步,业务后台开始集成。...detail/const-id#doc-h2-1 集成验证码:https://www.dingxiang-inc.com/docs/detail/captcha#doc-h2-1 顶象Dinsight实时风引擎可以在营销活动...日常风策略的平均处理速度在100毫秒以内,聚合数据引擎,集成专家策略,支持对现有风流程的并行监测、替换升级,也可为新业务构建专用风平台;聚合反欺诈与风数据,支持多方数据的配置化接入与沉淀,能够进行图形化配置

1.7K20

不用全员核酸检测,数智技术给了上海市怎样的底气?

即便近日上海一家占地20多平方米的奶茶店成了中风险地区、被封起来,但仍有网友调侃称,“全国人民认为上海全市都是中风险地区,上海人民认为只有静安区才是中风险地区,静安区人民认为只有静安寺街道才是中风险地区...实际上也是如此,和奶茶店一墙之隔的理发店没有受到疫情影响,仍然还在正常营业,上海市的疫情防能力可见一斑。...徐汇区治理疫情防系统 而上海市通过依托大数据、人工智能等新技术实现数字化转型取得了扎实进步,在管理上,能够按照“五个100%”和“三个闭环管理”的思路,进一步地做做好“外防输入”的工作,即100%登临检疫...、100%健康申明卡的审核、100%体温检测、100%流行病学调查、100%采样和检测,同时,继续做入境人员的排查分流闭环、人员转运闭环以及属地社区管闭环。...上海部分楼宇实现机器人配送 应该看到,新冠肺炎疫情防工作是一场多地区、多部门参与的狙击战、整体战,大数据、人工智能等新技术,能够节约巨大人力资本,也能够让地区疫情防更为稳健。

42730

【案例】某城商银行——消费金融大数据智能风体系应用

数据猿导读 项目以“内外部大数据的应用”、“实时风技术的落地”、“智能化风体系 的搭建”和“云化风系统的探索”为基础,与客户一同形成一套整体化的新型大数据智能风解决体系,项目落地后取得了较好的效果...、首席数据官联盟协办的《「数据猿·超声波」之金融科技·商业价值探索高峰论坛》还将在上海隆重举办【论坛详情】【上届回顾(点击阅读原文查看)】 在论坛现场,也将颁发“技术创新奖”、“应用创新奖”、“最佳实践奖...本项目以“内外部大数据的应用”、“实时风技术的落地”、“智能化风体系的搭建”和“云化风系统的探索”为基础,与客户一同形成一套整体化的新型大数据智能风解决体系,项目落地后取得了较好的效果。...企业介绍: 1)数尊信息科技(上海)有限公司(以下简称数尊),是“华院数据”基于大数据核心能力、面向信用评估和风领域孵化的子公司,专注于个人与中小企业信用风险的评价服务。...数尊已成功完成两轮投资; 2)数尊总部设立在上海,在西安设有研发中心,在深圳、杭州等地设有办事处; 3)数尊擅长于多维权威数据源的整合和综合洞察,以“用数据推动风和信用服务”为使命,致力于帮助企业提升个人客户的信用服务和风险控制能力

2.4K41

引擎如何快速接入不同的数据源?

数据是风引擎的重要组成数据是风决策引擎中不可或缺的组成部分,包括历史数据、实时风险数据、行为数据等等,不仅提供关键的信息和指示,更有助于做出明智的决策。...顶象风引擎的数据接入风引擎接入数据的方式有多种。...以顶象Dinsight实时风引擎为例,首先在控制台接入,然后就可以在引擎配置。...接入控制台 (console) ,在application.properties中配置:接入引擎 (engine), 在application.properties中配置:顶象Dinsight实时风引擎可以在营销活动...日常风策略的平均处理速度在100毫秒以内,聚合数据引擎,集成专家策略,支持对现有风流程的并行监测、替换升级,也可为新业务构建专用风平台;聚合反欺诈与风数据,支持多方数据的配置化接入与沉淀,能够进行图形化配置

27310

法大大入驻上海科技金融博物馆 | 腾讯SaaS加速器·学员动态

据官方介绍,上海科技金融博物馆隶属于中国金融博物馆,中国金融博物馆于 2010 年 6 月 9 日在天津创建天津金融博物馆,此后,应地方政府邀请,陆续在苏州、北京、上海沈阳等全国多地建立了不同主题的博物馆分支...风与合规,从来都是金融业态的两大关键词。 值得注意的是,2019年政府工作报告中指出,要“防范化解金融风险”,同时要“壮大数字经济”“加快在各行各业领域推进‘互联网+’”。...金融行业如今面临着外部监管政策、内部风体系建设、整体行业风险方面的挑战。...法大大电子合同可以为金融行业提供saas api/sdk/本地部署多种解决方案、保证业务连续性,提供实名认证方案助力完善风体系建设,提供第三方存证方案帮助平台适应监管要求,以及最重要的是,法大大的电子合同...+“槌”保全系统整体解决方案,可以打造真正意义上的电子合同全生命周期管理闭环。

46810
领券