首页
学习
活动
专区
工具
TVP
发布
精选内容/技术社群/优惠产品,尽在小程序
立即前往

钱大妈基于 Flink 的实时风实践

摘要:本文作者彭明德,介绍了钱大妈与阿里云 Flink 实时计算团队共建实时风规则引擎,精确识别羊毛党以防营销预算流失。...钱大妈与阿里云 Flink 实时计算团队共建实时风规则引擎,精确识别羊毛党以防营销预算流失。...图一:钱大妈实时风流程示意图 二、业务架构 钱大妈风业务架构如图二所示总共分为四个部分:事件接入、风险感知、风险应对、风险回溯。...图二:钱大妈实时风业务架构图 三、规则模型 风业务专员通过产品界面简单配置即可实时动态发布风规则,同时对在线 Flink 作业的规则进行新增、更新以及删除,其中风规则模型主要分为统计型规则和序列型规则...图六:社区Flink动态CEP规则表 五、回顾展望 基于 Flink 的实时风解决方案已接应用于钱大妈集团内部生产环境,在此解决方案里未引入新的技术组件和编程语言,最大化复用 Flink 资源实现实时风场景需求

1.8K20
您找到你想要的搜索结果了吗?
是的
没有找到

携程是如何把大数据用于实时风的?

目前携程利用自主研发的风系统有效识别、防范这些风险。携程风系统从零起步,经过五年的不断探索与创新,已经可以有效覆盖事前、事中、事后各个环节。...主要分三大模块:风引擎、数据服务、数据运算、辅助系统。 风引擎:主要处理风请求,有预处理、规则引擎和模型执行服务,风引擎所需要的数据是由数据服务模块提供的。...由于携程的业务种类非常多,而且每种业务都有其特性,在进入风系统(Aegis)后,为了便于整个风系统对数据进行处理,风前端有一个适配器模块,把各个业务的数据都按照风内部标准化配置进行转换,以适合风系统使用...风系统要进行数据的合并。举个例子,当有一笔支付风校验,支付BU只抛过来支付信息(支付金额、支付方式、订单号等)。...由于每个风Event请求,都需要执行数百个规则,以及模型,这时,风引擎引入了规则执行路径优化方法。

2.2K80

基于 Apache Flink 和规则引擎的实时风解决方案 ​

这要求风系统一定要有实时性。本文就介绍一种实时风解决方案。 1.总体架构 风是业务场景的产物,风系统直接服务于业务系统,与之相关的还有惩罚系统和分析系统,各系统关系与角色如下: ?...该系统有三条数据流向: 实时风数据流,由红线标识,同步调用,为风调用的核心链路; 准实时指标数据流,由蓝线标识,异步写入,为实时风部分准备指标数据; 准实时/离线分析数据流,由绿线标识,异步写入,...2.1 实时风时风是整个系统的核心,被业务系统同步调用,完成对应的风判断。 前面提到规则往往由人编写并且需要动态调整,所以我们会把风判断部分与规则管理部分拆开。...前边提到,做规则判断需要事实的相关指标,比如最近一小时登陆次数,最近一小时注册账号数等等,这些指标通常有一段时间跨度,是某种状态或聚合,很难在实时风过程中根据原始数据进行计算,因为风的规则引擎往往是无状态的...Flink 把汇总的指标结果写入 Redis 或 Hbase,供实时风系统查询。两者问题都不大,根据场景选择即可。

4.6K20

干货 | 携程基于大数据分析的实时风体系

性能和复杂度可以兼得 携程的风系统,和大部分第三方支付平台一样,也是以实时风系统为主: 支付环节一般留给风校验的时间不会超过1s,业务风点上更是希望风能在100ms内就能通过;对性能的追求,也是对极致用户体验的追求...在实时风场景里大量部署复杂模型,使模型也能和规则一样能直接拒绝交易;平均来看、执行一个模型以及相关的变量计算所需的资源可能与200条普通规则相当,对系统的架构和性能都是很高的挑战。...携程风架构变迁简史 ? 携程自建风系统开始于2011年左右,直到2015年正好赶上公司技术栈从.Net往Java平台转变,风系统也迎来了一次完全的重写。...支撑风系统的高可用、高性能,离不开强大的基础设施,下面我向大家展示一下携程风的几个核心服务和组件: ? 风引擎: ? 我们给他起了一个名字叫 Matrix,意思是像魔方一样灵活多变。...Counter服务每天支撑了超过100亿次查询,单次流量查询的平均耗时仅1ms左右,保证了变量衍生的可靠性。

2.2K50

微分享回放 | 携程是如何把大数据用于实时风

目前携程利用自主研发的风系统有效识别、防范这些风险。携程风系统从零起步,经过五年的不断探索与创新,已经可以有效覆盖事前、事中、事后各个环节。...图1 主要分三大模块:风引擎、数据服务、数据运算、辅助系统。 风引擎:主要处理风请求,有预处理、规则引擎和模型执行服务,风引擎所需要的数据是由数据服务模块提供的。...由于携程的业务种类非常多,而且每种业务都有其特性,在进入风系统(Aegis)后,为了便于整个风系统对数据进行处理,风前端有一个适配器模块,把各个业务的数据都按照风内部标准化配置进行转换,以适合风系统使用...风系统要进行数据的合并。 举个例子,当有一笔支付风校验,支付BU只抛过来支付信息(支付金额、支付方式、订单号等)。...由于每个风Event请求,都需要执行数百个规则,以及模型,这时,风引擎引入了规则执行路径优化方法。

97180

资源利用率提高67%,腾讯实时风平台云原生容器化之路

导语 随着部门在业务安全领域的不断拓展,围绕着验证码、金融广告等服务场景,腾讯水滴作为支撑业务安全对抗的实时风系统,上线的任务实时性要求越来越高,需要支撑的业务请求量也随之增加。...对于业务快速上线和资源快速扩缩容的需求,且公司自研上云项目往全面容器化上云方向推进,水滴风平台开始进行自研上云的改造。...水滴后台架构 水滴平台主要是用于业务安全对抗的高可用、高性能、低延时的实时风策略平台,提供一系列的基础组件给策略人员进行构建策略模型,能够帮忙策略人员快速地完成策略模型的构建和测试验证。...水滴系统架构如下图所示: 水滴实时风平台系统主要由配置处理模块和数据处理模块两部分组成。 配置处理模块主要由前端 web 页面、cgi 、mc_srv 和 Zookeeper 等组成。...路由分发优化 路由分发问题 1.CL5 首次查询某一个 SID 的节点时,容易遇到以下-9998的问题 2.CL5 SDK 无法进行 NAT 网络模式下的就近访问,在异地服务情况下数据请求容易出现超时情况

64620

资源利用率提高67%,腾讯实时风平台云原生容器化之路

陈建平,后台开发工程师,现就职于TEG安全平台部-业务安全中心,主要负责中心实时策略风平台开发。...导语 随着部门在业务安全领域的不断拓展,围绕着验证码、金融广告等服务场景,腾讯水滴作为支撑业务安全对抗的实时风系统,上线的任务实时性要求越来越高,需要支撑的业务请求量也随之增加。...水滴后台架构 腾讯水滴平台主要是用于业务安全对抗的高可用、高性能、低延时的实时风策略平台,提供一系列的基础组件给策略人员进行构建策略模型,能够帮忙策略人员快速地完成策略模型的构建和测试验证。...水滴系统架构如下图所示: 水滴实时风平台系统主要由配置处理模块和数据处理模块两部分组成。 配置处理模块:主要由前端 web 页面、cgi 、mc_srv 和 Zookeeper 等组成。...路由分发优化 路由分发问题 CL5 首次查询某一个 SID 的节点时,容易遇到以下-9998的问题。

1K61

TiDB 帮助万达网络科技集团实现高性能高质量的实时风平台

万达网络科技集团的技术团队,建设和维护着一套实时风平台。这套实时风平台,承担着各种关键交易的在线风数据的写入和查询服务。...实时风平台后端的数据库系统在高性能,可靠性,可扩展性上有很高的要求,并且需要满足如下核心功能和业务要求: 风相关业务数据实时入库 实时风规则计算 通过 BI 工具分析风历史数据 ETL 入库到...基于 MySQL Proxy 中间件的方案,缺少对分库分表后的跨库跨表的分布式事务支持以及对复杂JOIN 的良好支持,因此也无法满足业务上风规则实时计算和复杂查询的需求以及对业务团队的 BI 需求的支持...在实时风平台的高并发高性能的对外服务过程中,在线灵活扩容的相关工作在 MySQL Proxy 中间件架构中无法高效和可靠的实施。...TiDB 针对分布式事务和强一致性的完善设计以及对各种 JOIN 模式的支持,使得实时风类和 BI 分析类的业务应用能够高效运行。

1.1K10

Hadoop上时类SQL查询系统对比

以前只用过Hive与impala两个类SQL查询系统,最近又将Hortonworks开源的Stinger与Apache的Drill做了些调研。累死累活搞了一天的资料,头都大了。...由于调查时间比较短(一天的时间都头晕眼花了,再长点估计我就要过劳死了),所写之处难免会有差错,欢迎大家指正 总体来说虽然impala、stinger、drill三个系统都是类SQL实时查询系统,但是它们的侧重点完全不同...impala主要是为hdfs与hbase数据提供实时SQL查询。它是根据google的dremel论文实现的一套分布式系统,自用户提交的SQL开始都是基于自身的分析器与执行器。...它的数据接口都是插件化,理论上支持各种查询语言,SQL自然也不例外,不过目前这个系统还是Apache的一个孵化项目,很多功能尚未完成与稳定。但是可以预见,这个系统如果完成是很有影响力的。...://cwiki.apache.org/confluence/display/DRILL/High-level+Architecture) Stinger Hortonworks开源的一个实时类SQL查询系统

54820

数据赋能,高效防:蚂蚁数据智能如何守护金融安全

在 7 月 21-22 日深圳 ArchSummit 全球架构师峰会上,来自蚂蚁集团的高级技术专家马希民分享了,基于信贷实时风,构建数据智能的高可用实时风决策系统实践。以下是演讲内容整理。...我们团队主要负责的是消费金融产品的实时风,例如支付宝收银台中花呗、花呗分期、信用卡分期等贷记产品显示时,表示这笔交易已经通过了我们的实时风系统,被视为无风险交易,我们实时的决策系统面临的主要问题有以下四方面...因此,实时风除了需要保障日常正常流量压力下的极速响应,还需要在面临一些特殊状态依然保持高可用,例如大促、直播的高峰流量,以及当风险规则因为数据等原因导致异常,进行了远超出预期的拦截,实时风架构需要对上述特殊状态进行快速的自适应响应...,来将实时风的响应时间和拦截率始终维持在一个合理的水位。...今天我主要分享了如何使实时风决策系统实现极速响应和高可用性。实时风决策系统的在性能方面的核心优化手段是降低 IO,我之前提到的多级决策、分层决策、预决策和规则精简,本质上都是为了减少 IO。

22630

TiDB 在金融行业关键业务场景的实践(下篇)

TiDB 在实时风业务中的实践 我们还有一大类关键的金融应用场景是实时风业务。跟传统的风不一样,随着互联网化的业务场景增多,银行和泛金融机构对于实时风的要求是非常高的。...TiDB 目前在风业务中的实时风数据汇聚、存储、管理、加工、计算场景方面已经有多个落地实践。...“T+0” 级别,如高达秒级的风数据计算查询。...在金融业务场景方面,我们有包括北京银行线上业务风模型管理平台、微众银行 CNC 反欺诈系统、天翼支付反洗钱平台、拉卡拉金融实时风平台等一系列的场景落地。...同时在互联网及电商业务场景中,包括像东南亚知名电商 Shopee 的风平台,小红书反欺诈系统及实时风平台、拼多多风平台等都有了一些落地。

1.3K20

一份安平大奖,窥探平安智慧城市的底层逻辑

01 被定格的“珠海模式” 想要理解世界智慧城市大奖青睐珠海的原因,还要回到十个月前的语境里。 彼时新冠疫情的防已经持续了一年多的时间,不少城市已经将影响降低到了最小化,但潜在的挑战远没有结束。...深处大湾区腹地的珠海有着相同的担忧,但珠海没有重复“亡羊补牢”式的防思维,选择在风险应急管理上下功夫,试图构建一套数字化的监测预警体系,将不确定风险对城市的冲击降低到最小。...首先是打通医院、海关、学校、疾控中心等渠道的数据,构建了跨部门的防大数据体系;然后将平安深耕多年的数据治理引擎、防知识引擎和应用算法引擎,沉淀为一体化的智能防引擎;并针对疫情防中的挑战打造了智能监测预警...其实早在半年多前的时候,“珠海市公共卫生应急管理平台”的核心价值就已经被看到。 国内最早被疫情冲击的湖北,提出要全力以赴推进疾体系改革和公共卫生体系建设,打造健康中国行动的“湖北样板”。...曾经在珠海被验证的智能监测预警、智能预测调度、智能防救治等应用,再次被湖北所认可,并提出了不少新的诉求。

26430

​网易游戏实时 HTAP 计费风平台建设

本文整理自网易互娱资深工程师, Flink Contributor, CDC Contributor 林佳,在 FFA 实时风专场的分享。...本篇内容主要分为五个部分:实时风业务会话会话关联的 Flink 实现HTAP 风平台建设提升风结果数据能效发展历程与展望未来图片众所周知,网易互娱的核心业务之一是线上互动娱乐应用服务,比如大家耳熟能详的梦幻西游...为了解决以上的问题,我们以 Flink 为计算引擎构建了一套实时风平台,并为他起名为 Luna,下面我将为大家进行详细的介绍。...目前可以达到微观查询是毫秒级,多维度的风聚合结果在年级别都可以做到秒级查询。图片我们的平台支持,用户从不同的数据源中选出,需要参与这一次关联分析的数据和关注抽取的字段进行配置。...未来我们希望,可以实时风平台可以支持更多的功能。比如我们希望支持用 Flink-SQL 即席查询结果;用户反馈驱动的风模型修正;结合 Flink-ML 挖掘更深层次数据价值。

1K30

卢明樊:爱奇艺的业务安全风“秘籍”

在过去的一年,拼多多受到羊毛党大规模攻击,航空公司网站遭遇大量虚假订票查询,生鲜平台“呆萝卜”频频暴雷……现实而惨重的代价,验证了业务安全正逐步成为企业持续发展的生命线。...统一实时风险决策接口服务 业务接入后,业务的后台服务即可调用统一实时风险决策接口服务,该服务依托于风险中台的六大核心引擎,分别为:规则引擎、模型引擎、查询引擎、工作流和决策引擎、场景引擎、仿真和灰度引擎...风所用的数据源包括但不限于威胁情报、实时风日志、业务数据、设备数据、行为数据、验证数据、数据中心其他风险数据、客诉数据等等。...3.优化引擎服务 风系统对接支持业务后,应当充分考虑如何优化风系统的服务架构,确保实时风服务的低延迟低熔断,既要做到保证业务服务不会因为风服务增加延迟,从而导致业务服务质量下降或者过多资源占用,...也需要避免风服务因为超时熔断导致策略被迫失效而让黑产得手;同时也要持续优化缓存、流式、离线等数据链路,保证数据分析、指标和特征产出、实时查询的稳定性和可靠性,能及时发现异常并且随着数据规模扩大进行快速扩展

1.6K30

腾讯与珠海市政府签订战略合作协议 携手打造“一部手机游珠澳”

10月21日, 2019澳珠企业家峰会于珠海隆重举行。会上,腾讯公司与珠海市人民政府签署合作协议。...腾讯公司与珠海市人民政府签署合作协议 珠海市作为大湾区创新高地、港珠澳大桥落脚点,是连接港澳地区的重点城市。...珠海市市长姚奕生表示,非常期待腾讯公司未来将与珠海市在产业互联网领域深度融合,在珠海布局腾讯(珠海)智慧产业总部,共同推进珠澳地区的产业互联网业务合作。...同时,珠海、澳门等地高校将引入腾讯产业人才培训体系、训平台、技术沙龙,共同打造腾讯人才学院与人工智能训基地为珠海市新兴产业发展持续输送、集聚人才。...统筹布局腾讯工业互联网、金融科技、新文创、新农业、大数据等产业基地在珠海市全面落地,形成新兴产业生态群,加速珠海产业新旧动能转换,为珠海市经济发展注入新动能。

1.2K10
领券