首页
学习
活动
专区
工具
TVP
发布

钱大妈基于 Flink 的实时风实践

摘要:本文作者彭明德,介绍了钱大妈与阿里云 Flink 实时计算团队共建实时风规则引擎,精确识别羊毛党以防营销预算流失。...钱大妈与阿里云 Flink 实时计算团队共建实时风规则引擎,精确识别羊毛党以防营销预算流失。...图一:钱大妈实时风流程示意图 二、业务架构 钱大妈风业务架构如图二所示总共分为四个部分:事件接入、风险感知、风险应对、风险回溯。...每 30 分钟时间窗口内,单个用户发起超过 20 笔未支付订单; 凌晨 1 至 3 ,单个用户支付订单数超 50 笔。 窗口类型。...图六:社区Flink动态CEP规则表 五、回顾展望 基于 Flink 的实时风解决方案已接应用于钱大妈集团内部生产环境,在此解决方案里未引入新的技术组件和编程语言,最大化复用 Flink 资源实现实时风场景需求

1.7K20

携程是如何把大数据用于实时风的?

原文链接:http://geek.csdn.net/news/detail/129231 携程作为国内OTA领头羊,每天都遭受着严酷的欺诈风险,个人银行卡被盗、账号被盗用、营销活动被恶意单、...主要分三大模块:风引擎、数据服务、数据运算、辅助系统。 风引擎:主要处理风请求,有预处理、规则引擎和模型执行服务,风引擎所需要的数据是由数据服务模块提供的。...由于携程的业务种类非常多,而且每种业务都有其特性,在进入风系统(Aegis)后,为了便于整个风系统对数据进行处理,风前端有一个适配器模块,把各个业务的数据都按照风内部标准化配置进行转换,以适合风系统使用...风系统要进行数据的合并。举个例子,当有一笔支付风校验,支付BU只抛过来支付信息(支付金额、支付方式、订单号等)。...由于每个风Event请求,都需要执行数百个规则,以及模型,这时,风引擎引入了规则执行路径优化方法。

2.2K80
您找到你想要的搜索结果了吗?
是的
没有找到

干货 | 携程基于大数据分析的实时风体系

性能和复杂度可以兼得 携程的风系统,和大部分第三方支付平台一样,也是以实时风系统为主: 支付环节一般留给风校验的时间不会超过1s,业务风上更是希望风能在100ms内就能通过;对性能的追求,也是对极致用户体验的追求...在实时风场景里大量部署复杂模型,使模型也能和规则一样能直接拒绝交易;平均来看、执行一个模型以及相关的变量计算所需的资源可能与200条普通规则相当,对系统的架构和性能都是很高的挑战。...概念:登录/注册、下单、支付、支付结果通知、出票等等这些我们称之为风接入。...有些接入是做实时校验用的、有些是收集数据用的,在携程整个大系统内一共有超过400个风接入,审核或监控携程交易的每一个环节,保障着每一笔交易的安全和用户的利益。...代理和模拟器识别: 欺诈分子的技术也在不断的演进,作案的隐匿性更强,代理服务器和模拟器是非常好的隐匿手段,在交易单、信用卡欺诈等很多场景都会见到。

2.2K50

基于 Apache Flink 和规则引擎的实时风解决方案 ​

这要求风系统一定要有实时性。本文就介绍一种实时风解决方案。 1.总体架构 风是业务场景的产物,风系统直接服务于业务系统,与之相关的还有惩罚系统和分析系统,各系统关系与角色如下: ?...业务系统,通常是 APP + 后台 或者 web,是互联网业务的载体,风险从业务系统触发; 风系统,为业务系统提供支持,根据业务系统传来的数据或埋信息来判断当前用户或事件有无风险; 惩罚系统,业务系统根据风系统的结果来调用...登陆,盗号登陆; 交易,盗客户余额; 活动,优惠活动薅羊毛; 风实现方案:事中风,目标为拦截异常事件; 2.风系统 风系统有规则和模型两种技术路线,规则的优点是简单直观、可解释性强、灵活...该系统有三条数据流向: 实时风数据流,由红线标识,同步调用,为风调用的核心链路; 准实时指标数据流,由蓝线标识,异步写入,为实时风部分准备指标数据; 准实时/离线分析数据流,由绿线标识,异步写入,...2.1 实时风时风是整个系统的核心,被业务系统同步调用,完成对应的风判断。 前面提到规则往往由人编写并且需要动态调整,所以我们会把风判断部分与规则管理部分拆开。

4.5K20

微分享回放 | 携程是如何把大数据用于实时风

*视频时长约1小时19分钟,请在WiFi环境下观看* 携程作为国内OTA领头羊,每天都遭受着严酷的欺诈风险,个人银行卡被盗、账号被盗用、营销活动被恶意单、恶意抢占资源等。...图1 主要分三大模块:风引擎、数据服务、数据运算、辅助系统。 风引擎:主要处理风请求,有预处理、规则引擎和模型执行服务,风引擎所需要的数据是由数据服务模块提供的。...由于携程的业务种类非常多,而且每种业务都有其特性,在进入风系统(Aegis)后,为了便于整个风系统对数据进行处理,风前端有一个适配器模块,把各个业务的数据都按照风内部标准化配置进行转换,以适合风系统使用...风系统要进行数据的合并。 举个例子,当有一笔支付风校验,支付BU只抛过来支付信息(支付金额、支付方式、订单号等)。...由于每个风Event请求,都需要执行数百个规则,以及模型,这时,风引擎引入了规则执行路径优化方法。

95680

资源利用率提高67%,腾讯实时风平台云原生容器化之路

导语 随着部门在业务安全领域的不断拓展,围绕着验证码、金融广告等服务场景,腾讯水滴作为支撑业务安全对抗的实时风系统,上线的任务实时性要求越来越高,需要支撑的业务请求量也随之增加。...对于业务快速上线和资源快速扩缩容的需求,且公司自研上云项目往全面容器化上云方向推进,水滴风平台开始进行自研上云的改造。...水滴后台架构 水滴平台主要是用于业务安全对抗的高可用、高性能、低延时的实时风策略平台,提供一系列的基础组件给策略人员进行构建策略模型,能够帮忙策略人员快速地完成策略模型的构建和测试验证。...水滴系统架构如下图所示: 水滴实时风平台系统主要由配置处理模块和数据处理模块两部分组成。 配置处理模块主要由前端 web 页面、cgi 、mc_srv 和 Zookeeper 等组成。...自研上云实践 在水滴平台改造上云过程中,先对 TKE(Tencent Kubernetes Engine) 平台进行了特性熟悉和测试验证,并梳理出影响服务上云的关键问题: Monitor 监控系统与

62520

资源利用率提高67%,腾讯实时风平台云原生容器化之路

陈建平,后台开发工程师,现就职于TEG安全平台部-业务安全中心,主要负责中心实时策略风平台开发。...导语 随着部门在业务安全领域的不断拓展,围绕着验证码、金融广告等服务场景,腾讯水滴作为支撑业务安全对抗的实时风系统,上线的任务实时性要求越来越高,需要支撑的业务请求量也随之增加。...水滴后台架构 腾讯水滴平台主要是用于业务安全对抗的高可用、高性能、低延时的实时风策略平台,提供一系列的基础组件给策略人员进行构建策略模型,能够帮忙策略人员快速地完成策略模型的构建和测试验证。...水滴系统架构如下图所示: 水滴实时风平台系统主要由配置处理模块和数据处理模块两部分组成。 配置处理模块:主要由前端 web 页面、cgi 、mc_srv 和 Zookeeper 等组成。...8月21日上午12,由作者选出回答最佳的2位读者,送出可爱蓝鹅一只。

1K61

2022年最受关注NFT数字藏品,8成访问者竟然是黑灰产?

每日下午13-16,黑灰产攻击最猛烈 监测发现,黑灰产在下午13至16攻击最猛烈。深夜0-6,依然高频访问,且每小时的访问量极为接近,符合自动化工具行为特征。 ...NFT风险分析及欺诈手段 顶象防御云业务安全情报中心分析发现,大多数NFT数字藏品平台营销反作弊的风意识薄弱,没有部署对应的安全防护,在黑灰产眼里近乎裸奔,导致黑灰产可以用低成本的机攻击方式,自动化程序批量注册...快速识别票风险:黑灰产票时,会采用IP代理池进行“机”,IP风险库能够有效识别恶意IP地址。...基于防御云,顶象端加固能够为App提供移动应用运行进行安全监测,对移动应用运行时终端设备、运行环境、操作行为进行实时监测,帮助App建立运行时风险的监测、预警、阻断和溯源安全体系。 3、顶象设备指纹。...4、顶象风引擎。顶象Dinsight实时风引擎可以在营销活动、支付下单、信贷申请等场景,对业务前端发送的请求进行风险判断,并于毫秒内返回决策结果,以提升业务系统对风险的防能力。

1K20

爆github小绿

首先github统计小绿的逻辑是这样的:戳 然后,某次因为某些原因删工程,发现,对应的小绿也不见了,并且streak时间也变了 于是猜想,删resp会减小绿,加resp呢?...这个工程有两个模块,green和heavy green 修改green.py中,main部分传入你需要的起始时间和结束时间, if __name__ == '__main__': daily_commit...datetime.date(2016, 1, 28)) 在green目录下, sudo python green.py git push origin master 就能通过修改系统时间实现过去的commit,从而遍过去的小绿...fork工程而不是自己的工程,要提PR) 因为修改系统时间使用了date命令,所以要用sudo提高权限执行,否则执行后都是今天的commit heavy 深色提交 在heavy.py中,main部分传入小绿方阵最左上角...commit的index来实现,当前etc中的love可以实现I ❤ U的效果 可以通过这个android工程方便的得到需要commit的index:grid 这些index的含义是,从github小绿方针左上角第一个位置

1.4K50

腾讯计费全面开放,为你而来!

云账户支持多种账户类型,如余额类,典型案例为王者荣耀的点券充值和消耗;订阅类,像腾讯视频VIP的包月开通和自动续费;后付费类,如广通和微信广告的赊销模式。...实时风,安全可靠 计费的核心关键名词是什么?一个字:“钱”,涉及到钱,黑产是一个无法绕开的问题  //总有坏人想要图谋朕的财产。...典型的案例比如羊毛党的恶意单,汇率党利用渠道汇率差来进行套现,第三方黑心卖家低价代充等,这些恶意行为不仅为商户带来了安全和权益的影响,也会威胁用户的财产和账户安全。...对于所有的恶意行为,腾讯计费建设了多维立体式【实时风平台】来实现对每笔交易的风处理,拥有500多个风策略模型,对恶意交易进行拦截,保证商户和用户的权益不受到损失,提高商户实收。...接入腾讯计费 此立即接入 更多行业定制 请填写您的联系方式,我们会有商务经理与您联系  此填写

8.1K111

ppt中用工具制作创意图表

今天跟大家分享在ppt中用工具制作创意图表! ▼ ppt插入的内置形状中,有几个比较特殊的形状(带),通过调整就可以随心所欲的做出自己想要的饼图和圆环图。...大家可以看到上面插入的饼图两个角上带有很小的两个红色矩形,那个就是我们今天要讲解的重点——。这两个可以通过鼠标拖动而改变饼图扇区的角度和范围。 ?...这个是Nordri里的工具菜单,选中图表,菜单会显示出当前的两个值。 ? Nordri的调剂菜单显示的点角度有点与平时我们的习惯不同。...0度代表3钟位置,-90度显示在12位置。 只要理解这个菜单的点角度值显示规则,我们就可以随意的自定义饼图扇区位置,做出代表各种数值的饼图扇区。...很简单的规则,1始终从12钟位置出发(-90),2则根据具体比例折算成360度计数的比例份额算出角度,最后减去90度。 这个方法同样适用于圆环图。 ? ?

2.5K90

为小姐姐疯狂打call,防水墙拒绝“千手观音”

在互联网如火如荼发展的背后,灰黑产大军暗流涌动,身影无处不在,哪里有活动哪里就存在量行为,轻者人肉,重者自动机批量。...接入防水墙防解决方案,实时风系统识别黑产使用代理服务器IP和大量黑手机号码取注册优惠券,量峰值11W/天,占比高达60%。...实时风:与黑产直接对抗的关键环节,对黑产请求进行实时识别和拦截。具体服务有前端的验证码和后台的防API风险查询接口。...事后追踪:根据事前态势感知和实时风险请求,建立离线审计模型,针对漏过和误伤部分采用自反馈调节机制优化实时策略引擎。...总的来说从情报、数据、策略、模型、实时风险识别、恶意打击提供完整的业务安全解决方案。 五、写在最后 犯我业务者,虽远必诛。

8.3K1291

快速开启专属的风系统

识别欺诈交易:通过对用户行为和数据的分析,风系统能够识别出异常交易,如单、虚假订单等欺诈行为,有效防止商家和平台被蒙骗。...顶象Dinsight实时风引擎,支持私有化部署和SaaS服务。以SaaS接入为例: 第一步,注册/登陆 顶象防御云,开通实时风险决策服务。...第二步,访问 [实时风险决策] - [应用管理] 菜单,新增应用。用来标识用户入口,比如:App、Web等。 第三步,访问 [实时风险决策] - [事件管理] 菜单,新增事件。...第四步,访问 [实时风险决策] - [风策略] - [策略管理] 菜单,添加一条简单策略。 第五步,业务后台开始集成。...detail/const-id#doc-h2-1 集成验证码:https://www.dingxiang-inc.com/docs/detail/captcha#doc-h2-1 顶象Dinsight实时风引擎可以在营销活动

1.7K20

TiDB 帮助万达网络科技集团实现高性能高质量的实时风平台

万达网络科技集团的技术团队,建设和维护着一套实时风平台。这套实时风平台,承担着各种关键交易的在线风数据的写入和查询服务。...实时风平台后端的数据库系统在高性能,可靠性,可扩展性上有很高的要求,并且需要满足如下核心功能和业务要求: 风相关业务数据实时入库 实时风规则计算 通过 BI 工具分析风历史数据 ETL 入库到...但这些方案,无论是高可用安全性,强一致性,还是对业务应用所需要的复杂事务/JOIN 操作以及横向扩展能力上,都无法满足实时风平台的业务要求。...在实时风平台的高并发高性能的对外服务过程中,在线灵活扩容的相关工作在 MySQL Proxy 中间件架构中无法高效和可靠的实施。...TiDB 针对分布式事务和强一致性的完善设计以及对各种 JOIN 模式的支持,使得实时风类和 BI 分析类的业务应用能够高效运行。

1.1K10

顶象为中国移动打造高效风系统

随后,i商城迅速引入中国移动的风系统。部署后,批量虚假注册、机器登录、薅羊毛等风险被有效发现并拦截,良好保障业务的健康运行。 顶象与中国移动联手打造的风系统 中国移动的风系统与顶象联合打造。...集成顶象智能设备指纹、顶象Dinsight实时风引擎以及三方反欺诈数据等技术。 顶象智能设备指纹支持安卓、iOS、H5、公众号、小程序,可有效侦测模拟器、机改机、ROOT越狱、劫持注入等风险。...顶象Dinsight实时风引擎可以在营销活动、支付下单、信贷申请等场景,对业务前端发送的请求进行风险判断,并于毫秒内返回决策结果,以提升业务系统对风险的防能力。...日常风策略的平均处理速度仅需20毫秒,聚合数据引擎,集成专家策略,支持对现有风流程的并行监测、替换升级,也可为新业务构建专用风平台;聚合反欺诈与风数据,支持多方数据的配置化接入与沉淀,能够进行图形化配置...、替换升级,也可为新业务构建专用风平台。

2K20
领券