首页
学习
活动
专区
工具
TVP
发布
精选内容/技术社群/优惠产品,尽在小程序
立即前往

钱大妈基于 Flink 的实时风控实践

除了数仓的分析场景以外,钱大妈面临着业务系统中的风控需求,例如每季度的营销费用中被不少的羊毛党薅走正常用户的利益,其中羊毛党一方面可能导致用户的口碑下降,另一方面也会影响原有的活动运营预算迅速攀升从而导致资损...图二:钱大妈实时风控业务架构图 三、规则模型 风控业务专员通过产品界面简单配置即可实时动态发布风控规则,同时对在线 Flink 作业的规则进行新增、更新以及删除,其中风控规则模型主要分为统计型规则和序列型规则...图六:社区Flink动态CEP规则表 五、回顾展望 基于 Flink 的实时风控解决方案已接应用于钱大妈集团内部生产环境,在此解决方案里未引入新的技术组件和编程语言,最大化复用 Flink 资源实现实时风控场景需求...后续钱大妈将和阿里云实时计算产品团队,继续共建完善基于 Flink 的实时风控风控解决方案,其中在 Flink CEP 的未来规划将围绕以下三个主要方向展开: Flink CEP 能力的进一步增强;...同时也希望更多有实时风控需求,或热爱风控场景建设的小伙伴能够在 Flink 社区风控钉钉专群进行沟通: [1] FLIP-200:https://cwiki.apache.org/confluence

2.3K20
  • 您找到你想要的搜索结果了吗?
    是的
    没有找到

    携程是如何把大数据用于实时风控的?

    2010加入携程,参与了携程结算平台、风控系统的开发,对系统架构、流式数据处理等有比较深入的研究。...目前携程利用自主研发的风控系统有效识别、防范这些风险。携程风控系统从零起步,经过五年的不断探索与创新,已经可以有效覆盖事前、事中、事后各个环节。...一、Aegis系统体系 ? 主要分三大模块:风控引擎、数据服务、数据运算、辅助系统。 风控引擎:主要处理风控请求,有预处理、规则引擎和模型执行服务,风控引擎所需要的数据是由数据服务模块提供的。...数据运算所需的数据来源主要是:风控Event数据(订单数据、支付数据),各个系统采集来的 UBT、设备指纹、日志数据等等。 除了这些,风控平台还有非常完善的监控预警系统,人工审核平台以及报表系统。...由于携程的业务种类非常多,而且每种业务都有其特性,在进入风控系统(Aegis)后,为了便于整个风控系统对数据进行处理,风控前端有一个适配器模块,把各个业务的数据都按照风控内部标准化配置进行转换,以适合风控系统使用

    2.4K80

    TiDB 在金融行业关键业务场景的实践(下篇)

    TiDB 主要涉足的支付领域包括商业银行的网联/银联支付业务的联机交易数据库,第三方支付公司的移动支业务核心支付系统。...通过 TiDB 提供的大规模吞吐,高性能大并发联机交易,多中心多活容灾,弹性扩展机制来支撑: 商业银行侧,来自网联/银联无卡的大并发支付交易指令和支付报文数据处理; 第三方支付侧,来自移动支付 App,...自 2018 年投产以来,三年的时间里 TiDB 稳定的支持了北京银行的网联支付和银联无卡支付的核心系统,采用了北京同城+西安两地三中心的多活容灾结构,顺利的渡过了两次双十一,比较好的支撑这个业务。...在金融业务场景方面,我们有包括北京银行线上业务风控模型管理平台、微众银行 CNC 反欺诈系统、天翼支付反洗钱平台、拉卡拉金融实时风控平台等一系列的场景落地。...同时在互联网及电商业务场景中,包括像东南亚知名电商 Shopee 的风控平台,小红书反欺诈系统及实时风控平台、拼多多风控平台等都有了一些落地。

    1.3K20

    开发银联支付之前要做的那些事儿

    银联支付 之前做过一次银联支付的配置工作,然而第二次配置,虽然有点印象,但最终还是翻查了半天资料和代码,才完成了配置。这里对银联支付所需做一个简单的整理说明,以便后期查阅,同时分享给大家。...至于如何申请账号,那是公司层面的操作,这里我不清楚,也不做相关的介绍了,我只清楚拿到账号之后的操作。....doc 银联在线技术接口资料.docx 流程操作完成会生成三个证书(名称自定义)和一个六位数的密钥: acp_prod_enc.cer acp_prod_sign_inst.pfx acp_prod_verify_sign.cer...) acpsdk.signCert.path=/cert/assets/acp_test_sign.pfx ##签名证书密码,测试环境固定000000,生产环境请修改为从cfca下载的正式证书的密码,...;测试证书所有商户共用开发包中的测试验证证书,生产环境所有商户共用开发包中的生产验签证书 #windows下 #acpsdk.validateCert.dir=D:/certs/ #linux下(注意:

    1.4K10

    到银联的调试过程,总结,记录

    一石激起千层浪,我们终端设备的升级改造迫在眉睫。而实现银联小额免密免签,扫码付与ODA,时间紧迫,责任重大。 7月24号到**银联调试小额免密与 银联扫码支付,原因是之前的调试很不顺利。...就是银联后台不支持长连接。每次交易完之后,连接不能保持,过一段时间后台会断开与终端的连接。 当面问银联的技术人员,他们解释到有这么多的终端,如果都保持长连接,后台的压力太大。所以后台才不支持长连接。...终端与银联后台通信,相当于又中转了一层,终端- >串口->GPRS模块->银联后台服务。 GPRS网络与银联后台之间连接网络与断开是很快,但是,终端是通过串口AT指令操纵的GPRS模块。...说了这么多,都跑题了, 这里记录下之前与**银联的调试过程。这么热的三伏天,往**银联了三四趟。其中的一天,同王总一起上午下午各跑一趟,从高新区到**新区。...后续分析 湖南银联的签到报文。 关于签到报文和秘钥解析,销售点终端POS应用规范中介绍: ? 接下来试试**银联的签到报文,同样的程序,只改通信地址。

    70110

    开发银联支付之前要做的那些事儿

    银联支付 之前做过一次银联支付的配置工作,然而第二次配置,虽然有点印象,但最终还是翻查了半天资料和代码,才完成了配置。这里对银联支付所需做一个简单的整理说明,以便后期查阅,同时分享给大家。...至于如何申请账号,那是公司层面的操作,这里我不清楚,也不做相关的介绍了,我只清楚拿到账号之后的操作。....doc 银联在线技术接口资料.docx 流程操作完成会生成三个证书(名称自定义)和一个六位数的密钥: acp_prod_enc.cer acp_prod_sign_inst.pfx acp_prod_verify_sign.cer...) acpsdk.signCert.path=/cert/assets/acp_test_sign.pfx ##签名证书密码,测试环境固定000000,生产环境请修改为从cfca下载的正式证书的密码,...;测试证书所有商户共用开发包中的测试验证证书,生产环境所有商户共用开发包中的生产验签证书 #windows下 #acpsdk.validateCert.dir=D:/certs/ #linux下(注意:

    1.7K30

    银联基于OpenStack的金融私有云建设实践

    图1:银联私有云因地制宜的建设路线 1. 核心技术理念 银联电子支付研究院通过研究国际通用的云计算模型提炼出银联建设云平台的三大核心技术理念。...图3:OpenStack组件评估结果 银联对OpenStack核心组件进行系统评估,根据测试评估结果,选取组件加入到云平台中。优先选取符合银联实际应用场景的OpenStack成熟组件。...业务层面,关键系统,如互联网支付、移动支付等业务已经全面使用云环境。 架构调整后,技术层面和能力层面都全面提升,自此银联金融私有云生产环境步入稳定阶段。 3....弹性网络—云网络 云网络服务构建了一个安全的云平台网络环境,通过云平台管理系统可以完全掌握银联金融私有云平台网络资源,包括选择自有IP 地址范围、划分网段等。...作者介绍: 祖立军,毕业于同济大学信号与信息处理专业,工学硕士,就职于中国银联电子支付研究、电子支付与电子商务国家工程实验室,中国银联技术委员会专家,长期从事金融信息工程领域研究工作,专注于金融端云一体化信系统建设

    3.2K111

    基于 Apache Flink 和规则引擎的实时风控解决方案 ​

    这要求风控系统一定要有实时性。本文就介绍一种实时风控解决方案。 1.总体架构 风控是业务场景的产物,风控系统直接服务于业务系统,与之相关的还有惩罚系统和分析系统,各系统关系与角色如下: ?...该系统有三条数据流向: 实时风控数据流,由红线标识,同步调用,为风控调用的核心链路; 准实时指标数据流,由蓝线标识,异步写入,为实时风控部分准备指标数据; 准实时/离线分析数据流,由绿线标识,异步写入,...2.1 实时风控 实时风控是整个系统的核心,被业务系统同步调用,完成对应的风控判断。 前面提到规则往往由人编写并且需要动态调整,所以我们会把风控判断部分与规则管理部分拆开。...前边提到,做规则判断需要事实的相关指标,比如最近一小时登陆次数,最近一小时注册账号数等等,这些指标通常有一段时间跨度,是某种状态或聚合,很难在实时风控过程中根据原始数据进行计算,因为风控的规则引擎往往是无状态的...Flink 把汇总的指标结果写入 Redis 或 Hbase,供实时风控系统查询。两者问题都不大,根据场景选择即可。

    5.8K20

    干货 | 携程基于大数据分析的实时风控体系

    性能和复杂度可以兼得 携程的风控系统,和大部分第三方支付平台一样,也是以实时风控系统为主: 支付环节一般留给风控校验的时间不会超过1s,业务风控点上更是希望风控能在100ms内就能通过;对性能的追求,也是对极致用户体验的追求...在实时风控场景里大量部署复杂模型,使模型也能和规则一样能直接拒绝交易;平均来看、执行一个模型以及相关的变量计算所需的资源可能与200条普通规则相当,对系统的架构和性能都是很高的挑战。...携程风控架构变迁简史 ? 携程自建风控系统开始于2011年左右,直到2015年正好赶上公司技术栈从.Net往Java平台转变,风控系统也迎来了一次完全的重写。...每天风控收集上来的数据超过50亿条,其中超过1亿左右的请求需要风控实时校验风险并返回给业务系统当前操作是否可以继续。...支撑风控系统的高可用、高性能,离不开强大的基础设施,下面我向大家展示一下携程风控的几个核心服务和组件: ? 风控引擎: ? 我们给他起了一个名字叫 Matrix,意思是像魔方一样灵活多变。

    2.6K50

    【案例】中国银联、光大银行基于区块链的可信电子凭证系统

    根据该现状和问题,对本项目提出如下功能需求: (1)在当前POS机签购单存证系统的基础上,使用区块链技术构建签购单存证数据库; (2)建立光大与银联之间跨区域的联盟链; (3)将电子签购单的哈希值存到联盟链中...8、应用技术/实施过程 8.1应用技术: 8.1.1系统功能架构 整个系统的架构如下图1所示,在封装好的Hyperchain平台外部,分别链接四个中国银联的节点和四个光大银行的Nginx节点(光大银行的每个...从系统整体架构上看,Hyperchain平台主要的设计主要分为接口服务以及系统管控层、系统核心层、物理资源的动态管理层三个部分。...接口服务以及系统管控层,该层面通过HTTP Server接口的方式为用户应用程序接口的开发提供底层API,通过提供相应管理接口的方式提供系统的节点管理、合约管理、区块监控以及节点配置等功能。...,为下一步业务做准备; 中国银联、光大银行基于区块链的可信电子凭证系统,在跨机构、跨区域、跨互联网、跨运营商的环境下,稳定投产上线运行,日交易量25万。

    2K60

    微分享回放 | 携程是如何把大数据用于实时风控的

    2010加入携程,参与了携程结算平台、风控系统的开发,对系统架构、流式数据处理等有比较深入的研究。...目前携程利用自主研发的风控系统有效识别、防范这些风险。携程风控系统从零起步,经过五年的不断探索与创新,已经可以有效覆盖事前、事中、事后各个环节。...一、Aegis系统体系 ? 图1 主要分三大模块:风控引擎、数据服务、数据运算、辅助系统。 风控引擎:主要处理风控请求,有预处理、规则引擎和模型执行服务,风控引擎所需要的数据是由数据服务模块提供的。...数据运算所需的数据来源主要是:风控Event数据(订单数据、支付数据),各个系统采集来的UBT、设备指纹、日志数据等等。 除了这些,风控平台还有非常完善的监控预警系统,人工审核平台以及 报表系统。...由于携程的业务种类非常多,而且每种业务都有其特性,在进入风控系统(Aegis)后,为了便于整个风控系统对数据进行处理,风控前端有一个适配器模块,把各个业务的数据都按照风控内部标准化配置进行转换,以适合风控系统使用

    1K80

    腾讯计费全面开放,为你而来!

    腾讯计费为商户提供专业的一站式计费解决方案。聚合国内外主流支付渠道,提供账户托管,安全风控、对账结算、营销活动、数据分析、立体监控等多维度服务,覆盖多类型,多场景,多终端。...线上线下,支付无忧 腾讯计费聚合了国内外主流支付渠道,如微信支付、QQ钱包、银联支付、苹果支付、PayPal、信用卡支付等;支持外发到华为、UC、OPPO、vivo、小米、百度等30多个应用商店;覆盖东南亚...向C端用户提供流畅的支付体验的同时,为商户带来了高转化的付费效果,从支付层面确保商户营收。...实时风控,安全可靠 计费的核心关键名词是什么?一个字:“钱”,涉及到钱,黑产是一个无法绕开的问题  //总有坏人想要图谋朕的财产。...对于所有的恶意行为,腾讯计费建设了多维立体式【实时风控平台】来实现对每笔交易的风控处理,拥有500多个风控策略模型,对恶意交易进行拦截,保证商户和用户的权益不受到损失,提高商户实收。

    8.3K111

    风控“规则集”的性能测试(Python实操)

    本篇更新策略篇的规则集性能测算及Python实操,内容选自《100天风控专家》第57期。 首先介绍规则集的完整分析流程,包括五个步骤。 一、规则集分析流程 1....相互覆盖率 相互覆盖率是对规则集内部规则覆盖情况的统计,如果一个规则的命中可以完全被其他规则覆盖,那么该规则在规则集中就没有存在的价值了。...或者从是否有独立贡献(命中)的角度来考虑,也就是单一命中率,即规则独立命中的比例有多少。完全被覆盖与单一命中率为0是等价的。...三、案例分析Python代码实操 通过配置决策树参数以及入模变量数量,自动化生成规则100多条,通过规则评估指标如命中率、精准率、召回率、lift进行初步筛选,组成为规则集进行初步的性能测试。...相同颜色的规则是互相覆盖的,对于相互覆盖的规则如何进行取舍。 -end- 以上内容节选自《100天风控专家》从0到1的信贷风控训练营

    40110

    关于银联支付交易状态码的一些分析

    关于银联支付 目前B2C购物支付场景下,支付宝和微信的在线支付已经成为我们经常遇到的支付方式。...另外,银联支付也是我们日常的一种支付方式,本文所指的银联支付即指中国银联网关支付产品,主要适用于持卡人在商户网站B2C购物支付场景,持卡人通过点击银联在线支付图标(可选择支付类型),并在银联在线支付网关完成支付信息录入...在分析前,我们简单讲述一下要 POST 的一些参数和数据,参见下表: 序号 字段名 类型 说明 1 MerId 数字串 必填,为银联统一分配给商户的商户号,15位长度 2 OrdId 数字串 必填,商户提交给银联的交易订单号...交易状态码的一些分析 当引导用户到银联支付页面,并完成支付操作后(包括未成功的交易),通过 PageRetUrl 和 BgRetUrl 回调地址我们会获取银联的交易状态码,状态码为4位数字,交易状态码为非...小结 更多的详情请参考如下链接(中国银联开放平台): https://open.unionpay.com/tjweb/index 在实际与银联客服的沟通中,我们尽量使用官方提供的联系邮件进行沟通,这样效率可以高一些

    18510

    【干货】银联智策:大数据驱动的个性化财富管理

    创建银联智策大数据处理与分析系统,规划与开发银联智策金融云计算与服务平台“智策云”。...银联智策是中国银联专门从事大数据分析和战略咨询业务的子公司,拥有海内外经验丰富的专家团队和自主开发的大数据处理与分析平台,在充分挖掘全面、真实、实时交易数据的基础上,形成了许多高价值的数据产品和解决方案...银联智策拥有权威的消费大数据,在经济分析与投资研究领域也多有建树,携手清华大学数据科学研究院经济金融数据研究中心研发了“清数银联智策指数”,将于明天(5/8)在清华大学发布。...前面提到过,银联智策是基于银联的交易数据,从事金融大数据分析和战略咨询服务的一家公司,在客户画像方面也做了大量工作。...最后我想简单介绍一下银联智策在解决这些问题上的一个得天独厚的优势,就是银联智策“财富管理大数据”。 ? 具体包括银联的交易数据、行业统计数据、商户财务数据,还有互联网以及其他行业数据的多维度拓展。

    1.2K60

    大数据等技术进步驱动互联网金融创新

    技术进步推动实时风控   随着互联网金融的发展,各类网银支付欺诈、电商钓鱼网站等风险因素也在增加,对风险控制(简称“风控”)的要求越来越高。   ...舒赵平指出,目前互联网金融的风控大部分是线上线下结合,纯线上的风控如信用审核,在目前的大环境中不太现实,主要原因是网络客户身份信息真实性无法核实,以后随着信用审核技术(如大数据、云计算)成熟、央行征信系统接入...就如何找到用户体验与信息安全的平衡点,杭州邦盛金融信息技术有限公司总经理王新宇指出,通过实时风控一定程度上可以解决这个问题。...从人类感知学来讲,实时风控如果判断的时间大于200毫秒,这件事情是不可接受的,同时,实时风控每秒又要面对上万笔的吞吐量,所以实时风控平台的技术门槛特别高。...但有了实时风控系统,企业可以更自如地做产品创新、限额的调整。

    1.3K50

    【案例】宜信——可信金融风控SMART-ITFIN大数据支撑应用

    银联智惠信息服务(上海)有限公司(简称“银联智惠”)立足对创新金融的深度理解和深厚经验,针对行业痛点和市场需求,基于海量自有资源并整合外部资源,依托大数据和云计算技术开发了SMART—­­­­ITFIN...银联智惠组建专门的金融风控大数据业务开发精英团队,掌握数据采集及挖掘的核心技术,拥有数据分析、数据建模、平台建设、数据测试、数据运营、业务管理等专业能力。...针对典型客户宜信的具体需求银联智惠专项开发了2个专属模型,并培训对口风控、运营人员2名,全力助力宜信在互联网金融、创新金融行业向纵深方向发展。...企业介绍: 银联智惠信息服务(上海)有限公司(简称“银联智惠”)成立于2012年,是中国银联旗下专业从事大数据创新业务的子公司。...重大客户部专注银联体系业务,面向中国银联各分公司、专业化子公司提供大数据创新服务。 银联智惠为大数据行业交流和产业发展积极贡献,获得广泛认可并赢得良好声誉。

    1.6K50
    领券