学习
实践
活动
专区
工具
TVP
写文章

干货 | 携程基于大数据分析的实时风体系

携程反欺诈体系经过超过10年的发展和积累,在大数据实时并行计算和实时多维关联分析方面已经非常成熟,是整个体系稳定高效运行的基础。 性能和复杂度可以兼得 携程的风系统,和大部分第三方支付平台一样,也是以实时风系统为主: 支付环节一般留给风校验的时间不会超过1s,业务风点上更是希望风能在100ms内就能通过;对性能的追求,也是对极致用户体验的追求 在实时风场景里大量部署复杂模型,使模型也能和规则一样能直接拒绝交易;平均来看、执行一个模型以及相关的变量计算所需的资源可能与200条普通规则相当,对系统的架构和性能都是很高的挑战。 携程风架构变迁简史 ? 携程自建风系统开始于2011年左右,直到2015年正好赶上公司技术栈从.Net往Java平台转变,风系统也迎来了一次完全的重写。 支撑风系统的高可用、高性能,离不开强大的基础设施,下面我向大家展示一下携程风的几个核心服务和组件: ? 风引擎: ? 我们给他起了一个名字叫 Matrix,意思是像魔方一样灵活多变。

1.7K50
  • 广告
    关闭

    618夏日盛惠

    2核2G云服务器首年95元,GPU云服务器低至9.93元/天,还有更多云产品低至0.1折…

  • 您找到你想要的搜索结果了吗?
    是的
    没有找到

    钱大妈基于 Flink 的实时风实践

    摘要:本文作者彭明德,介绍了钱大妈与阿里云 Flink 实时计算团队共建实时风规则引擎,精确识别羊毛党以防营销预算流失。 钱大妈与阿里云 Flink 实时计算团队共建实时风规则引擎,精确识别羊毛党以防营销预算流失。 图一:钱大妈实时风流程示意图 二、业务架构 钱大妈风业务架构如图二所示总共分为四个部分:事件接入、风险感知、风险应对、风险回溯。 图二:钱大妈实时风业务架构图 三、规则模型 风业务专员通过产品界面简单配置即可实时动态发布风规则,同时对在线 Flink 作业的规则进行新增、更新以及删除,其中风规则模型主要分为统计型规则和序列型规则 图六:社区Flink动态CEP规则表 五、回顾展望 基于 Flink 的实时风解决方案已接应用于钱大妈集团内部生产环境,在此解决方案里未引入新的技术组件和编程语言,最大化复用 Flink 资源实现实时风场景需求

    67420

    携程是如何把大数据用于实时风的?

    目前携程利用自主研发的风系统有效识别、防范这些风险。携程风系统从零起步,经过五年的不断探索与创新,已经可以有效覆盖事前、事中、事后各个环节。 一、Aegis系统体系 ? 主要分三大模块:风引擎、数据服务、数据运算、辅助系统。 风引擎:主要处理风请求,有预处理、规则引擎和模型执行服务,风引擎所需要的数据是由数据服务模块提供的。 由于携程的业务种类非常多,而且每种业务都有其特性,在进入风系统(Aegis)后,为了便于整个风系统对数据进行处理,风前端有一个适配器模块,把各个业务的数据都按照风内部标准化配置进行转换,以适合风系统使用 风系统要进行数据的合并。举个例子,当有一笔支付风校验,支付BU只抛过来支付信息(支付金额、支付方式、订单号等)。 由于每个风Event请求,都需要执行数百个规则,以及模型,这时,风引擎引入了规则执行路径优化方法。

    1.7K80

    数据体系-简介

    早期传统金融的风主要利用了信用属性强大的金融数据,一般采用20个维度左右的数据,利用评分来识别客户的还款能力和还款意愿。 结合中国互联网发展,以及目前的征信监管要求,对可用数据及可用风类数据做一个全面的梳理。 数据安全性:严格遵守数据管理流程,杜绝黑客、白客入侵,建立完善的数据安全管理体系。 使用目的:目的限制原则。合法合规,不能用于法律规定禁止行业。 2.风数据来源 2.1 数据应用逻辑 常见风流程中,客户准入时提供的资信材料有限,业务机构风数据体量不足,仅仅根据内部风险数据进行风险评估会非常片面,无法全面的把某位客户的风险情况,所以通常需要依赖于第三方供应商提供数据作风支撑 2.3.2.3 订单信息 名单编号;借款金额;服务费;放金额;放款状态;放款失败原因等。

    2.1K64

    资损防体系介绍

    一、资损盲区 随着有赞支付体量的增大,资产部门承担的资金管理,风险把的责任也越大。我们一方面要小步快跑,快速支撑业务,又要稳住底盘,守好底线。支付业务底线就是守护用户的每一分钱,不能有资金损失。 在我们搭建这套体系前,有赞支付资金类的线上监控是个盲区,缺乏自我发现的能力。业务成功了,但内部对用户的资金操作可能是错误的,导致资损。 基于解决以上问题的目的,我们设计了实时防资损体系。 基于我们资金异常发现能力建设完成后,我们开始逐步将整个体系完善,补充了发现异常后资金熔断止损能力。 通过建立后台触发熔断操作入口,并在业务关键节点进行埋点,人工录入熔断配置或资损防规则检测出异常自动生效熔断配置,异常应急生效熔断。日常支付链路则不会过熔断判断,以免系统稳定性对主链路造成影响。

    1.7K40

    基于 Apache Flink 和规则引擎的实时风解决方案 ​

    这要求风系统一定要有实时性。本文就介绍一种实时风解决方案。 1.总体架构 风是业务场景的产物,风系统直接服务于业务系统,与之相关的还有惩罚系统和分析系统,各系统关系与角色如下: ? 该系统有三条数据流向: 实时风数据流,由红线标识,同步调用,为风调用的核心链路; 准实时指标数据流,由蓝线标识,异步写入,为实时风部分准备指标数据; 准实时/离线分析数据流,由绿线标识,异步写入, 2.1 实时风时风是整个系统的核心,被业务系统同步调用,完成对应的风判断。 前面提到规则往往由人编写并且需要动态调整,所以我们会把风判断部分与规则管理部分拆开。 前边提到,做规则判断需要事实的相关指标,比如最近一小时登陆次数,最近一小时注册账号数等等,这些指标通常有一段时间跨度,是某种状态或聚合,很难在实时风过程中根据原始数据进行计算,因为风的规则引擎往往是无状态的 Flink 把汇总的指标结果写入 Redis 或 Hbase,供实时风系统查询。两者问题都不大,根据场景选择即可。

    3.2K20

    微分享回放 | 携程是如何把大数据用于实时风

    目前携程利用自主研发的风系统有效识别、防范这些风险。携程风系统从零起步,经过五年的不断探索与创新,已经可以有效覆盖事前、事中、事后各个环节。 一、Aegis系统体系 ? 图1 主要分三大模块:风引擎、数据服务、数据运算、辅助系统。 风引擎:主要处理风请求,有预处理、规则引擎和模型执行服务,风引擎所需要的数据是由数据服务模块提供的。 由于携程的业务种类非常多,而且每种业务都有其特性,在进入风系统(Aegis)后,为了便于整个风系统对数据进行处理,风前端有一个适配器模块,把各个业务的数据都按照风内部标准化配置进行转换,以适合风系统使用 风系统要进行数据的合并。 举个例子,当有一笔支付风校验,支付BU只抛过来支付信息(支付金额、支付方式、订单号等)。 由于每个风Event请求,都需要执行数百个规则,以及模型,这时,风引擎引入了规则执行路径优化方法。

    63880

    资源利用率提高67%,腾讯实时风平台云原生容器化之路

    导语 随着部门在业务安全领域的不断拓展,围绕着验证码、金融广告等服务场景,腾讯水滴作为支撑业务安全对抗的实时风系统,上线的任务实时性要求越来越高,需要支撑的业务请求量也随之增加。 对于业务快速上线和资源快速扩缩容的需求,且公司自研上云项目往全面容器化上云方向推进,水滴风平台开始进行自研上云的改造。 水滴后台架构 水滴平台主要是用于业务安全对抗的高可用、高性能、低延时的实时风策略平台,提供一系列的基础组件给策略人员进行构建策略模型,能够帮忙策略人员快速地完成策略模型的构建和测试验证。 水滴系统架构如下图所示: 水滴实时风平台系统主要由配置处理模块和数据处理模块两部分组成。 配置处理模块主要由前端 web 页面、cgi 、mc_srv 和 Zookeeper 等组成。

    23920

    闭环管体系与数据指标管理

    所以,具有自我改善体系对企业来说非常重要,没有这个体系,再完美的产品、再丰富的资源网络都会在发展中过时。 随着市场环境变化加快,企业自我完善的能力成为企业发展的主要动力源泉,如果没有自我改善体系,则企业很快就会落伍。 以上4个环节就构成了现代生产管理中所要求的PDCA循环,业务流程管理的核心也是对这4个关键环节的把。 1.3 闭环业务管流程下的数据指标管理 业务管的实施需要用数据做支撑。 数据化管理让企业的业务管回归到商业的本质,回归客户价值,在为客户创造价值的过程中获得成长。任何商业活动背离了客户价值都将是暂时的繁荣。 如果人力资源行政体系的同级别岗位的平均工资是3500元,而研发、销售和生产管理的同等级别岗位的平均工资是5000元,那么人力资源行政体系管理肯定是滞后的,行政支持肯定也是不足的。

    56640

    核对体系-资损防(核对篇)

    同时,我们发现由于业务场景变得复杂,开发人员和测试人员也疲惫地奔波在各种场景的测试中,捉襟见肘,所以需要一个可以通过表中数据反推迭代的代码逻辑、和相关配置是否正确,在这种背景下,我们建立了核对体系,资损防系统应运而生 ,我们也可以叫它实时核对系统,今天我们介绍核对体系中资损防的第一部分:事前和事中处理。 核对体系: 资损防系统:也可叫实时核对系统 离线核对:内部核对、机构核对和实收核对等 差错系统:渠道差错、业务差错、实时核对差错等 二、前世 基于前面说到的背景,资损防平台在18年开始建起,在不断探索中 我们基于两年的探索,充分了解了资损防开发者、业务方或使用方的痛点,通过各种业务场景的抽象,得出核对模型,推出最新一版资损防平台,就是这样,我们有了“今生”。 “今生”要解决什么问题? 五.总结 核对体系依然在不断的持续完善中,无论是技术、业务和性能上,这其中充满很大挑战,我们在探索的路上持续进步前行,为有赞的业务保驾护航,做商家资金管理的坚强后盾,这篇文章只是提供个思路,不同公司有不同的业务场景和体量

    2K31

    资源利用率提高67%,腾讯实时风平台云原生容器化之路

    陈建平,后台开发工程师,现就职于TEG安全平台部-业务安全中心,主要负责中心实时策略风平台开发。 导语 随着部门在业务安全领域的不断拓展,围绕着验证码、金融广告等服务场景,腾讯水滴作为支撑业务安全对抗的实时风系统,上线的任务实时性要求越来越高,需要支撑的业务请求量也随之增加。 对于业务快速上线和资源快速扩缩容的需求,且公司自研上云项目往全面容器化上云方向推进,水滴风平台开始进行自研上云的改造。 水滴后台架构 腾讯水滴平台主要是用于业务安全对抗的高可用、高性能、低延时的实时风策略平台,提供一系列的基础组件给策略人员进行构建策略模型,能够帮忙策略人员快速地完成策略模型的构建和测试验证。 水滴系统架构如下图所示: 水滴实时风平台系统主要由配置处理模块和数据处理模块两部分组成。 配置处理模块:主要由前端 web 页面、cgi 、mc_srv 和 Zookeeper 等组成。

    57661

    大数据等技术进步驱动互联网金融创新

    技术进步推动实时风   随着互联网金融的发展,各类网银支付欺诈、电商钓鱼网站等风险因素也在增加,对风险控制(简称“风”)的要求越来越高。    真正的风体系做的事情不光是保证安全,其实是在安全和体验方面做更好的权衡。    就如何找到用户体验与信息安全的平衡点,杭州邦盛金融信息技术有限公司总经理王新宇指出,通过实时风一定程度上可以解决这个问题。 从人类感知学来讲,实时风如果判断的时间大于200毫秒,这件事情是不可接受的,同时,实时风每秒又要面对上万笔的吞吐量,所以实时风平台的技术门槛特别高。 但有了实时风系统,企业可以更自如地做产品创新、限额的调整。

    61250

    快速开启专属的风系统

    为了防范各种业务风险,保护平台和商家的利益,以及提高用户体验,电商网站和App需要建设专属的风体系。 顶象Dinsight实时风引擎,支持私有化部署和SaaS服务。以SaaS接入为例: 第一步,注册/登陆 顶象防御云,开通实时风险决策服务。 第二步,访问 [实时风险决策] - [应用管理] 菜单,新增应用。用来标识用户入口,比如:App、Web等。 第三步,访问 [实时风险决策] - [事件管理] 菜单,新增事件。 第四步,访问 [实时风险决策] - [风策略] - [策略管理] 菜单,添加一条简单策略。 第五步,业务后台开始集成。 ,并快速应用于复杂策略与模型;能够基于成熟指标、策略、模型的经验储备,以及深度学习技术,实现风自我性能监控与自迭代的机制;集成专家策略,基于系统+数据接入+指标库+策略体系+专家实施的实战;支持对现有风流程的并行监测

    16220

    从SDLC到DevOps下的广义应用安全管体系

    DevOps下的应用安全管体系 在以上的模式下,互联网的业务系统经过严格的SDLC后再进行发布,安全问题得到了保障。 所以当安全把的效率及覆盖面上有了更高要求时,要根本解决这个困境,首要的是改变环境,通过安全基建去创造优化安全开发的环境,重新设计构建适用的应用安全管体系。 总结 到此为止,我们从SDLC的思维模式逐步转变为全生命周期的广义应用安全管体系。 建设这个体系后,带给我们几个提升: 1、 提升了安全工作的覆盖面及安全运营效率,从针对重要应用的安全运营工作转变为对全部应用的体系化安全管,无论是外部还是内部应用皆在安全运营范围内。 4、 体系化提升,通过检查阶段的结果,反溯研发过程,给出各部门排名,从管理手段上提升研发同事的安全能力,安全更加可控。 5、 不再仅限于发布前的应用安全管,而是贯穿了应用全生命周期的安全管体系

    70120

    【案例】大型持牌消费金融公司——智能风体系构建

    一方面由于客群下沉,可获得的用户信息愈发受限,数据质量参差不齐,传统风经验无法直接应用,急需利用先进技术来提升风能力; 另一方面互联网金融往往小额量大,基于人工的风成本过高,用自动化的数据智能风体系来提升整个流程的效率也是必然的发展趋势 因此,如何在线上信用贷场景搭建一整套从数据到算法到平台的数据架构体系,并在风反欺诈和授信业务中得到具体的落地应用是本次案例的最终目标。 事实上,由于数据的不同,这相当于重构一套与传统风体系并行的数据架构体系。 在这过程中,如何将海量稀疏、超高维、低饱和的大数据与风险挂钩?如何挖掘非结构化数据价值时穷尽风险? 实施过程/解决方案 上述三个方面的挑战贯穿风的各条业务线,此次案例的解决方案着眼于风核心的反欺诈和授信两个阶段来阐述如何解决这几个问题,并构建一整套完整的申请贷前风体系。 这远远超出传统风基于评分卡体系的建模能力范围。

    1.3K81

    TiDB 帮助万达网络科技集团实现高性能高质量的实时风平台

    万达网络科技集团的技术团队,建设和维护着一套实时风平台。这套实时风平台,承担着各种关键交易的在线风数据的写入和查询服务。 实时风平台后端的数据库系统在高性能,可靠性,可扩展性上有很高的要求,并且需要满足如下核心功能和业务要求: 风相关业务数据实时入库 实时风规则计算 通过 BI 工具分析风历史数据 ETL 入库到 但这些方案,无论是高可用安全性,强一致性,还是对业务应用所需要的复杂事务/JOIN 操作以及横向扩展能力上,都无法满足实时风平台的业务要求。 在实时风平台的高并发高性能的对外服务过程中,在线灵活扩容的相关工作在 MySQL Proxy 中间件架构中无法高效和可靠的实施。 TiDB 针对分布式事务和强一致性的完善设计以及对各种 JOIN 模式的支持,使得实时风类和 BI 分析类的业务应用能够高效运行。

    62210

    卢明樊:爱奇艺的业务安全风“秘籍”

    而在风体系落地前,三大心得送给大家: 风离不开业务 首先,风不能脱离业务而存在,其次,风要保障的是业务可持续性稳定发展并达成其发展目标,两者的目标是一致的,所以,“风是业务运营的重要组成部分” 风所用的数据源包括但不限于威胁情报、实时风日志、业务数据、设备数据、行为数据、验证数据、数据中心其他风险数据、客诉数据等等。 小步慢走,风体系建设9步 从爱奇艺的实践中,可以看到风的目标驱动力、业务安全风框架、内容平台风难点所在等。而具体如何落地?风建设处于不同阶段的企业“可以根据能力建设的分阶段来提升”。 3.优化引擎服务 风系统对接支持业务后,应当充分考虑如何优化风系统的服务架构,确保实时风服务的低延迟低熔断,既要做到保证业务服务不会因为风服务增加延迟,从而导致业务服务质量下降或者过多资源占用, 此外,业务风和基础安全一定要在威胁情报共享、整体安全风险评估、前后端安全加固、对手分析、防护体系协同等多方面进行协同配合,将业务安全依托于整体安全体系建设的基础之上。

    96230

    顶象为中国移动打造高效风系统

    集成顶象智能设备指纹、顶象Dinsight实时风引擎以及三方反欺诈数据等技术。 顶象智能设备指纹支持安卓、iOS、H5、公众号、小程序,可有效侦测模拟器、刷机改机、ROOT越狱、劫持注入等风险。 顶象Dinsight实时风引擎可以在营销活动、支付下单、信贷申请等场景,对业务前端发送的请求进行风险判断,并于毫秒内返回决策结果,以提升业务系统对风险的防能力。 日常风策略的平均处理速度仅需20毫秒,聚合数据引擎,集成专家策略,支持对现有风流程的并行监测、替换升级,也可为新业务构建专用风平台;聚合反欺诈与风数据,支持多方数据的配置化接入与沉淀,能够进行图形化配置 ,并快速应用于复杂策略与模型;能够基于成熟指标、策略、模型的经验储备,以及深度学习技术,实现风自我性能监控与自迭代的机制;集成专家策略,基于系统+数据接入+指标库+策略体系+专家实施的实战;支持对现有风流程的并行监测 上线一年多来,该风系统已沉淀13万+反欺诈指标,6万+风策略,日均请求量超过60亿次,每日有效拦截黑灰产攻击近300万次,逐步构建起自主可控的专属业务安全体系

    24720

    扫码关注腾讯云开发者

    领取腾讯云代金券