专栏首页携程技术干货 | 携程基于大数据分析的实时风控体系

干货 | 携程基于大数据分析的实时风控体系

作者简介

刘江,携程金融管理部风险管理总监,负责携程集团的全面风险管理工作。拥有近15年风险管理经验,先后在广发银行、OperaSolutions、阿里巴巴和腾讯等公司任重要管理岗位,一直从事风控政策、风控模型、大数据征信等相关工作。

携程反欺诈体系经过超过10年的发展和积累,在大数据实时并行计算和实时多维关联分析方面已经非常成熟,是整个体系稳定高效运行的基础。

近两年来,我们在大数据和人工智能方向投入研发资源,产出了设备指纹、CDNA、实时复杂变量计算引擎等一系列创新项目,取得到很好的应用效果。2017年整体卡BP降低50%以上,远低于同行平均水平,为携程业务的发展以及全球化化进程提供了有利条件。

性能和复杂度可以兼得

携程的风控系统,和大部分第三方支付平台一样,也是以实时风控系统为主:

  1. 支付环节一般留给风控校验的时间不会超过1s,业务风控点上更是希望风控能在100ms内就能通过;对性能的追求,也是对极致用户体验的追求。
  2. 携程近两年每年的订单增幅在50%以上,营销活动、恶意占资源等业务风控的干预量更是每年10x以上的幅度增长。
  3. 规则数量两年翻了五倍,同时规则使用更多的数据不再仅限于产品信息、支付信息、账号信息,行为数据等弱关联数据开始大量的应用于规则分析。
  4. 在实时风控场景里大量部署复杂模型,使模型也能和规则一样能直接拒绝交易;平均来看、执行一个模型以及相关的变量计算所需的资源可能与200条普通规则相当,对系统的架构和性能都是很高的挑战。
  5. 欺诈份子的技术也在不断进步,更隐蔽,我们需要更多的数据来识别,比如对模拟器的识别、对代理服务器的识别,都投入了不小的研发资源。

给大家看一些数据:

一笔支付请求背后,携程风控的规则计算复杂度:

期间计算生成的变量个数接近2000个,90%以上的变量是Velocity和Ratio类型的变量,甚至较大一部分是精确到当笔交易的;执行完整个规则校验,风控返回给支付系统通过或拒绝的指令,平均耗时不到150ms,99.9%线也只有500ms左右。

携程风控架构变迁简史

携程自建风控系统开始于2011年左右,直到2015年正好赶上公司技术栈从.Net往Java平台转变,风控系统也迎来了一次完全的重写。

新系统的架构、设计复杂度、预计的处理能力也充分考虑了公司的业务发展预期,第一次让技术走在了业务到来之前。经过每年一个大版本的迭代,到目前为止,携程风控的技术水平已经处于行业第一梯队。

架构概述及核心服务

下面我们看看携程风控的架构实现:

上图可能有点抽象,我们看一个具体的例子:

概念:登录/注册、下单、支付、支付结果通知、出票等等这些我们称之为风控接入点。

有些接入点是做实时校验用的、有些是收集数据用的,在携程整个大系统内一共有超过400个风控接入点,审核或监控携程交易的每一个环节,保障着每一笔交易的安全和用户的利益。

每天风控收集上来的数据超过50亿条,其中超过1亿左右的请求需要风控实时校验风险并返回给业务系统当前操作是否可以继续。

用户从登录开始风控就已经开始在介入,在用户浏览、下单的过程中,对这个用户的风险评估和计算一直在持续,等到用户发起支付请求时,风控的热数据里已经有了完整的关于这个用户画像数据,风控引擎可以在这些数据的基础上实时计算和衍生出规则和模型需要的变量。

支撑风控系统的高可用、高性能,离不开强大的基础设施,下面我向大家展示一下携程风控的几个核心服务和组件:

风控引擎

我们给他起了一个名字叫 Matrix,意思是像魔方一样灵活多变。 数以千计的规则是分布式并行执行的、以保证规则数量和执行耗时没有明显的正相关性;并且风控引擎可以按业务动态分组,既保证了业务之间良好计算资源的隔离性、也提供了足够的灵活性。

规则引擎

初始版本基于drools实现,不过经过两个版本的迭代优化后,已经完全替换成自主研发的引擎,新引擎兼容drools的脚本,迁移到新引擎几乎零成本。迁移后规则执行性能提升一个数量级以上且具有更好的稳定性。

模型执行引擎

风控引擎支持把SAS或SPARK等工具训练出来的模型直接在风控系统中部署,支持DOT和PMML等多种格式。

我们自主实现了DOT模型文件的解释器,执行效率相对于Python执行提升20倍以上。

实时流量服务

内部称为Counter Server,负责衍生计算所有Velocity变量和Ratio变量,重要性不言而喻,Counter的性能直接影响到整笔交易的耗时和准确性。

我们基于Redis集群构建了一个Slide window,实现上其实很轻量,但确是很好用,把时间窗口的刻度映射到了redis的key上,目前支持秒、分钟、小时、日、月等的精度。可以根据变量的要求灵活、动态的配置各类实时统计项。目前集群容量在2-5TB之间。

Counter服务每天支撑了超过100亿次查询,单次流量查询的平均耗时仅1ms左右,保证了变量衍生的可靠性。

设备指纹

传统上都用IP来标识一个设备,但是随着移动网络的普及,IP基本已经失去这个功能了,你取到的很多都是基站IP、出口IP,封掉一个IP可能会误杀一片。

在APP里可以使用IMEI或IDFA硬件ID来识别设备,但在PC和H5需要一个比IP更准确的设备识别标识。已经有一些公司走在了前面,比如业内知名的ThreatMetrix、国内也有几家专业做设备指纹的服务商。

设备指纹是风控识别欺诈交易的关键技术,此类核心技术要掌握在自己手里,携程风控研发的设备指纹服务,已经在携程全站部署以及携程集团旗下的多个站点部署,应用后规则抓取准确性提升非常明显。

设备指纹的架构及关键指标:

CDNA

我们需要完整且深入的了解对于同一个人或同一类欺诈团伙在携程“一生”的行为以及“足迹”。

基于此目标,研发了CDNA服务,通过对所有流经风控的数据进行多维度的无限极收敛关联,把同一个人的数据聚合在了一起;CDNA服务每天处理超过100TB的数据。

通过CDNA对于发现新的欺诈特征很有帮助,让规则抓取更准确。

代理和模拟器识别

欺诈分子的技术也在不断的演进,作案的隐匿性更强,代理服务器和模拟器是非常好的隐匿手段,在交易刷单、信用卡欺诈等很多场景都会见到。

我们研究了TCP Signature、Time Gap、用户行为、针对各类模拟器的实验数据等,有了一套自己的方法论和识别方案。

人工规则vs模型

模型对于规则的补充意义是非常显著的,可以弥补人工规则的盲区,模型可以很好的覆盖历史欺诈特征、可以大大减少规则数量。

不管是规则还是模型,都需要建立在对业务上下文充分理解的基础之上。脱离业务上下文、仅针对数据本身的分析而提取出的特征往往是有偏颇的、不全面的,实际上线效果必然也不会很理想

简单介绍我们的特征变量提取方法:

变量衍生方法

结束语

“Make the Travel More Freely and Securely”,是携程风控的内部文化和使命。随着携程全球化步伐的不断推进,交易量日益增长的情况下,国内外的黑产技术也日趋成熟,欺诈形势越来越严峻。

携程是OTA行业的领导者,携程反欺诈技术团队也将引领反欺诈领域的技术进步,提前研究并掌握大数据和人工智能等先进工具的应用,以应对未来更大的挑战,给用户提供更好的服务。

本文分享自微信公众号 - 携程技术中心(ctriptech),作者:刘江

原文出处及转载信息见文内详细说明,如有侵权,请联系 yunjia_community@tencent.com 删除。

原始发表时间:2018-05-09

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

我来说两句

0 条评论
登录 后参与评论

相关文章

  • 携程获中国著名商标金奖

    近日,第二届“中国商标金奖”评选结果公示揭晓,携程旅行网作为唯一一家在线旅游服务企业入选“商标创新奖”,提供优质服务是携程深耕旅游业16年来始终不曾改变的宗旨,...

    携程技术
  • UED专栏 | 携程机票订后服务“航班助手”的三大设计秘籍

    野原,携程UED视觉设计师,致力于洞察用户需求与商业价值。Jaye,携程UED交互设计师,一个安静的交互设计师。

    携程技术
  • 干货 | 数据分析在携程产品设计中的应用

    林传毅,携程旅行网资深交互设计,负责酒店产品和客栈通(www.kztpms.com)的整体设计。先后毕业于复旦大学计算机系和香港大学商学院,曾就职解放日报和柯达...

    携程技术
  • 互联网金融风控中的数据科学

    摘要 随着互联网行业的高速发展,互联网金融应运而生。它是传统金融行业与互联网精神相结合的新兴领域。互联网"开放、平等、协作、分享"的精神往传统金融业态渗透,对人...

    IT大咖说
  • 用户画像有什么用?怎样用?6个场景案例给你讲明白

    在大数据分析中,对用户行为进行分析挖掘又是一个重要的方向,通过对用户行为进行分析,企业可以了解用户从哪里来,进入平台后进行了哪些操作,什么情况下进行了下单付款,...

    华章科技
  • 【扩展阅读】流氓软件你造吗?

    “流氓软件”是介于病毒和正规软件之间的软件,通俗地讲是指在使用电脑上网时,不断跳出的窗口让自己的鼠标无所适从;有时电脑浏览器被莫名修改增加了许多工作条,当用户打...

    腾讯大讲堂
  • 微博中的用户画像:微博中的用户模型

    作者:@fengyoung 于2015小光棍节 原文:http://www.wbrecom.com/?p=588 社交媒体(Social Media)相对于传统...

    机器学习AI算法工程
  • 开采“用户反馈“这座金矿

    听说过“1000/100/10法则”吗?这是当年QQ邮箱团队流传出来的做产品的法则,即每个产品经理每个月要去论坛看 1000 个用户体验反馈并回复、关注 100...

    腾讯大讲堂
  • 如何创建用户模型:问卷调查与数据分析

    很想写一些东西来总结总结自己的工作,可惜工作太忙一直也没顾得上来写。最近闲来想和大家讨论讨论关于创建用户模型的事情。 一、用户模型的建立与问卷数据的采集 Per...

    小莹莹
  • 外卖刷单用户与商户要注意了!大数据风控来了!

    【数据猿导读】 近年来,企业在拥抱互联网、拥抱云的过程中,普遍面临着愈演愈烈的欺诈威胁。据了解,目前中国网络欺诈损失占GDP比例多达0.63%,约4000多亿人...

    数据猿

扫码关注云+社区

领取腾讯云代金券