如何“谨慎”使用“数据驱动”的风控模型(二)——决策篇

上一篇,笔者介绍了谨慎使用“数据驱动”的风控模型,需要“高质量的数据 + 审慎严谨的决策模型 + 实时全面的监控分析”动态闭环。本篇笔者会着力于介绍整个风控决策体系的建设及持续优化。

风控决策的管理并不是狭义上的规则或评分卡(Scorecard)模型,而是广义上对整个风控策略的体系化管理,还应覆盖包括模拟验证、冠军/挑战者实验(A/B测试)、版本管理、效能评估在内的全生命周期,如果有人工审核环节的话,也需要纳入风控体系进行统一管理。

工欲善其事必先利其器,为了提升管理效率,决策引擎的使用必不可少。无论选用开源软件、成熟产品,或是自建,都要确保风控决策独立于代码版本,可实现热发布,便于版本回溯。风控决策的构建,应该是自顶向下的,顶层应当是产品场景与风控场景,例如电商分期、教育分期、信用卡代偿等等,风控场景包括风控审批、额度、定价、催收等各个环节。

决策如何合理编排、高效管理?不妨参考以下原则:

清晰的定义顶层场景,而各个子决策以流程的方式组合而成,子决策包括一系列决策步骤,决策步骤内嵌规则集(可以将评分卡也看作是一套规则集)。

将“因果关系”的专家规则与“相关关系”的机器学习规则有机结合,力争在通过率与坏账率之间取得最优平衡。

某些子决策作为通用步骤,可以被不同的产品场景共用、继承(derive)或覆盖(override),便于统一管理。例如,失信被执行人命中、存在严重逾期或银行卡四要素错误等专家规则,不仅适用于电商分期产品,也适用于信用卡代偿类产品。

强规则命中直接拒绝,不必执行后续规则(强规则指捕获率极高的规则,如存在严重逾期历史、手机使用少于3个月等欺诈嫌疑极高的规则;或者是不符合借款条件,如不满18岁;强规则早期大部分来源于专家规则,后续随着数据的积累也能总结出新规则)。

无成本/低成本规则优先于高成本规则执行,如自有黑名单规则优先于外部调用的黑名单规则。

决策不应只有通过、拒绝两种结果,应可以支持类灰名单命中之后的人工判断。

决策顺序的调换,不应影响到整体业务流程,造成流程的中断或异常。

如某项规则的输入来源于外部征信数据,需要定义好超时重试、跳过策略,避免因数据源的问题导致的决策中断、或因此作出的错误决策。

出于“谨慎性原则”,决策发布前必须进行历史数据模拟。从大量数据的模拟中,可以发现潜在的问题;分析该决策组合的通过率、捕获率、潜在ROI,是否优于原来的决策组合;同样,历史数据模拟也可以用来验证外部征信数据或人工审批的有效性,是否使用,放在哪一步决策使用,如何互相替代。

再来谈谈冠军/挑战者实验(A/B测试)。尽管历史数据的模拟表现很优异,并不代表新的决策可以经得住实战的考验,基于“谨慎”的原则,新决策最好按较低的比例与老决策同步运行。运行一段时间后,如新决策的表现优于老决策,可以逐步将新决策的线上运行比例调高,直至完全替代老决策。为了提高效率,多个新决策可以同时执行冠军/挑战者实验。

最后稍微谈一下用于信用风险评估的评分卡模型。人们常提的评分卡一般指基于客户的一组输入数据,计算出一个评分(数字)。 设计一张评分卡一般有两个路径:(a)请专家根据要解决的问题,依据经验设计。一般适用于数据较少的情况;(b)基于数据和算法产生,一般适用于数据比较丰富的情况。算法可以有很多种,人们常用的有逻辑回归,支持向量机,决策树,随机森林,神经网络等等。还有一些专用算法,如美国通用的FICO信用评分就是基于自己的算法创建的。

信用风险控制所用的评分卡主要是预测信贷人的违约概率。如何评估评分卡的优劣?在评分卡部署到生产系统之前,需用现有的不同数据组进行回归验证,确保验证的违约概率与评分卡所预测的概率吻合较好。评分卡投入使用后,一定要持续监控,随时准备调整阈值。 当然还有其他的评估方法,如使用评分卡的KS,ROC曲线等。

根据我们的经验,评分卡的使用效果取决于客群,客户特征数据的选择和数据的真实性保证,创建评分卡的方法,创建者和运行者等多种因素,是一项系统工程,而非像跑一个机器学习算法那样简单而又神秘。

最后出于“谨慎”原则,需要将决策编写、模拟、检验、发布的流程固化,任何决策发布之前需要得到授权人的审批,避免因人为过失造成的损失。发布之后,实时监控表现,通过完整的效能评估方法验证决策的有效性。如何监控,敬请期待即将推出的最后一篇:如何“谨慎”使用“数据驱动”的风控模型(三)——监控篇。

  • 发表于:
  • 原文链接:http://kuaibao.qq.com/s/20180105A09PWM00?refer=cp_1026

扫码关注云+社区