【应用】信用评分:第9部分 - 计分卡实施:部署,生产和监测

笔者邀请您,先思考:

1 信用评分卡如何实施?

知识不是力量,知识的实施就是力量。” - 评分卡或信贷策略的真正好处仅在实施时明显。 CRISP-DM框架的最后阶段 - 实施 - 代表从数据科学领域向信息技术领域的转变。 因此,责任角色也从数据科学家和业务分析师转变为系统和数据库管理员和测试人员。

在评分卡实施之前,必须采取一些技术决定。 这些决定涉及数据可用性; 选择使用哪种硬件和软件; 谁负责评分卡实施,谁负责评分卡维护; 以及生产是内部还是外包。

评分卡实施是一个顺序过程,一旦评分卡模型被业务认可,就会启动。 该过程从评分卡部署代码的生成开始,导致预生产,生产和后期生产。

图1.评分卡实施阶段

部署代码

部署代码是通过将概念模型(例如模型方程或评分卡的表格形式)转换为准备在服务器上运行的等效软件工件来创建的。 模型运行的实现平台可以识别部署语言,例如,可以是SAS语言(图2),SQL,PMML或C ++。 编写模型部署代码可能容易出错,并且由于需要大量代码优化周期来生成部署代码,因此通常会成为瓶颈。 一些分析供应商在其软件中提供了自动代码部署功能 - 这是一种理想的功能,能够生成无错代码,缩短部署时间并缩短代码测试周期。

图2.使用World编程软件自动生成SAS语言部署代码

评分卡实现无论是在生产服务器上进行测试还是在实时评分的生产服务器上,都需要在模型部署代码周围放置一个API包装器,以便处理模型评分的远程请求。由内部和外部数据源提供的模型输入可以在评分引擎的外部或内部提取。 前者在计分引擎外运行变量提取,并将变量作为API请求的参数传递。 后者如图3所示,在评分引擎内运行预处理代码,并在同一个引擎上进行变量抽取和模型评分。

图3.使用API调用的实时评分

预生产和生产

预生产是用于在将模型提交到(实时)生产环境之前运行一系列测试的环境。这些测试通常是模型评估和有效性测试,测量预期峰值负载下的请求和响应时间的系统测试,或安装和系统配置测试。

经过彻底测试和认可的模型会上传到生产环境 - 最终目的地。运行在生产服务器上的模型可以处于主动或被动状态。活跃模型是冠军模型,其分数在决策过程中实时用作信用批准或拒绝。被动模型通常是决策制定过程中尚未使用的模型,但其分数在成为活跃模型之前在一段时间内进行记录和分析以证明其商业价值。

监测

“如果你无法衡量它,你无法改进它。(Lord Kelvin)

随着时间的推移,每一个模型都会随着时间的推移而退化,因为自然模型演化的结果会受到许多因素的影响,包括新产品发布,营销激励或经济漂移等,因此常规模型监测是势在必行,以防止对业务造成任何负面影响。

模型监控是实施后测试,用于确定模型是否继续符合预期的性能。需要事先设置IT基础架构,以便通过生成模型报告,存储报告的存储库和监视仪表板来实施监视。

图4.模型监测过程

例如,模型报告可用于确定新申请人的特征是否随时间而变化;确定是否需要更改分数截止值以调整接受率或违约率;或者确定评分卡是否以与在不同风险带上对建模群体进行排名的相同的方式来对客户进行排名。

通常使用预定义的阈值捕获评分卡退化。根据变化的大小,采取相关的行动。例如,评分卡性能指标中的细微变化可以忽略不计,但适度的变化可能需要更频繁的监控或评分卡重新校准。任何重大更改都需要重建模型或切换到性能最佳的替代模型。

信用风险部门可以获得大量报告,包括各种漂移报告,绩效报告和投资组合分析(表1)。两个最典型的报告的例子是群体稳定性和性能跟踪。群体稳定性衡量群体中信用评分随时间的变化。稳定性报告会生成一个指标,显示群体变化导致的客户行为变化幅度。任何重大转变都会建立一个请求模型重新设计的警报。性能跟踪报告是后端报告,需要足够的时间让客户账户成熟,以便评估客户的表现。其目的是双重的;首先,它通过评估评分卡是否仍然能够按风险对客户进行排名来测试评分卡的功能,其次,它通过比较建模时已知的预期违约率与当前违约率来测试准确性。

表1.评分卡监控报告

模型监控面临的挑战是变更请求与其实施之间的时间延迟。 生产环境中运行的每个模型(图1)的监控流程任务的复杂性(包括生成报告,访问相关数据源,模型管理,报告调度程序,模型降级警报和可视化报告的代码)是一个苛刻和挑战性的过程。 这是贷款人将模型监控能力外包或投资于自动化流程的主要动机,这种自动化流程通过最少的人力来促进模型监控。

系列之前:信用评分:第8部分 - 信用风险策略 系列之后:信用评分:第10部分 - 更大的图景 - 企业决策管理系统

作者: Natasha Mashanovich, Senior Data Scientist at World Programming, UK 原文链接:https://www.worldprogramming.com/blog/credit_scoring_pt9

版权声明:作者保留权利,严禁修改,转载请注明原文链接。

原文发布于微信公众号 - 数据科学与人工智能(DS_AI_shujuren)

原文发表时间:2018-06-08

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏ThoughtWorks

从分布式计算到分布式训练

对计算机来讲,所谓的计算,不过是将存储在各个地方的数据通过数据总线进行传输,然后经过算术逻辑单元执行一系列预设好的规则,最终再将输出写入到某个位置。 在计算能力...

3865
来自专栏AI研习社

PyTorch vs. TensorFlow月度使用体验总结

日前,英伟达深度学习项目实习生Dominic Monn在medium上发文总结了他使用PyTorch和TensorFlow的一些体会,在文章中,他从安装、使用、...

40615
来自专栏林浩威的专栏

使用机器学习算法打造一个简单的“微博指数”

写这篇文章的契机,是我在某天看完腾讯指数的推送后,突发奇想,想自己实现类似这样的一个东西,感觉蛮好玩的。然后就在上周末,利用了一些空余时间,写了一个简单的舆情监...

7404
来自专栏IT派

从人脸识别到情感分析,50个机器学习实用API

API是一套用于构建应用软件程序的规范,协议和工具。在本文中,我们从2017年的清单中删除了停用的API,并利用新元素对其进行了更新。并且,所有的API被归类到...

1291
来自专栏机器之心

陈天奇等人提出TVM:深度学习自动优化代码生成器

3889
来自专栏AI研习社

呵,我复现一篇深度强化学习论文容易吗

去年,OpenAI和DeepMind联手做了当时最酷的实验,不用经典的奖励信号来训练智能体,而是根据人类反馈进行强化学习的新方法。有篇博客专门讲了这个实验 Le...

1542
来自专栏大数据文摘

从人脸识别到情感分析,这有50个机器学习实用API!

1635
来自专栏Jerry的SAP技术分享

机器学习在SAP Cloud for Customer中的应用

关于机器学习这个话题,我相信我这个公众号1500多位关注者里,一定有很多朋友的水平比Jerry高得多。如果您看过我以前两篇文章,您就会发现,我对机器学习仅仅停留...

1512
来自专栏灯塔大数据

洞察|大数据显示越来越多的人想关闭朋友圈

? 近日,中国青年报社会调查中心联合问卷网,对2000名受访者进行的调查显示,35.8%的受访者想关闭朋友圈,其中19.7%的受访者正打算关闭朋 友圈,13....

36313
来自专栏目标检测和深度学习

SCI论文快速翻译,免费无限制!OCR识别,阅读文献必备!

科研人员在阅读外文文献时,经常会碰到看不懂的专业词汇或语句,需要将其复制到在线词典翻译。

3772

扫码关注云+社区

领取腾讯云代金券