首页
学习
活动
专区
工具
TVP
发布
精选内容/技术社群/优惠产品,尽在小程序
立即前往

ML | 建模的KS

我们这做模型的时候,经常是会用KS值来衡量模型的效果,这个指标也是很多领导会直接关注的指标。今天写一篇文章来全面地剖析一下这个指标,了解当中的原理以及实现,因为这些知识是必备的基本功。...不过这不影响我们去使用它,我们只需要知道在中是怎么实现的,并且在实际场景中怎么去使用它就可以了。就如上面我们说的,KS在主要是用于评估模型的好坏样本区分度高低的。什么是区分度?...可以看下图: 从业务上来说,就是越往后的箱子,客户的质量越差,rate整体上呈现单调性,从而可以把大多数的坏人,直接从箱的维度上就可以区分开来了,在后续的策略使用体验上十分友好。...02 KS的生成逻辑 KS的生成逻辑公式也是十分简单: 好样本累计占比坏样本累计占比 在领域,我们在计算KS前一般会根据我们认为的“正态分布原则”进行分箱,一般来说分成了10份,然后再进行KS的计算...03 KS的效果应用 KS的值域在0-1之间,一般来说KS是越大越有区分度的,但在领域并不是越大越好,到底KS值与模型可用性的关系如何,可看下表: 004 KS的实现 首先我们来对上面展示的例子进行

4.2K30

大数据模型是什么?有哪些?

摘要:在互联网金融行业,不少人可能这样觉得:认为只要数据够“大”,就能有最牛逼的体系和行业最低的坏账率。...在互联网金融行业,不少人可能这样觉得:认为只要数据够“大”,就能有最牛逼的体系和行业最低的坏账率。这种理解有些过于简单了。...其实,做大数据是一个挺细致的事儿,大数据,重要的不是数据本身,而是对数据的理解。...大数据模型是什么 指标体系 大数据圈流行一句话:数据决定了数据分析的上限,而模型做的是逼近这个上限。...模型 大数据更多应用与小微互金贷款,因此更多是还款意愿的控制,欺诈风险会比较高,因此构建好的反欺诈模型就非常重要,目前一般分三种: 1.

1.2K20
您找到你想要的搜索结果了吗?
是的
没有找到

1.1 原则

,D错 和坚叨叨:在FRM的考试里经常出现这种判断4个选项对错的定性题,这种题其实难度都不低,因为每个选项都是一个考点,拿这道题来说我们需要完全弄清楚以下几个问题: 风险管理的主要concern是什么?...风险管理流程都是哪5步? 风险可以被消除吗?...是企业评级可能降低的不确定性 Settlement risk是在市场上交易双方在最终交割时一方不能交割的不确定性 答案是A 和坚叨叨:这题的考点是信用风险下的四个分类,所以大家要对风险分类掌握这个问题: XX风险究竟是什么的不确定性...对 Debtholder喜欢最小风险,stakeholder更愿意通过接受风险来增加股权价格,II错 02.3 解释一个公司如何决定去对冲风险因子,这个过程中board of directors的角色是什么...最终要求:满足法律,审计,风险管理的最小标准 考题分析: 所有成员都要有充足的金融知识,A错 audit committee由非管理层构成,但是可以有一些管理层成员,B对 audit committee

2.3K60

支付模型

支付涉及到多方面的内容,包括反洗钱、反欺诈、客户风险等级分类管理等。 其中最核心的功能在于对实时交易进行风险评估,或者说是欺诈检测。如果这个交易的风险太高,则会执行拦截。...此类交易在用户完成增强验证后,还需要管理人员人工核实,核实没问题后,交易才能放行。 五风险等级,会增加一个中低风险等级。此类交易是先放行,但是管理人员需要进行事后核实。...二、基于规则的 规则是最常用的,也是相对来说比较容易上手的模型。从现实情况中总结出一些经验,结合名单数据,制定规则,简单,有效。 常见的规则有: 1....这个过程,将在下一篇的架构中介绍。 五、模型评估 本质上是对交易记录的一个分类,所以对模型的评估,除了性能外,还需要评估“查全率”和“查准率”。...支付场景分析 ; 支付数据仓库建设 ; 支付模型和流程分析(本文); 支付系统架构 发布者:全栈程序员栈长,转载请注明出处:https://javaforall.cn

1.7K21

ML | 建模中怎么做拒绝推断

05 验证拒绝推断效果的方式 06 总结一下 01 什么是拒绝推断 拒绝推断要解决的问题就是去推断那些被拒绝的客户,如果放贷的话,后续的贷后表现是什么样子,是好样本,还是坏样本?...《建模中的样本偏差与拒绝推断》https://zhuanlan.zhihu.com/p/88624987 不过我也还是把他文章里的分类体系在这里重点再次分享一下。...06 总结一下 本文算是一个对拒绝推断的入门介绍了,让初涉模型的同学有一个相对来说比较清晰的全局认识,这里面涉及到的很多算法模型上的细节并没有展开来讲,因为我觉得这也会让阅读带来比较大的负担,公众号的文章还是要控制在几分钟内读完比较合适...Reference [1] 异常检测算法分类及经典模型概览 https://blog.csdn.net/cyan_soul/article/details/101702066 [2] 建模中的样本偏差与拒绝推断

1.5K30

为本创新驱动,券商如何实现智能加速?

合规始终是公司的首要核心竞争力,该券商不断推进全面风险管理体系建设,需要全方位提升主动合规管理能力,进而提升风险管理精细化、智能化水平。...而由于合规处于企业核心竞争力的高度,原数据积累10年,数据量已超30TB。...原“IOE架构”出现了性能瓶颈以及各方面管理问题,具体体现如下: 01 随着业务的发展以及数据量的激增,原有平台开始遭遇IO访问及内部数据交换的瓶颈。非现场平台各项报表和查询生成时间逐渐拉长。...基于QData Cloud建设数据库私有云平台,率先迁移上线系统,后期逐步整合了CRM系统、固定收益部系统、xIR利率资产业务、大宗交易、信用风险、征信系统、机构管理、自营交易等多套业务系统数据库。...2 通过多年的发展,基于沃趣QData Cloud云平台解决方案逐步拓展成数据库私有云应用场景,以Oracle为代表的数据库如:客户关系管理、合规、自营交易等系统正在逐步迁移到数据库私有云平台。

1.1K10

决策引擎经验

一套完整的体系,在中,少不了决策引擎,今天就浅谈一下决策引擎。 一、优先级 决策引擎是一堆规则的集合,通过不同的分支、层层规则的递进关系进行运算。...系统的作用在于识别绝对与标识相对风险,如果是绝对,则整套的审核结果便将是“拒绝”。既然结果必然是“拒绝”,则没必要运行完所有的规则,而主要单条触发“拒绝”即可停止剩余规则的校验。...而一些通过对接外部三方征信的规则,需支出相关查询费用的,则靠后运行。此外,在外部三方征信的规则中,命中式收费的规则(如黑名单与反欺诈)又可以优先于每次查询式收费的规则(如征信报告)运行。...三、记录与统计 最终到底是“跑出来”的,所以,整个系统对所有不同规则的触发需进行有效的记录与统计,以便后期可支持数据分析与模型调整的相关工作。...3、数据源内容 举例说明:某些规则是通过二次数据解析与汇总进行的,但原始数据需要进行保存,诸如手机账单的通话明细数据,此部分数据一是可作为规则使用,二是未来可用作于催收与贷后管理

99430

建模整体流程

确定建模目的 在信贷领域中建立模型是为了找出可能会逾期的客户,根据逾期的可能性和资金的松紧程度选择是否放贷。 在支付领域建立模型是为了找出可能存在非法经营的商户,保证商户没有违法经营。...确定好坏样本逻辑 在信贷领域中逾期大于x期(不同公司取值不同)的客户定义为坏客户(1),从未逾期的客户定义为好客户(0) 在支付领域中,有赌博、欺诈、套现、伪卡等行为的商户定义为坏商户(1)(具体根据模型要防的风险决定...特征工程 在领域一直都有这样一句话 “数据决定了机器学习的上限,而算法只是尽可能逼近这个上限”,这里的数据指的就是经过特征工程得到的数据。通俗的讲就是衍生变量去捕获风险客户。...模型上线 在支付领域如果模型验证没有问题,一般会上到线上,自动生成案例。在信贷中会模型搭配规则,判断申请贷款的人是通过放贷、拒绝放贷、还是转人工处理。...本文所讲的都是大致流程,没有深入展开分析,在之后的各期中会逐步展开这里所讲的每一小点,给所有需要从事模型的同学一点建议。 以上都是我在建模过程中的一点经验总结,有不正之处恳请指正!

1.9K20

实时业务系统

账号:垃圾注册、撞库、盗号等 交易:盗刷、恶意占用资源、篡改交易金额等 活动:薅羊毛 短信:短信轰炸 项目介绍 实时业务系统是分析风险事件,根据场景动态调整规则,实现自动精准预警风险的系统。...什么样的事件是有风险的,风险分析需要用到统计学,对异常用户的历史数据做统计分析,找出异于正常用户的特征 实时性,风险事件的分析必须毫秒级响应,有些场景下需要尽快拦截,能够给用户止损挽回损失 低误报,这需要人工经验...对各种场景风险阈值和评分的设置,需要长期不断的调整,所以灵活的规则引擎是很重要的 支持对历史数据的回溯,能够发现以前的风险,或许能够找到一些特征供参考 项目标签 轻量级,可扩展,高性能的Java实时业务系统...基于Spring boot构建,配置文件能少则少 使用drools规则引擎管理规则,原则上可以动态配置规则 使用redis、mongodb做计算和事件储存,历史事件支持水平扩展 原理 统计学...; 扩展规则,针对需要解决的场景问题,添加特定规则,分值也应根据自身场景来调整。

2K10

数据体系-简介

早期传统金融的主要利用了信用属性强大的金融数据,一般采用20个维度左右的数据,利用评分来识别客户的还款能力和还款意愿。...结合中国互联网发展,以及目前的征信监管要求,对可用数据及可用类数据做一个全面的梳理。...2.数据来源 2.1 数据应用逻辑 常见流程中,客户准入时提供的资信材料有限,业务机构数据体量不足,仅仅根据内部风险数据进行风险评估会非常片面,无法全面的把某位客户的风险情况,所以通常需要依赖于第三方供应商提供数据作风支撑...2.1.3 制定流程 注册信息提交;生物信息识别;准入规则判定;身份信息验证;三方数据核验;授信定额定价;用户确认提现;贷中行为监测;额度利息管理;贷后催收管理等。...4.2 明确需求 建议:回顾第二节数据应用逻辑关于业务类型、风险类型、流程、风险画像等的介绍。

3.7K64

ML | 模型报告以及上线后需要监控的内容

一个优秀的模型上线报告以及一个优秀的上线后模型监控报表,在我们日常建模中是非常的常用并且有用的,今天这个话题就来和大家聊聊怎么去制作优秀的模型上线报告以及上线后的模型监控报表,主要聊聊思路,先要有一个全局的感受...以下内容均基于自己浅薄的经历提炼的,如有纰漏,欢迎指正或补充哦,欢迎交流~ 00 Index 01 聊聊为什么要做这件事 02 标配的模型上线报告应具备哪些内容 0201 模型现状 0202 KS值与各种曲线...02 标配的模型上线报告应具备哪些内容 0201 模型现状 想要突出你模型的好,你得先分析旧模型的不好。 比如说,把目前线上模型的实际表现进行统计,如KS值、分组排序性、PSI等基础指标。...0202 KS值与各种曲线 我们需要描述模型的效果,在领域最直接的指标就是KS值,我们一般会认为KS>0.3才具备最基本的上线要求,而且我们要保证训练集、测试集以及跨时间测试集都需要达到标准哦!...一般情况下,我们会对预测结果按照一定的阈值,进行分组,比如分为A/B/C/D/E/F共6组,越靠后就意味着越有可能是高风险客户,我们给予一定的规则进行拦截。

2.7K20

蚂蚁金服总监王黎强:智能助力新金融

本文为数据猿现场直播“蚂蚁金服总监王黎强:智能助力新金融”的发言实录。...但是事实上这个体系还不够完善,因为不仅仅是一个冷冰冰的数据和机器,更多的还要看到客户体验。我们既要做到保障整个安全,还要兼顾到用户的体验。...第三阶段,大数据智能的体系,我们通过人工经验跟机器自身的学习,构建了一套智能化体系,这里面既做到了提前感知风险,又做到了风险自适应,而不是所有的风险防去用人工的方式做修正,而更多的是通过机器智能的方式进行整个体系的自我修复...举个例子,我们整个体系就像人的骨骼,数据是人的血肉,AI是人的大脑,三者有机结合在一起,构成了我们整个智能体系的框架。然后高效实时的运作起来,是蚂蚁金服智能体系的第一个优势。...这三个“化”背后带来的三点本质的改变是什么?其实刚刚杨博士说,金融本质没有改变,但是服务方式应该发生改变。我的理解是,总共有以下三个方面的改变: 第一个改变,整个金融服务效率的提升。

2.7K61

用Python实现智能

季元 邮储银行风险管理部高级风险专家 金融科技的影响已经深入到生活的方方面面,智能作为金融科技的细分领域,在这一系列变化的背后发挥了重要的作用。...涵盖了智能技术的特征、建模、策略等各个方面,是金融科技技术在实战领域的宝贵经验总结。 郑宏洲 盛银消费金融首席风险官 人工智能和金融的结合是当今信贷风险管理的主流技术方向。...作者结合自身多年的人工智能算法和信贷实践的从业经验,从实际工作出发,具有很强的实操性,适合风险管理和金融科技相关从业人员参考学习使用。...▲ 写作结构 本书整体贯穿了智能模型、特征和策略以及智能管理,读者可以按顺序阅读或者根据自身知识背景有选择地阅读相应章节。...; 第6章 介绍了智能相关的管理经验,解读智能中的一系列管理原则。

1.2K30
领券