首页
学习
活动
专区
工具
TVP
发布
精选内容/技术社群/优惠产品,尽在小程序
立即前往

ML | 建模中怎么拒绝推断

00 Index 01 什么拒绝推断? 02 为什么要做拒绝推断? 03 什么时候拒绝推断? 04 拒绝推断都有哪些方法?...04 拒绝推断都有哪些方法 这里的方法介绍,我在知乎上看到汪哥的相关文章,写得真的太棒了!我比较难超越了,就把他的原文链接贴过来,大家可以去看看哦。...《建模中的样本偏差与拒绝推断》https://zhuanlan.zhihu.com/p/88624987 不过我也还是把他文章里的分类体系在这里重点再次分享一下。...06 总结一下 本文算是一个对拒绝推断的入门介绍了,让初涉模型的同学有一个相对来说比较清晰的全局认识,这里面涉及到的很多算法模型上的细节并没有展开来讲,因为我觉得这也会让阅读带来比较大的负担,公众号的文章还是要控制在几分钟内读完比较合适...Reference [1] 异常检测算法分类及经典模型概览 https://blog.csdn.net/cyan_soul/article/details/101702066 [2] 建模中的样本偏差与拒绝推断

1.5K30

ML | 建模的KS

我们这模型的时候,经常是会用KS值来衡量模型的效果,这个指标也是很多领导会直接关注的指标。今天写一篇文章来全面地剖析一下这个指标,了解当中的原理以及实现,因为这些知识必备的基本功。...,后面怎么地就用到了模型的区分度评估就不知道咯。...不过这不影响我们去使用它,我们只需要知道在怎么实现的,并且在实际场景中怎么去使用它就可以了。就如上面我们说的,KS在主要是用于评估模型的好坏样本区分度高低的。什么区分度?...可以看下图: 从业务上来说,就是越往后的箱子,客户的质量越差,rate整体上呈现单调性,从而可以把大多数的坏人,直接从箱的维度上就可以区分开来了,在后续的策略使用体验上十分友好。...03 KS的效果应用 KS的值域在0-1之间,一般来说KS越大越有区分度的,但在领域并不是越大越好,到底KS值与模型可用性的关系如何,可看下表: 004 KS的实现 首先我们来对上面展示的例子进行

4.2K30
您找到你想要的搜索结果了吗?
是的
没有找到

中必的数据分析

大数据领域就没有不做数据分析的,大数据也不例外。 我的观点和其他互联网业务都是互通的,本文介绍下风中必的数据分析,用以说明数据分析一通百通的。 工欲善其事,必先利其器。...01 业务理解 如果一家金融机构聘请你给他们的业务咨询,你知道怎么办吗? 别告诉我,你想硬搬建模比赛的那套东西。不要掉价。 解决方案一定是针对当前业务和用户客群独家定制的。...需要说明的,对于业务的理解,需要分析的绝不止以上内容。 通过KYC,你可以大致知道发力的方向在哪里,拓展新户还是挖掘存户,提升能力还是优化产品设计,等等。...vintage分析把不同期的样本放在了一起,可以用来观察不同期客群风险的变化,然后确定是流量本身的变化,还是宏观形形势的变化,还是策略的变化等等。...如大家所见,在领域所在的数据分析,应该和其他互联网领域的数分并无本质区别。 因为和其他业务一样,本质都是用户生命周期管理。基于相同的底层逻辑,数据分析必然也并无二致。

1K30

ML | 建模的WOE与IV

ML」系列文章,主要是分享一下自己多年以来金融的一些事一些情,当然也包括建模、机器学习、大数据等相关技术分享,欢迎同行交流与新同学的加入,共同学习,进步!...第一次接触这两个名词在做模型的时候,老师教我们可以用IV去做变量筛选,IV(Information Value),中文名信息值,简单来说这个指标的作用就是来衡量变量的预测能力强弱的,然后IV又是...:第i组的IV值 :等于 :等于 可以看看下面的表格理解一波,变量A一个连续型变量,值域v1-vx,当前根据某些分箱方式分成了m组,具体的分组情况如下所示: 01 WOE...的原理 WOEweight of evidence的缩写,一种编码形式,首先我们要知道WOE针对类别变量而言的,所以连续性变量需要提前做好分组(这里也是一个很好的考点,也有会说分箱、离散化的,变量优化也可以从这个角度出发...对于上面的公式我们还可以 简单一下转化: 所以,WOE主要就是体现组内的好坏占比与整体的差异化程度大小,WOE越大,差异越大。

3.4K20

信贷模型搭建及核心模式分类

信贷工厂模式的特点效率高,可以进行量化审核。过程之间环环相扣,对每个环节都有专人把具体的把。正因为这样,意味着需要消耗大量的人力成本,每个流程都需要对口的人员支撑。...2.评分卡的意义 在互联网金融体系中,量化分析需要贯穿始终,评分卡模型其中非常重要的一环。...一开始我们的技术人员对这个“少量逾期”这个分类很疑惑,不能理解这个分类到底好还是坏。直到我们和某P2P公司的经理实际交流后才明白这其中的含义。...另外,很多金融公司的模型的设计不管对于最终高评分的用户还是对于存疑的进见,都需要最后的人工进行确认。...所以说,模型的计算策略和机制在一个公司属于绝密,规则除了核心的员工,其他人不能知道规则的。 四、的核心 如果说金融产品的核心,那么的核心是什么?

1.8K10

ML | 机器学习模型如何业务解释?

ML」系列文章,主要是分享一下自己多年以来金融的一些事一些情,当然也包括建模、机器学习、大数据等相关技术分享,欢迎同行交流与新同学的加入,共同学习,进步!...01 机器学习模型不可解释的原因 前些天在同行交流群里,有个话题一直在群里热烈地讨论,那就是 如何解释机器学习模型 ,因为在领域,一个模型如果不能得到很好的解释一般都不会被通过的,在银行里会特别的常见...比如A模型的特征X1的重要度10,那么如果我们在模型里给特征X2加些权重以增大其重要度,重新计算重要度后,特征X1的重要度仍是10。...4)Gain:即增益,由Breiman等人提出的一种全局的特征重要度计算方法,在XGBoost、scikit learn等包中都可以调用,它是给定特征在分裂中所带来的不纯度的减少值,经常会被用来特征选择...03 SHAP可能出路,SHAP到底是什么 SHAP(Shapley Additive exPlanation)解释任何机器学习模型输出的统一方法。

74110

1.1 原则

风险管理的目标减少和消除EL,但是更concern UL,A对 承担风险的数量和潜在损失的大小不是绝对相关的,B错 风险管理的最后一步监控,C错 风险不确定性,不确定性不会消失的,采用风险转移只是把风险转给了别的公司...分析利率急升的影响要使用Stress Testing的,而压力测试ERM的一个方法,所以答案C 01.4 区别EL和UL Expected Loss在正常业务情况下有多少损失预计会发生的,容易预测和计算...借款损失被资金和资产的利差覆盖了,这个期望的情况,所以损失EL。...Settlement risk在市场上交易双方在最终交割时一方不能交割的不确定性 答案A 和坚叨叨:这题的考点信用风险下的四个分类,所以大家要对风险分类掌握这个问题: XX风险究竟是什么的不确定性...分析师的结论70%的概率会收购,而他的opinion可能会降级。所以报告说70%概率会降级不合适的

2.3K60

支付模型

一、风险等级 拦截,首先要回答的问题风险等级怎么划分? 目前主流的风险等级划分有三种方式, 三等级、四等级、五等级。 三等级的风险分为 低风险、中风险和高风险。...由于一般计算频率按照自然时间段来进行的,所以如果用户的操作跨时间段的,则会出现频率限制失效的情况。 当然,比较复杂的可以用滑窗来。 对不同的风险等级设置不同的阈值。...而机器学习解决这些问题的利器。 互联网金融离不开机器学习,特别是支付。 在各种支付模型中,决策树模式相对比较简单易用的模型。...这个过程,将在下一篇的架构中介绍。 五、模型评估 本质上对交易记录的一个分类,所以对模型的评估,除了性能外,还需要评估“查全率”和“查准率”。...从实际应用情况来看,目前国内大部分团队使用Logistic回归+评分模型来,少数人使用决策树。

1.7K21

ML | 中的异常检测原理与应用

今天来介绍一下中的异常检测,从最基础的概念开始讲起,因为本人对这块的内容平时工作也做得不多,更多滴偏向于“纸上谈兵”,有什么说得不对的地方,也欢迎各位朋友指正~谢谢。...异常检测的概念 02 异常检测的难点 03 异常检测的分类及常见算法 01 异常检测的概念 异常检测(Anomaly Detection 或 Outlier Detection),又称为离群点检测,在我们领域很多地方都会用到...公式如下: 其中,A实际频数,E期望频数。...然后我们会基于Residual曲线离群点检测。...0306 基于聚类的算法 聚类算法我们遇过了很多,比如上面提到的KMeans,而利用聚类算法来异常检测无非基于3种假设。 1、孤立的,无法归属于任何簇的点为异常点。

2.2K20

ML | 建模老司机的几点思考与总结

ML」系列文章,主要是分享一下自己多年以来金融的一些事一些情,当然也包括建模、机器学习、大数据等相关技术分享,欢迎同行交流与新同学的加入,共同学习,进步!...02 数据搜集处理(Data Curation) 当我们确定了要开发的模型之后,这个时候需要做的搜集数据与处理数据了。...顾名思义,这一步也就是收集你可以用的数据去训练模型,而这是我认为最为重要的一步。...”或者无法上线的变量,这往往和业务逻辑挂钩的,在上一步的Business insight过程需要了解清楚。...如果一些深度学习相关的模型算法就另当别论。 3、对于模型算法的选择,如果不知道选啥,可以都试试看看效果最直接。

1.3K30

为本创新驱动,券商如何实现智能加速?

某证券行业头部券商在二十余年创新发展过程中逐渐形成了以为本创新驱动,服务实体经济发展的理念。在战略规划中将金融科技应用视作首要战略支柱,长远目标要打造智慧型数字化金融平台。...合规始终是公司的首要核心竞争力,该券商不断推进全面风险管理体系建设,需要全方位提升主动合规控管理能力,进而提升风险管理精细化、智能化水平。...而由于合规处于企业核心竞争力的高度,原数据积累10年,数据量已超30TB。...非现场平台各项报表和查询生成时间逐渐拉长。夜间批量任务越来越慢,部分任务出现超时失败现象。 02 原合规数据库数据量巨大,原有的传统的备份手段难以实现数据的实时保护。...价值提升 1 通过QData数据库云平台大幅提升了系统的业务效率,日终调度业务从原十几个小时缩短至1.5小时,性能提升10倍以上。

1.1K10

决策引擎经验

大家好,又见面了,我你们的朋友全栈君。 一套完整的体系,在中,少不了决策引擎,今天就浅谈一下决策引擎。...一、优先级 决策引擎一堆规则的集合,通过不同的分支、层层规则的递进关系进行运算。而既然组合的概念,则在这些规则中,以什么样的顺序与优先级执行便额外重要。...系统的作用在于识别绝对与标识相对风险,如果绝对,则整套的审核结果便将是“拒绝”。既然结果必然“拒绝”,则没必要运行完所有的规则,而主要单条触发“拒绝”即可停止剩余规则的校验。...具体的记录与统计内容,主要如下: 1、触发的具体规则 举例说明:通过两种不同的视角进行记录,一用户与订单层面,记录其所触发的明细规则;二规则层面,记录某条规则具体的触发率。...(聚信立) 四、建模 现金贷体系较简单。如果固定额度与固定费率式的产品业务定价,则体系更多的规则的集合。

99430

建模整体流程

确定建模目的 在信贷领域中建立模型是为了找出可能会逾期的客户,根据逾期的可能性和资金的松紧程度选择是否放贷。 在支付领域建立模型是为了找出可能存在非法经营的商户,保证商户没有违法经营。...确定好坏样本逻辑 在信贷领域中逾期大于x期(不同公司取值不同)的客户定义为坏客户(1),从未逾期的客户定义为好客户(0) 在支付领域中,有赌博、欺诈、套现、伪卡等行为的商户定义为坏商户(1)(具体根据模型要防的风险决定...特征工程 在领域一直都有这样一句话 “数据决定了机器学习的上限,而算法只是尽可能逼近这个上限”,这里的数据指的就是经过特征工程得到的数据。通俗的讲就是衍生变量去捕获风险客户。...模型上线 在支付领域如果模型验证没有问题,一般会上到线上,自动生成案例。在信贷中会模型搭配规则,判断申请贷款的人通过放贷、拒绝放贷、还是转人工处理。...本文所讲的都是大致流程,没有深入展开分析,在之后的各期中会逐步展开这里所讲的每一小点,给所有需要从事模型的同学一点建议。 以上都是我在建模过程中的一点经验总结,有不正之处恳请指正!

1.9K20

实时业务系统

账号:垃圾注册、撞库、盗号等 交易:盗刷、恶意占用资源、篡改交易金额等 活动:薅羊毛 短信:短信轰炸 项目介绍 实时业务系统分析风险事件,根据场景动态调整规则,实现自动精准预警风险的系统。...需要解决的问题 哪些风险事件,注册、登录、交易、活动等事件,需要业务埋点配合提供实时数据接入 什么样的事件有风险的,风险分析需要用到统计学,对异常用户的历史数据统计分析,找出异于正常用户的特征 实时性...,风险事件的分析必须毫秒级响应,有些场景下需要尽快拦截,能够给用户止损挽回损失 低误报,这需要人工经验,对各种场景风险阈值和评分的设置,需要长期不断的调整,所以灵活的规则引擎很重要的 支持对历史数据的回溯...,能够发现以前的风险,或许能够找到一些特征供参考 项目标签 轻量级,可扩展,高性能的Java实时业务系统 基于Spring boot构建,配置文件能少则少 使用drools规则引擎管理规则,原则上可以动态配置规则...使用redis、mongodb计算和事件储存,历史事件支持水平扩展 原理 统计学 次数统计,比如1分钟内某账号的登录次数,可以用来分析盗号等 频数统计,比如1小时内某ip上出现的账号,可以用来分析黄牛党等

2K10

数据体系-简介

早期传统金融的主要利用了信用属性强大的金融数据,一般采用20个维度左右的数据,利用评分来识别客户的还款能力和还款意愿。...结合中国互联网发展,以及目前的征信监管要求,对可用数据及可用类数据做一个全面的梳理。...2.数据来源 2.1 数据应用逻辑 常见流程中,客户准入时提供的资信材料有限,业务机构数据体量不足,仅仅根据内部风险数据进行风险评估会非常片面,无法全面的把某位客户的风险情况,所以通常需要依赖于第三方供应商提供数据作风支撑...未来百行能不能有效被使用上还有待观察,但人员可先了解其相关的资料。百行征信涉及的模块,主要包括以下方面: 报告相关数据:报告时间;查询原因;查询结果等。...4.2 明确需求 建议:回顾第二节数据应用逻辑关于业务类型、风险类型、流程、风险画像等的介绍。

3.7K64

AI 算法如何改变智能的 | 文末赠书

经验建议10:关于模型迭代与算法创新 创新算法的生命力,迭代模型的生命力,但是这两件事情之前,首先要确定一个“及格线”。...因此,GBDT类算法在智能、智能营销、智能投顾等领域均有广泛应用,并且目前智能领域算法的优先选择。 3. 经典资料(个人推荐) 【1】GBDT: Yoav Freund....由于特征的可解释性强,可以明确知道衍生的特征由原始的哪些特征组合而来,因此适合于领域建模。...(2) 半监督学习用于拒绝推断与回捞:  在实践中,通过半监督可以给拒绝的客户打伪标签,用于更新已有的模型,有两个好处:一,通过拒绝推断训练一个无偏的风险模型,避免由于缺少拒绝客户的样本数据,...本书不仅体系化地讲解了智能和反欺诈的体系、算法、模型以及它们在信贷领域实践的全流程,而且还从业务和技术两个角度讲解了传统的金融体系如何与智能方法实现双剑合璧。

48620

ML | 模型报告以及上线后需要监控的内容

一个优秀的模型上线报告以及一个优秀的上线后模型监控报表,在我们日常建模中是非常的常用并且有用的,今天这个话题就来和大家聊聊怎么去制作优秀的模型上线报告以及上线后的模型监控报表,主要聊聊思路,先要有一个全局的感受...以下内容均基于自己浅薄的经历提炼的,如有纰漏,欢迎指正或补充哦,欢迎交流~ 00 Index 01 聊聊为什么要做这件事 02 标配的模型上线报告应具备哪些内容 0201 模型现状 0202 KS值与各种曲线...02 标配的模型上线报告应具备哪些内容 0201 模型现状 想要突出你模型的好,你得先分析旧模型的不好。 比如说,把目前线上模型的实际表现进行统计,如KS值、分组排序性、PSI等基础指标。...0202 KS值与各种曲线 我们需要描述模型的效果,在领域最直接的指标就是KS值,我们一般会认为KS>0.3才具备最基本的上线要求,而且我们要保证训练集、测试集以及跨时间测试集都需要达到标准哦!...一般情况下,我们会对预测结果按照一定的阈值,进行分组,比如分为A/B/C/D/E/F共6组,越靠后就意味着越有可能高风险客户,我们给予一定的规则进行拦截。

2.7K20
领券