首页
学习
活动
专区
工具
TVP
发布
精选内容/技术社群/优惠产品,尽在小程序
立即前往

ML | 建模中怎么拒绝推断

00 Index 01 什么拒绝推断? 02 为什么要做拒绝推断? 03 什么时候拒绝推断? 04 拒绝推断都有哪些方法?...04 拒绝推断都有哪些方法 这里的方法介绍,我在知乎上看到汪哥的相关文章,写得真的太棒了!我比较难超越了,就把他的原文链接贴过来,大家可以去看看哦。...《建模中的样本偏差与拒绝推断》https://zhuanlan.zhihu.com/p/88624987 不过我也还是把他文章里的分类体系在这里重点再次分享一下。...06 总结一下 本文算是一个对拒绝推断的入门介绍了,让初涉模型的同学有一个相对来说比较清晰的全局认识,这里面涉及到的很多算法模型上的细节并没有展开来讲,因为我觉得这也会让阅读带来比较大的负担,公众号的文章还是要控制在几分钟内读完比较合适...Reference [1] 异常检测算法分类及经典模型概览 https://blog.csdn.net/cyan_soul/article/details/101702066 [2] 建模中的样本偏差与拒绝推断

1.5K30

金融科技|建模技术方案

建模的技术方案 1 逻辑回归模型 在银行的传统评分卡建模中,应用的也是逻辑回归模型。逻辑回归本质上一个线性分类模型。...对于金融科技公司在建模所遇到的大量的弱特征,如何挖掘多个特征之间的互补性,产生组合的分箱特征一个技术挑战。...一方面,深度学习模型都有很高的模型复杂度,需要大规模的样本数据,而领域要获取大规模的样本数据的成本极高。...另一方面,如前所述特征数据的维度间平行的,不存在邻近关系,较难利用CNN和RNN这样具有较好物理含义的深度学习模型,而简单的堆砌若干个全连接层在高维特征数据上很难得到一个稳定的模型。...总之,金融模型一个既传统又新鲜的技术问题。银行的模型已经随着银行业的发展应用了数十年。

1.7K30
您找到你想要的搜索结果了吗?
是的
没有找到

金融数据】消费金融:大数据那点事?

相对于传统金融来讲,互联金融面对的客户风险较高,其面临的挑战更大,对数据对要求就会更高。 三、互联网金融行业的挑战 中国的互联网金融企业愿意从美国挖一些人才来提高自身水平。...坏种子和数据模型重要输入,决定了模型的有效性。新兴的互联网金融公司,面对新的客户,缺少足够的种子用户来优化模型,同时也缺少用户的行为数据来完善用户风险评估卡。...互联网金融公司时,缺少坏种子用户和数据的冷启动对其一个较大的挑战。这种信贷违约和恶意欺诈的坏种子,不能够通过其他方式来解决,例如线下和向第三方购买。...大数据的一个最大的优势就是丰富了信用风险评估的数据纬度,这些用户行为信息,很大程度大数据采集和分析的结果,用户一般不会提供给金融行业的。...市场上大多数的征信公司和风公司都面临这些问题,数据的匹配率很多都低于20%,有的的公司,其数据匹配率低于8%,无法进行商用,吹牛的成分很大。

3.6K51

蚂蚁金服总监王黎强:智能助力新金融

本文为数据猿现场直播“蚂蚁金服总监王黎强:智能助力新金融”的发言实录。...2014年,我们又推出了保险服务,在安全服务上推出了智能理赔服务,并用大数据和人工智能的方式来识别哪一类客户真正需要我们理赔的客户,再之后推出花呗和借呗业务,我们构建了整个信贷前中后的风险体系。...第三阶段,大数据智能的体系,我们通过人工经验跟机器自身的学习,构建了一套智能化体系,这里面既做到了提前感知风险,又做到了风险自适应,而不是所有的风险防去用人工的方式修正,而更多的通过机器智能的方式进行整个体系的自我修复...举个例子,我们整个体系就像人的骨骼,数据人的血肉,AI人的大脑,三者有机结合在一起,构成了我们整个智能体系的框架。然后高效实时的运作起来,蚂蚁金服智能体系的第一个优势。...最后,我想用诺贝尔经济学得主罗伯特·希勒的一句话结尾,金融并非为了赚钱而赚钱,其存在是为了帮助实现社会的目标,一个好的社会重要的特征平等、相互尊重和欣赏。

2.7K61

金融评分卡建模全流程!

作者:桔了个仔,南洋理工大学,数据科学家 知乎丨https://zhuanlan.zhihu.com/p/148102950 本文摘要 本文将带领读者一起进行完整的建模全流程,了解银行风如何的...一、评分卡的分类 在金融领域,无人不晓的应该是评分卡(scorecard), 无论信用卡还是贷款,都有”前中后“三个阶段。...根据时间点的”前中后”,一般评分卡可以分为下面三类: A卡(Application score card)。目的在于预测申请时(申请信用卡、申请贷款)对申请人进行量化评估。...我们最熟悉的,莫过于支付宝的芝麻信用分,又或者知乎盐值(虽然知乎盐值不是评估金融风险的,但也算是评分卡的应用之一) 但是,随着信贷业务规模不断扩大,对工作准确率的要求也逐渐提升。...我们用的数据每个搞的人都熟悉的“Give Me Some Credit"数据集。本节会按照列出的六个步骤带你领略评分卡实际构建过程。 数据集地址:https://link.zhihu.com/?

8.2K50

金融科技|普惠金融下的智能信贷

一 普惠金融及智能 普惠金融一种以较低成本为社会各界人士(尤其欠发达地区和社会低收入者)提供较为便捷服务的金融服务体系。 风险管理商业银行经营发展的关键因素。...智能将大数据和人工智能等技术应用到风险控制环节,以提升风险控制的效率和精准度的一种模式。...在此环境下,普惠金融首先应顺应《个保法》规定,注意对银行客户相应信息脱敏处理,并保证个人信息的处理经过当事人的知情及同意;其次,中小银行可能因为样本不足而无法做出好模型,因此可通过与外部企业合作,合理利用内外数据并根据自身特色...(五)建设人才队伍,完善体系 人才队伍建设智能体系的核心力量,同时也是金融机构的核心竞争力。...只有将智能放在商业银行普惠金融经营发展的大环境中,才能真正处理好普惠金融中传统和智能的关系,综合评估和运用两者的优势,以一种更加平稳、循序渐进的方式推动智能化的平稳转型。

2.5K10

供应链金融及产业

在政府发布的相关政策中,不少都提及了供应链金融。2月19日,工信部发布了关于运用新一代信息技术来支撑服务和疫情防的通知,其中第11条就写到了要运用基于生产数据的供应链金融来保障企业的复产复工。...另一方面我们又经常会听到产业链金融,其实产业链金融金融的延伸,一种观念。在场景中去优化像信用支付的服务之类的服务从而实现节约成本、提升运营效率之类都可以被称作产业链的金融。...在供应链的生态里会有很多角色,核心企业的平台一类、金融机构一类,仓储企业一类,然后金融科技平台也是一类。这几类角色在“红利、资金、供给、服务、效率”这五个维度上的能力都有所侧重。...很明显核心企业的平台在此类场景的配合、资产的把和风的能力上具有一定的优势。 往深处讲,再一个就是金融机构。金融机构有更多的供给层面的资金,可以形成快速有效低成本的供给,甚至还具有一定的能力。...这四类角色要紧密地协同在一起,才能够把供应链金融这个事情的更好。 腾讯云在供应链金融中则是担任了金融科技的角色。那么,金融科技能够在供应链金融中起到一些什么作用呢?

5.8K01

供应链金融及产业

另一方面我们又经常会听到产业链金融,其实产业链金融金融的延伸,一种观念。在场景中去优化像信用支付的服务之类的服务从而实现节约成本、提升运营效率之类都可以被称作产业链的金融。...在供应链的生态里会有很多角色,核心企业的平台一类、金融机构一类,仓储企业一类,然后金融科技平台也是一类。这几类角色在“红利、资金、供给、服务、效率”这五个维度上的能力都有所侧重。...很明显核心企业的平台在此类场景的配合、资产的把和风的能力上具有一定的优势。 往深处讲,再一个就是金融机构。金融机构有更多的供给层面的资金,可以形成快速有效低成本的供给,甚至还具有一定的能力。...这四类角色要紧密地协同在一起,才能够把供应链金融这个事情的更好。 腾讯云在供应链金融中则是担任了金融科技的角色。那么,金融科技能够在供应链金融中起到一些什么作用呢?...---- 在后续课程中我们会继续为大家介绍 腾讯云对供应链金融科技解决方案、产业的相关内容 感兴趣的小伙伴可以点击“阅读原文”观看完整视频噢!

2.1K20

金融的护航员——聊聊ERNIE在度小满用户的应用

这意味着金融行业的需求异常迫切。面对更加下沉的客户群体、更加复杂的用户信息,既需要保证业务安全合规,也需要把尺度和客户体验之间的平衡。 那么现在的金融机构如何这些的呢?...传统金融机构里会请金融师、审核员等对借贷资质进行人工审核,但该工作对相关从业人员的要求极高,既要有相关的背景知识能够对客户的资信状况全面了解,又要求严谨认真,有独立的判断能力。...另外,传统的建模技术基于小样本的监督学习,依赖于特征挖掘,需要耗费大量人力且依赖个人经验。同时,对于小样本的文本类数据处理往往缺乏对上下文的理解,无法提取其重点,导致对用户的理解出现偏差。...度小满本次与百度的合作,目标将百度自研的持续学习语义理解框架ERNIE应用到度小满的用户场景中。 ?...在度小满用户场景中,通过ERNIE对用户行为信息进行语义层面深度建模,定制化产出一个用户ERNIE模型。

1.9K10

互联网金融7个问题

模型在良好的建立体系、评定方式、评分机制等基础上,进行有效的数据分析及评分体系,就是建立常用的模型方式; 首先,金融公司设计的任何形态的模型,都要符合自身企业的业务发展及市场需求,...纯互联网背景出身的互联网金融公司,应从哪几个方面去把关? 其实互联网金融公司和是不是纯互联网背景没有直接关系。关键从事了互联网金融你怎么去经营。 首先,你的体系的建立打算以哪种形态存在?...7.有效模型建立的必要条件哪些?目前市场现状如何?担保、小贷公司自己,还是委托给第三方? 模型之前已经阐述过了,这里就不做重复了。...关于市场现状,因为每个金融公司核心的就是部门,所以它一般为隐形部门,人员也是隐形人员 所以现状很多大的公司的人员,其实还是有行业经验、法律经验或者其他行业精英,也不能一概说人员就怎么乱...至于是否启用担保、小贷公司自己,还是委托给第三方,这个还是要看贵公司的企业战略方向的。

2.7K50

互联网金融模型「建议收藏」

一、市场调研 目前市面主流的模型 1、互联网金融前10名排行榜(数据截止日期2017-09-12) 互联网金融公司排名分别是蚂蚁金服、陆金所、京东金融、苏宁金融、百度金融、腾讯理财通、宜信、钱大掌柜...数据抽象层: 按关注的业务数据整合,这层最贴近业务的。...这些工作建模人员在大数据环境中也就是离线的,那么,怎么把训练的模型应用到线上实时呢,下图架构: 京东金融目前正在开发机器学习平台,让懂机器学习的人就可以使用机器学习想的事情,当前懂机器学习的人不在少数...总之,互联网金融核心还是服务客户,提升产品价值,最大程度的做到差异化的防范,智能化的发展方向,京东金融从开始就致力于打造智能化的风险管解决方案。...因此风显的更加尤为重要。通过模型获取优质的资产。 二、模型 模型应该是从两个角度去考虑,第一个角度资产端策略,第二个角度资金端策略。

2.1K10

综述 | GNN金融领域业界进展调研

前言: 本文重点: 工业界 金融欺诈领域上 GNN的应用及进展 注: 本文仅针对 可用「深度图神经网络解决」的 - 「金融」相关的任务论文 「除深度图神经网络之外,业界常用经典图算法」 & 「除金融欺诈领域之外...WordNet一个覆盖范围宽广的英语词汇语义网 金融类 - 数据集现状 总述: 图深度学习技术应用在领域已经证明有效且必要的,但发展时间较短,整体进程还处在发展初期阶段。...(都和我们预期的银行金融数据不同,且蚂蚁金服数据未开源) 3⃣️金融方向GNN业界进展 3.1 阿里蚂蚁 由于蚂蚁金服为上亿级的个人用户提供服务,产生的金融数据从一开始就是海量且极其复杂的。...本文在传统运费险的基础上,详细介绍了蚂蚁金服人工智能部如何用图学习的方法,抓取更多的骗保行为 退货买家常见的诉求。...主要应用于以下场景: 金融场景:万亿级边资金网络,存储实时交易信息,实时欺诈检测。 推荐场景:股票证券推荐。 蚂蚁森林:万亿级的图存储能力,低延时强一致关系数据查询更新。

3K20

金融数据管理——海量金融数据离线监控方法

作者:housecheng  腾讯WXG工程师 |导语  解决金融数据监控“开发门槛高”“重复工作多”的痛点,实现PSI计算性能十倍速提升。...背景 在金融业务上,质量和稳定是生命线,我们需要对所有已经上线的要素,如策略、模型、标签、特征等构建监控。...在过去,我们部署监控的方式为: 要素负责同学在要素上线前,通过spark\sql完成对监控指标的运算并例行化; 将监控指标运算结果出库mysql\tbase,用于指标的展示和告警; 告警系统轮询指标是否异常...这种模式主要的问题在于: 开发门槛高,要素负责同学需要掌握spark离线计算、mysql等数据库的增删数据,还需要手动配置例行化任务,在告警系统上登记注册等,耗时费力; 重复工作多,要素指标相似、重合度很高,如多数要素都涉及...小结 针对金融要素监控的“开发门槛高”“重复工作多”等问题,本文提出了“统一监控计算与检查工具”这一解决方案,本文详细论述了该方案TaskMaker、 Calculator、 Checker等各个模块的设计实现

2.6K10

金融科技&大数据产品推荐: 数美金融—构建立体的全业务流程体系

从设备、注册到信贷申请,再到贷后预警等各个环节进行全方位的欺诈风险、信用风险控制,提升金融机构企业的能力,减少资金与品牌损失。...的产品投递 1、产品名称 数美全业务流程体系 2、所属分类 金融科技 · 、反欺诈 3、产品介绍 数美依托强大的AI技术与海量基础数据,为金融机构提供覆盖全业务流程的完整风解决方案。...从设备、注册到信贷申请,再到贷后预警等各个环节,进行全方位的欺诈风险、信用风险控制,提升金融机构企业的能力,减少资金与品牌损失。...作为反欺诈领域专业品牌,数美经过2年的实践与积累,构建了立体的全业务流程体系,可有效帮助金融机构进行反欺诈与。...这让金融企业面临着来自市场与黑灰产的双重挑战,并因此催生了对新金融的需求。 数美将企业沉淀数据与自身数据库相结合,一站式的帮助企业解决欺诈问题。

2.5K30

金融的迁移学习及实践(Tabular Data)

这样可以大大减少当前任务需要的数据,而且预训练模型基于大样本学习的经验,下微调,应用效果也杠杠的。 二、的迁移学习 回到金融任务,需要寄望于迁移学习的场景还是挺多的。...面对的主要是结构化数据(Tabular Data),一个任务的数据组成、特征含义就很复杂多样了,尽管可以抽取出同一组特征表示,数据分布可能也是天差地别。这种情况下怎么迁移学习呢?...下面结合的信用评分卡的任务,具体介绍迁移学习方法及项目代码实践。 首先先下任务的背景介绍。...信用评分卡领域的核心任务之一,依据如个人基本信息、经济能力、贷款历史信息,用于判断借贷用户的按时还款的概率。...本文数据来源github.com/aialgorithm/Blog《一文梳理金融建模全流程(Python)》 2.1 基于样本的迁移 基于样本的迁移,通过迁移源域的某些样本或设定样本权重到目标域学习

34130

互联网金融中的数据科学

传统金融面临的信用风险比较大,主要是还款能力的问题。而在线上进行欺诈普遍利用一些黑科技,国内的欺诈手段非常的复杂。 传统都是使用一些基于规则的手段。...银行采取的信贷员模式,而在互联网金融中,我们是以一种线上信贷工厂的模式,快速经过系统的体系审核,就可以批贷。这其中欺诈风险控制成为我们最大的一个挑战。...传统的应对方法使用人工审查、信用黑名单或是基于规则的一些方法。这样的缺点效率太低,,没有权威的黑名单,欺诈手段更新太快,不能自动发现异常。...知识图谱在金融中的应用场景 互联网金融中的一种机器学习的过程 互联网金融中风和机器学习一样要定义Y目标和X变量。 Y目标和普通机器学习Y目标的区别就在于正负比例非常悬殊。...FinGraph线上风险统中关键的一环 ? 总结:数据科学在互联网金融中发扬 图挖掘技术可以把风工作,从局部考量提升到全局考量。

2.5K50

数据挖掘实践(金融):金融之贷款违约预测挑战赛(上篇)xgbootslightgbmCatboost等模型--模型融合:stacking、blend

数据挖掘实践(金融):金融之贷款违约预测挑战赛(上篇)xgboots/lightgbm/Catboost等模型--模型融合:stacking、blending 1.赛题简介 赛题以金融中的个人信贷为背景...通过这道赛题来引导大家了解金融中的一些业务背景,解决实际问题,帮助竞赛新人进行自我练习、自我提高。...信用评分卡用于用户信用的一张刻度表。以下代码一个非标准评分卡的代码流程,用于刻画用户的信用评分。评分卡金融中常用的一种对于用户信用进行刻画的手段哦!...数值型特征本是可以直接入模的,但往往人员要对其分箱,转化为WOE编码进而标准评分卡等操作。...项目链接以及码源 数据挖掘专栏 数据挖掘实践(金融):金融之贷款违约预测挑战赛(上篇) 数据挖掘实践(金融):金融之贷款违约预测挑战赛(下篇)

4.4K110

新人赛《金融贷款违约》避坑指南!

作者:陶旭东,北京师范大学,Datawhale成员 一、背景介绍 本文以天池的金融赛为背景,梳理了金融的整个实践流程,帮助大家避坑学习。...赛事的场景个人信贷,要求选手根据贷款申请人的数据信息预测其是否有违约的可能,以此判断是否通过此项贷款,这个问题在现实的场景中很常见,属于典型的分类问题。...二、数据概况 数据下载地址:https://tianchi.aliyun.com/competition/entrance/531830/information(阿里天池-金融赛事) 本次数据训练集...比如特征‘grade’中的属性为等级A,B,C等,不同的类别属性A,B,C之间和逾期率正比关系的。 数值型特征本是可以直接入模的,但往往人员要对其分箱,转化为WOE编码进而标准评分卡等操作。..., 1, 1, 1, 1] FPR,TPR,thresholds=roc_curve(y_true, y_pred) KS=abs(FPR-TPR).max() print('KS值:',KS) 在金融中一般将用户违约率预测的概率转化为评分卡分数

2.7K62

机器学习在金融的经验总结!

金融场景的特殊性 与电商、广告等场景的不同,金融有关「钱」的安全,决定了公司的营收甚至公司的生命线。例如360金融月放款200亿,如果违约率上升1个点,损失有多大?...由于这样的特殊性,在Kaggle比赛、推荐等领域中大发光彩的机器学习算法,却容易在金融场景中「水土不服」。道理很简单,不是算法不够强大,而是没有抓住金融的核心:「可解释性、稳定性」。...下面笔者从数据质量评估、模型设计、特征工程、线上监控环节介绍下在金融场景实践的一些经验和踩过的坑。...一、数据质量评估:数据万坑之源 模型不稳定,效果不好,绝大多数数据质量的问题,而在金融场景表现得更为突出,一方面因为要回溯历史很长时间的数据,另外是因为流程比较复杂,模型实时性等特征。...「不熟悉业务的坑」 信贷流程每个环节的数据不同的。

2.4K21
领券