展开

关键词

数据体系-简介

早期传统金融的主要利用了信用属性强大的金融数据,一般采用20个维度左右的数据,利用评分来识别客户的还款能力和还款意愿。 结合中国互联网发展,以及目前的征信监管要求,对可用数据及可用数据做一个全面的梳理。 2.数据来源 2.1 数据应用逻辑 常见流程中,客户准入时提供的资信材料有限,业务机构数据体量不足,仅仅根据内部风险数据进行风险评估会非常片面,无法全面的把某位客户的风险情况,所以通常需要依赖于第三方供应商提供数据作风支撑 未来百行能不能有效被使用上还有待观察,但人员可先了解其相关的资料。百行征信涉及的模块,主要包括以下方面: 报告相关数据:报告时间;查询原因;查询结果等。 4.2 明确需求 建议:回顾第二节数据应用逻辑关于业务类型、风险类型、流程、风险画像等的介绍。

1.5K63

ML | 建模的KS

我们这做模型的时候,经常是会用KS值来衡量模型的效果,这个指标也是很多领导会直接关注的指标。今天写一篇文章来全面地剖析一下这个指标,了解当中的原理以及实现,因为这些知识是必备的基本功。 不过这不影响我们去使用它,我们只需要知道在中是怎么实现的,并且在实际场景中怎么去使用它就可以了。就如上面我们说的,KS在主要是用于评估模型的好坏样本区分度高低的。什么是区分度? 可以看下图: 从业务上来说,就是越往后的箱子,客户的质量越差,rate整体上呈现单调性,从而可以把大多数的坏人,直接从箱的维度上就可以区分开来了,在后续的策略使用体验上十分友好。 02 KS的生成逻辑 KS的生成逻辑公式也是十分简单: 好样本累计占比坏样本累计占比 在领域,我们在计算KS前一般会根据我们认为的“正态分布原则”进行分箱,一般来说分成了10份,然后再进行KS的计算 03 KS的效果应用 KS的值域在0-1之间,一般来说KS是越大越有区分度的,但在领域并不是越大越好,到底KS值与模型可用性的关系如何,可看下表: 004 KS的实现 首先我们来对上面展示的例子进行

10930
  • 广告
    关闭

    腾讯云图限时特惠0.99元起

    腾讯云图是一站式数据可视化展示平台,旨在帮助用户快速通过可视化图表展示大量数据,低门槛快速打造出专业大屏数据展示。新用户0.99元起,轻松搞定数据可视化

  • 您找到你想要的搜索结果了吗?
    是的
    没有找到

    中的大数据

    的意义 何为?字面含义就是对于风险的控制从而使财务不受到损失。对于任何一家金融机构(包括银行,小贷,P2P等)来说,的重要性超过流量、体验、品牌这些人们熟悉的指标。 这其中除了一部分明显的自融欺诈外,大多数平台垮掉的原因还是不过关。 ◆◆◆ 2. 的核心 风险控制需要做什么?与逾期率的绝对数值相比,对风险的控制能力要重要得多。 国际上传统的方法 的核心是要准确预测每一笔借款违约概率。显而易见,这需要量化的工具,也就是模型。 ◆◆◆ 4.机构在大数据领域的探索 我们所说的"大数据"并非指绝对的样本量的巨大,而是把常规的信贷征信数据以外的信息统一称为"大数据"。 大数据的挑战 伴随着机遇同样也有挑战。就像要有美味的菜肴,我们既需要好的材料,也需要好的厨师,当前大数据中运用的挑战主要还是在数据和人才这两方面。

    1K120

    2018中国大数据调研报告:百亿大数据市场

    22420

    ML | 建模的WOE与IV

    ML」系列文章,主要是分享一下自己多年以来做金融的一些事一些情,当然也包括建模、机器学习、大数据等相关技术分享,欢迎同行交流与新同学的加入,共同学习,进步! 第一次接触这两个名词是在做模型的时候,老师教我们可以用IV去做变量筛选,IV(Information Value),中文名是信息值,简单来说这个指标的作用就是来衡量变量的预测能力强弱的,然后IV又是 04 Python实现 我们知道,针对连续型变量,是需要先转换为类别变量才可以进行IV值的计算的,现在我们把数据导入到Python中,原始变量是连续型变量,那么我们如何在Python里实现IV值的计算呢 测试数据集可以后台回复 'age' 进行获取。 ,不过得注意一些细节,转换数据格式。‍

    13320

    机器学习与大数据

    但机器学习在中的作用究竟如何,有哪些关键技术,其优势与缺点又有哪些呢?本期硬创公开课,雷锋网邀请百融金服风险总监郑宏洲,来讲讲机器学习与大数据的那些事。 嘉宾介绍: 郑宏洲,百融金服风险总监。 国内商业银行模型团队多年管理经验,专注于大数据机器学习、信贷风险策略、模型评分管理等领域。从事大数据分析和信贷风险管理近十年,在金融行业的数据分析、平台架构、模型研究和风险策略等方面有深刻的理解。 机器学习几乎在每一个有数据的场景都有应用。它主要是区别于纯粹人工经验去做决策。 雷锋网:目前来说,机器学习在大数据中是怎么样的地位?作用多大? 大数据是量化的一种新形式,出现主要的条件是,现代社会是一个信息社会,在信息和数据上极大的膨胀,这给我们有更全面衡量个体风险的机会。 区别于传统技术,大数据是在方法论上做了相应的革新。风险,即不确定性。风险管理实际上就是做量化风险。大数据是将贷款主体各个方面的属性维度做全面风险的量化。

    1.1K80

    1.1 原则

    风险管理的目标是减少和消除EL,但是更concern UL,A对 承担风险的数量和潜在损失的大小不是绝对相关的,B错 风险管理的最后一步是监控,C错 风险...

    1.2K40

    2017年大数据报告

    二是通过大数据、云计算等手段,在风险防范、风险管方面实现了线上化和批量化。 其中,大数据技术解决了消费金融乃至小微金融领域的效率瓶颈。 目前,有能力推动大数据的主要为国有大行、股份制银行等大型银行,以及部分城商行等。互联网巨头、三大运营商等由于掌握了庞大的个人数据,也开始加入到这一市场中来。 从国内金融机构应用大数据的情况看,主要将大数据应用在客户画像领域,包括风险管、运营优化、业务创新、优化营销策略等。 “白名单”主动预授信 在消费金融中,银行、互联网金融等机构开始采用前置的白名单邀请制,商业银行将主动授信用于实际业务,这是对以往被动授信模式的颠覆。 就国内商业银行而言,将风险评分等技术手段引入信用贷款模型,是一些银行信用贷款业务爆发、不良下降的核心原因。

    80600

    ML | 中的异常检测原理与应用

    今天来介绍一下中的异常检测,从最基础的概念开始讲起,因为本人对这块的内容平时工作也做得不多,更多滴偏向于“纸上谈兵”,有什么说得不对的地方,也欢迎各位朋友指正~谢谢。 异常检测的概念 02 异常检测的难点 03 异常检测的分类及常见算法 01 异常检测的概念 异常检测(Anomaly Detection 或 Outlier Detection),又称为离群点检测,在我们领域很多地方都会用到 0301 基于统计检验与分布算法 说起异常点检测,最容易想到的就是这个正态分布图了,3倍方差之外的数据属于异常数据。 它是在1977年由美国统计学家John Tukey发明,分析数据需要为定量数据,通过它可以直观的探索数据特征。我们可以从箱线图中直观地看到两点:数据离散分布情况以及离群点。 而右边为解码器,它负责把压缩了的数据再进行还原,努力恢复成原本的样子。如果恢复不了,那就意味着样本不是同一类,可以归纳为异常数据。 4、混合DAD:深度学习模型提取特征+SVM进行分类。

    10320

    【金融数据】消费金融:大数据那点事?

    数据同传统在本质上没有区别,主要区别在于模型数据输入的纬度和数据关联性分析。 大数据作为传统方式补充,主要利用行为数据来实施风险控制,用户行为数据可以作为另外的30%客户的有效补充。 相对于传统金融来讲,互联金融面对的客户风险较高,其面临的挑战更大,对数据对要求就会更高。 三、互联网金融行业的挑战 中国的互联网金融企业愿意从美国挖一些人才来提高自身水平。 大数据的优势: 1、用户行为数据成为数据 最好的数据还是金融数据,例如年龄、收入、职业、学历、资产、负债等信用数据,这些数据同信用相关度高,可以反映用户的还款能力和还款意愿,这些数据因子在模型中必不可少 大数据可以从数据纬度和分析角度提升传统水平,是一个必要的补充,可以让传统更加科学严谨,但是不是取代传统的模型和数据

    1.5K51

    为本创新驱动,券商如何实现智能加速?

    合规始终是公司的首要核心竞争力,该券商不断推进全面风险管理体系建设,需要全方位提升主动合规控管理能力,进而提升风险管理精细化、智能化水平。 面临挑战 该券商的数据基础主要来自于业务系统的关系型数据库的数据,需要在数据基础之上实现数据的运营。而由于合规处于企业核心竞争力的高度,原数据积累10年,数据量已超30TB。 02 原合规数据数据量巨大,原有的传统的备份手段难以实现数据的实时保护。备份效率低下,备份作业被持续拉长,甚至影响高峰期间开展业务。为避免对业务的性能影响,不得已取消备份任务。 解决方案 沃趣科技以QData高性能数据库云平台作为数据库基础架构平台替换原传统“烟囱式”系统架构,承载合规核心数据库系统,助力业务处理效率大幅提升。 价值提升 1 通过QData数据库云平台大幅提升了系统的业务效率,日终调度业务从原十几个小时缩短至1.5小时,性能提升10倍以上。

    23410

    ML | 建模老司机的几点思考与总结

    ML」系列文章,主要是分享一下自己多年以来做金融的一些事一些情,当然也包括建模、机器学习、大数据等相关技术分享,欢迎同行交流与新同学的加入,共同学习,进步! 02 数据搜集处理(Data Curation) 当我们确定了要开发的模型之后,这个时候需要做的是搜集数据与处理数据了。 搜集数据,不需要等到所有的特征都搜集完才开始开发特征或者训练模型,有多少数据,就先搞多少数据。 在了解了以上的内容后,你就可以开始搜集所有相关的数据了,因为你的数据源会非常多,所以这里你必须做好数据的归档,不然后期会很乱,而且原始数据需要备份一份不要动,方便后续复盘使用。 具体可以参考我先前的一篇文章内容《分享8点超级有用的Python编程建议》 搞到数据后,需要做的事情大概可以分为: 1、消化所有的数据含义、逻辑; 2、对数据进行各种清洗,变成你熟悉的结构; 3、对数据进行质量控制

    22920

    建模整体流程

    确定建模目的 在信贷领域中建立模型是为了找出可能会逾期的客户,根据逾期的可能性和资金的松紧程度选择是否放贷。 在支付领域建立模型是为了找出可能存在非法经营的商户,保证商户没有违法经营。 确定好坏样本逻辑 在信贷领域中逾期大于x期(不同公司取值不同)的客户定义为坏客户(1),从未逾期的客户定义为好客户(0) 在支付领域中,有赌博、欺诈、套现、伪卡等行为的商户定义为坏商户(1)(具体根据模型要防的风险决定 特征工程 在领域一直都有这样一句话 “数据决定了机器学习的上限,而算法只是尽可能逼近这个上限”,这里的数据指的就是经过特征工程得到的数据。通俗的讲就是衍生变量去捕获风险客户。 模型上线 在支付领域如果模型验证没有问题,一般会上到线上,自动生成案例。在信贷中会模型搭配规则,判断申请贷款的人是通过放贷、拒绝放贷、还是转人工处理。 模型更迭 一般半年左右,模型需要更迭,具体看数据的偏斜程度。 本文所讲的都是大致流程,没有深入展开分析,在之后的各期中会逐步展开这里所讲的每一小点,给所有需要从事模型的同学一点建议。

    85020

    决策引擎经验

    而一些规则,需借助爬虫接口,且需待将爬取到的数据经过二次加工与汇合之后,再对汇合的总值进行判断,如手机运营商手机使用时长,则此类规则应后置运行。 而对数据的提炼与作用过程,将使用到“参数”的定义。“参数”决定了区间和上下限范围,一条规则通常作用于某一数据类型,依据此数值是否满足“参数”的定义范围,得出是否可通过的结论。 由于最终还是数据“喂出来”的结果,的本质就是数据,而非主观臆断的设限,故而,随着数据样本与内容的不断发展,必然将会涉及到一些动态的调整,后期可能会发现原本设定的“参数”过于严谨而导致审核通过较低 三、记录与统计 最终到底是“跑出来”的,所以,整个系统对所有不同规则的触发需进行有效的记录与统计,以便后期可支持数据分析与模型调整的相关工作。 3、数据源内容 举例说明:某些规则是通过二次数据解析与汇总进行的,但原始数据需要进行保存,诸如手机账单的通话明细数据,此部分数据一是可作为规则使用,二是未来可用作于催收与贷后管理。

    6830

    中必做的数据分析

    数据领域就没有不做数据分析的,大数据也不例外。 我的观点是和其他互联网业务都是互通的,本文介绍下风中必做的数据分析,用以说明数据分析是一通百通的。 工欲善其事,必先利其器。 01 业务理解 如果一家金融机构聘请你给他们的业务做咨询,你知道怎么办吗? 别告诉我,你想硬搬建模比赛的那套东西。不要掉价。 解决方案一定是针对当前业务和用户客群独家定制的。 通过KYC,你可以大致知道发力的方向在哪里,是拓展新户还是挖掘存户,是提升能力还是优化产品设计,等等。 02 漏斗分析 进件漏斗分析可以帮助我们定位到产品设计的薄弱位置,从而针对优化。 vintage分析把不同期的样本放在了一起,可以用来观察不同期客群风险的变化,然后确定是流量本身的变化,还是宏观形形势的变化,还是策略的变化等等。 如大家所见,在领域所在的数据分析,应该和其他互联网领域的数分并无本质区别。 因为和其他业务一样,本质都是用户生命周期管理。基于相同的底层逻辑,数据分析必然也并无二致。

    23530

    实时业务系统

    账号:垃圾注册、撞库、盗号等 交易:盗刷、恶意占用资源、篡改交易金额等 活动:薅羊毛 短信:短信轰炸 项目介绍 实时业务系统是分析风险事件,根据场景动态调整规则,实现自动精准预警风险的系统。 ,风险事件的分析必须毫秒级响应,有些场景下需要尽快拦截,能够给用户止损挽回损失 低误报,这需要人工经验,对各种场景风险阈值和评分的设置,需要长期不断的调整,所以灵活的规则引擎是很重要的 支持对历史数据的回溯 ,能够发现以前的风险,或许能够找到一些特征供参考 项目标签 轻量级,可扩展,高性能的Java实时业务系统 基于Spring boot构建,配置文件能少则少 使用drools规则引擎管理规则,原则上可以动态配置规则 使用redis、mongodb做计算和事件储存,历史事件支持水平扩展 原理 统计学 次数统计,比如1分钟内某账号的登录次数,可以用来分析盗号等 频数统计,比如1小时内某ip上出现的账号,可以用来分析黄牛党等 ; 扩展规则,针对需要解决的场景问题,添加特定规则,分值也应根据自身场景来调整。

    8110

    中的大数据和机器学习

    本篇文章只关注个人信用借款的。抵押贷,企业贷不在讨论范围中。 ◆ ◆ ◆ 1. 的意义 何为?字面含义就是对于风险的控制从而使财务不受到损失。 国际上传统的方法 的核心是要准确预测每一笔借款违约概率。显而易见,这需要量化的工具,也就是模型。 机构在大数据领域的探索 我们所说的“大数据”并非指绝对的样本量的巨大,而是把常规的信贷征信数据以外的信息统一称为“大数据”。 大数据的挑战 伴随着机遇同样也有挑战。就像要有美味的菜肴,我们既需要好的材料,也需要好的厨师,当前大数据中运用的挑战主要还是在数据和人才这两方面。 2015年4月,基于8年累计的行业内最大最长的信贷历史数据,拍拍贷发布了业内第一个基于大数据建模的系统—魔镜。自从上线以来,魔镜在有效地控制风险的同时,也极大地提高了效率。 ?

    49830

    ML | 模型报告以及上线后需要监控的内容

    一个优秀的模型上线报告以及一个优秀的上线后模型监控报表,在我们日常建模中是非常的常用并且有用的,今天这个话题就来和大家聊聊怎么去制作优秀的模型上线报告以及上线后的模型监控报表,主要聊聊思路,先要有一个全局的感受 以下内容均基于自己浅薄的经历提炼的,如有纰漏,欢迎指正或补充哦,欢迎交流~ 00 Index 01 聊聊为什么要做这件事 02 标配的模型上线报告应具备哪些内容 0201 模型现状 0202 KS值与各种曲线 02 标配的模型上线报告应具备哪些内容 0201 模型现状 想要突出你模型的好,你得先分析旧模型的不好。 比如说,把目前线上模型的实际表现进行统计,如KS值、分组排序性、PSI等基础指标。 0202 KS值与各种曲线 我们需要描述模型的效果,在领域最直接的指标就是KS值,我们一般会认为KS>0.3才具备最基本的上线要求,而且我们要保证训练集、测试集以及跨时间测试集都需要达到标准哦! 一般情况下,我们会对预测结果按照一定的阈值,进行分组,比如分为A/B/C/D/E/F共6组,越靠后就意味着越有可能是高风险客户,我们给予一定的规则进行拦截。

    12520

    蚂蚁金服总监王黎强:智能助力新金融

    本文为数据猿现场直播“蚂蚁金服总监王黎强:智能助力新金融”的发言实录。 但是事实上这个体系还不够完善,因为不仅仅是一个冷冰冰的数据和机器,更多的还要看到客户体验。我们既要做到保障整个安全,还要兼顾到用户的体验。 第三阶段,大数据智能的体系,我们通过人工经验跟机器自身的学习,构建了一套智能化体系,这里面既做到了提前感知风险,又做到了风险自适应,而不是所有的风险防去用人工的方式做修正,而更多的是通过机器智能的方式进行整个体系的自我修复 通过多年的努力,我们构建了一套全方位立体化智能的体系,这里我可以分享几个数据: 第一个数据是一百毫秒。 举个例子,我们整个体系就像人的骨骼,数据是人的血肉,AI是人的大脑,三者有机结合在一起,构成了我们整个智能体系的框架。然后高效实时的运作起来,是蚂蚁金服智能体系的第一个优势。

    1.2K61

    相关产品

    • 业务风险情报

      业务风险情报

      业务风险情报(Business Risk Intelligence,BRI)为您提供全面、实时、精准的业务风险情报服务。 通过简单的API接入,您即可获取业务中IP、号码、APP、URL等的画像数据,对其风险进行精确评估,做到对业务风险、黑产攻击实时感知、评估、应对、止损。 您也可利用业务风险情报服务搭建或完善自身的风控体系,补充自身风险情报数据,提升对风险的感知、应对能力。 BRI 支持按需付费,您可根据您的需求,选取不同的套餐,更易优化成本。

    相关资讯

    热门标签

    活动推荐

    扫码关注腾讯云开发者

    领取腾讯云代金券