首页
学习
活动
专区
工具
TVP
发布
精选内容/技术社群/优惠产品,尽在小程序
立即前往

大数据模型是什么?哪些

摘要:在互联网金融行业,不少人可能这样觉得:认为只要数据够“大”,就能有最牛逼的体系和行业最低的坏账率。...在互联网金融行业,不少人可能这样觉得:认为只要数据够“大”,就能有最牛逼的体系和行业最低的坏账率。这种理解有些过于简单了。...其实,做大数据是一个挺细致的事儿,大数据,重要的不是数据本身,而是对数据的理解。...大数据模型是什么 指标体系 大数据圈流行一句话:数据决定了数据分析的上限,而模型做的是逼近这个上限。...模型 大数据更多应用与小微互金贷款,因此更多是还款意愿的控制,欺诈风险会比较高,因此构建好的反欺诈模型就非常重要,目前一般分三种: 1.

1.3K20

建模中的自动分箱的方法哪些

自动分箱的常用方法哪些?评估分箱效果好坏的方法哪些? 如果篇幅允许,就顺便把实现的Python代码也分享下,如果太长了就另外起一篇文章来讲。因此,本篇文章主要从下面几个模块来展开说说。...02 常见的自动分箱方法哪些? 03 如何评估分箱效果的好坏 04 设计一个基于建模的自动分箱轮子 01 分箱是什么意思,为什么要分箱,什么时候分箱?...要回答这个问题,我们先要搞清楚分箱的好处哪些,主要有2点: 1)对变量进行分箱后,会对异常数据有较强的鲁棒性,变量会更加稳定; 2)变量分箱后,对于建模常用的LR,这种表达能力有限的线性模型,可以提升模型的表达能力...Actually,对于评分卡的大多数模型,是可以的,只不过有些模型,如果直接把连续变量进入模型的话,带来的模型效果会不太理想。...《建模的WOE与IV》 04 设计一个基于建模的自动分箱轮子 一般来说,如果要造一个基于建模的连续变量分箱框架,需要考虑什么内容呢?

2.7K31
  • 您找到你想要的搜索结果了吗?
    是的
    没有找到

    金融科技|建模技术方案

    建模的技术方案 1 逻辑回归模型 在银行的传统评分卡建模中,应用的也是逻辑回归模型。逻辑回归本质上是一个线性分类模型。...因此,在处理大量的高维度弱特征数据时树模型很广泛的应用,并取得了出色的实际效果。...一方面,深度学习模型都有很高的模型复杂度,需要大规模的样本数据,而领域要获取大规模的样本数据的成本极高。...另一方面,如前所述特征数据的维度间是平行的,不存在邻近关系,较难利用CNN和RNN这样具有较好物理含义的深度学习模型,而简单的堆砌若干个全连接层在高维特征数据上是很难得到一个稳定的模型。...总之,金融模型是一个既传统又新鲜的技术问题。银行的模型已经随着银行业的发展应用了数十年。

    1.7K30

    金融数据】消费金融:大数据那点事?

    坏种子对识别出欺诈用户和潜在违约用户十分关键,模型是否有效的一个前提就是是否足够多的坏种子。...相对于传统金融来讲,互联金融面对的客户风险较高,其面临的挑战更大,对数据对要求就会更高。 三、互联网金融行业的挑战 中国的互联网金融企业愿意从美国挖一些人才来提高自身水平。...很多风模型到了中国之后并不适合,因此很多中国领先的互联网金融公司并没有采用美国的模型,大多是自己开发模型。...恶意欺诈的共性信息较少,即使大量的坏种子,也不好建立模型来实施控制, 互联网金融公司只能依靠经验、客户信息验证、部分行为数据来实施反欺诈。...5.模型冷启动问题 每年都有大量互联网金融公司出现,成了所有互联网金融公司的核心竞争力。每一家互联网金融公司都会建立模型,实施信用风险管理。

    3.8K51

    金融评分卡建模全流程!

    一、评分卡的分类 在金融领域,无人不晓的应该是评分卡(scorecard), 无论信用卡还是贷款,都有”前中后“三个阶段。...根据时间点的”前中后”,一般评分卡可以分为下面三类: A卡(Application score card)。目的在于预测申请时(申请信用卡、申请贷款)对申请人进行量化评估。...评分卡种类 美国fico公司算是评分卡的始祖,始于 20世纪六十年代。Fico的评分卡的示例如下(这是个贷前评分卡,也就是A卡): ?...我们最熟悉的,莫过于支付宝的芝麻信用分,又或者知乎盐值(虽然知乎盐值不是评估金融风险的,但也算是评分卡的应用之一) 但是,随着信贷业务规模不断扩大,对工作准确率的要求也逐渐提升。...在做特征筛选时,我们怎么判断哪些特征有用,哪些特征没啥用呢?特征筛选多种方法,其中一种是,我们可以计算IV(Information Value)来判断特征对结果的重要度。计算公式如下: ?

    8.9K61

    蚂蚁金服总监王黎强:智能助力新金融

    本文为数据猿现场直播“蚂蚁金服总监王黎强:智能助力新金融”的发言实录。...本届峰会主要从「消费金融」、「供应链金融」、以及「金融前沿科技探索」三个角度深入探索数据智能为金融领域带来哪些颠覆式的变革!...第三个数据是20亿,我们整个体系当前能够并发处理的行为事件20亿,而这20亿的行为事件是通过一百毫秒实时的计算,并给出决策的过程,我们构建的是一个高并发的、稳定的智能体系,保障了用户的资金跟账户的安全...蚂蚁金服的智能体系哪些核心的优势?我们总结下来三个: 第一个优势,强大的技术跟算法。...第二个优势,我们构建了一个全球的网络,在一个巨大的网络里,我们知道哪些节点风险,并可以有效去规避这类风险的发生。

    2.7K61

    供应链金融及产业

    在政府发布的相关政策中,不少都提及了供应链金融。2月19日,工信部发布了关于运用新一代信息技术来支撑服务和疫情防的通知,其中第11条就写到了要运用基于生产数据的供应链金融来保障企业的复产复工。...简单来看,供应链金融三个基础模式,但是大的核心逻辑还是会围绕一个核心企业和使用过它的上下游供应商和经销商。...很明显核心企业的平台在此类场景的配合、资产的把和风的能力上具有一定的优势。 往深处讲,再一个就是金融机构。金融机构更多的供给层面的资金,可以形成快速有效低成本的供给,甚至还具有一定的能力。...这四类角色要紧密地协同在一起,才能够把供应链金融这个事情做的更好。 腾讯云在供应链金融中则是担任了金融科技的角色。那么,金融科技能够在供应链金融中起到一些什么作用呢?...---- 在后续课程中我们会继续为大家介绍 腾讯云对供应链金融科技解决方案、产业的相关内容 感兴趣的小伙伴可以点击“阅读原文”观看完整视频噢!

    2.1K20

    供应链金融及产业

    在政府发布的相关政策中,不少都提及了供应链金融。2月19日,工信部发布了关于运用新一代信息技术来支撑服务和疫情防的通知,其中第11条就写到了要运用基于生产数据的供应链金融来保障企业的复产复工。...简单来看,供应链金融三个基础模式,但是大的核心逻辑还是会围绕一个核心企业和使用过它的上下游供应商和经销商。...很明显核心企业的平台在此类场景的配合、资产的把和风的能力上具有一定的优势。 往深处讲,再一个就是金融机构。金融机构更多的供给层面的资金,可以形成快速有效低成本的供给,甚至还具有一定的能力。...这四类角色要紧密地协同在一起,才能够把供应链金融这个事情做的更好。 腾讯云在供应链金融中则是担任了金融科技的角色。那么,金融科技能够在供应链金融中起到一些什么作用呢?...从供应链金融的场景出发,我们正在筹备金融科技支持供应链金融蝶变的白皮书。白皮书的主题面向国内金融助力、支持小微企业融资、推动实体经济发展。

    5.8K01

    金融科技|普惠金融下的智能信贷

    一 普惠金融及智能 普惠金融是一种以较低成本为社会各界人士(尤其是欠发达地区和社会低收入者)提供较为便捷服务的金融服务体系。 风险管理是商业银行经营发展的关键因素。...四 普惠金融智能发展路径建议 目前,国内大部分商业银行对智能系统的建设尚处于初级阶段,即线下为主,线上为辅。...就国内商业银行普惠金融的智能系统的建设发展,我们提供如下几点思路。...(五)建设人才队伍,完善体系 人才队伍是建设智能体系的核心力量,同时也是金融机构的核心竞争力。...只有将智能放在商业银行普惠金融经营发展的大环境中,才能真正处理好普惠金融中传统和智能的关系,综合评估和运用两者的优势,以一种更加平稳、循序渐进的方式推动智能化的平稳转型。

    2.6K10

    金融的护航员——聊聊ERNIE在度小满用户的应用

    同时,随着消费金融的兴起,征信体系成为了消费金融公司发展背后的主要障碍之一,信贷欺诈大量涌现。这给金融行业的发展带来了极大的阻碍,致使很多借贷行为无法圆满解决。 这个问题多严重?...这意味着金融行业的需求异常迫切。面对更加下沉的客户群体、更加复杂的用户信息,既需要保证业务安全合规,也需要把尺度和客户体验之间的平衡。 那么现在的金融机构是如何做这些的呢?...传统金融机构里会请金融师、审核员等对借贷资质进行人工审核,但该工作对相关从业人员的要求极高,既要有相关的背景知识能够对客户的资信状况做全面了解,又要求严谨认真,独立的判断能力。...在度小满用户场景中,通过ERNIE对用户行为信息进行语义层面深度建模,定制化产出一个用户ERNIE模型。...基于ERNIE的度小满金融模型KS指标绝对提升1.5,AUC指标绝对提升1.5,优化了21.5%的用户排序,有效地提升了优质客群人数,有效地降低了贷款风险并且大幅度减少审核人力。

    1.9K10

    综述 | GNN金融领域业界进展调研

    前言: 本文重点: 工业界 金融欺诈领域上 GNN的应用及进展 注: 本文仅针对 可用「深度图神经网络解决」的 - 「金融」相关的任务论文 「除深度图神经网络之外,业界常用经典图算法」 & 「除金融欺诈领域之外...- 数据集现状 3⃣️金融方向GNN进展 阿里蚂蚁 【网络结构设计】自动选择邻居的GNN 【淘宝】运费险诈骗识别「反欺诈」 运费骗保 GeniePath算法 【支付宝】恶意账户识别 / 高危账户识别...WordNet是一个覆盖范围宽广的英语词汇语义网 金融类 - 数据集现状 总述: 图深度学习技术应用在领域已经证明是有效且必要的,但发展时间较短,整体进程还处在发展初期阶段。...(都和我们预期的银行金融数据不同,且蚂蚁金服数据未开源) 3⃣️金融方向GNN业界进展 3.1 阿里蚂蚁 由于蚂蚁金服为上亿级的个人用户提供服务,产生的金融数据从一开始就是海量且极其复杂的。...主要应用于以下场景: 金融场景:万亿级边资金网络,存储实时交易信息,实时欺诈检测。 推荐场景:股票证券推荐。 蚂蚁森林:万亿级的图存储能力,低延时强一致关系数据查询更新。

    3.3K20

    互联网金融7个问题

    目前最常用的模型是哪些模型:常用于担保公司,测算最高能够承受的风险,并且根据市场与资本,建立最有效的模型进行风险手段。...通过市场分析后不难发现,基础借贷产品还是市场主流,还有一些类似资本类产品或衍生产品,目前很多平台还是具有传统业务特点的,每个公司都是自己的衡量‘点’的尺度,传统金融行业、民间金融或者互联网金融,本身因为其独特的形式活跃...,所以审核各个环节才是根本,上述只是防范措施之一而已。...7.有效模型建立的必要条件是哪些?目前市场现状如何?是担保、小贷公司自己做,还是委托给第三方? 模型之前已经阐述过了,这里就不做重复了。...关于市场现状,因为每个金融公司核心的就是部门,所以它一般为隐形部门,人员也是隐形人员 所以现状是很多大的公司的人员,其实还是行业经验、法律经验或者其他行业精英,也不能一概说人员就怎么乱

    2.8K50

    互联网金融模型「建议收藏」

    一、市场调研 目前市面主流的模型 1、互联网金融前10名排行榜(数据截止日期2017-09-12) 互联网金融公司排名分别是蚂蚁金服、陆金所、京东金融、苏宁金融、百度金融、腾讯理财通、宜信、钱大掌柜...(像这块的技术已经很成熟百度都已经推出成型产品,可以通过人脸识别对融资企业/法人进行风险验证,是否存在风险欺诈,多头借贷等嫌疑) 1.1.3 云计算技术 是一个开放的云平台,它助力金融创新、助力金融机构的...贷前,贷中,贷后等方方面面的监控,贷前最为重要,如何去检测,抓取哪些数据,与哪些第三方平台合作) 1.1.5 人工智能技术 蚂蚁金服通过大数据挖掘和语义分析技术来实现问题的自动判断和预测。...总之,互联网金融核心还是服务客户,提升产品价值,最大程度的做到差异化的防范,智能化是的发展方向,京东金融从开始就致力于打造智能化的风险管解决方案。...芝麻信用目前是最优秀的征信公司,当中很多公司自己渠道去获取用户的信息 。

    2.3K10

    金融数据管理——海量金融数据离线监控方法

    作者:housecheng  腾讯WXG工程师 |导语  解决金融数据监控“开发门槛高”“重复工作多”的痛点,实现PSI计算性能十倍速提升。...背景 在金融业务上,质量和稳定是生命线,我们需要对所有已经上线的要素,如策略、模型、标签、特征等构建监控。...在过去,我们部署监控的方式为: 要素负责同学在要素上线前,通过spark\sql完成对监控指标的运算并例行化; 将监控指标运算结果出库mysql\tbase,用于指标的展示和告警; 告警系统轮询指标是否异常...这种模式主要的问题在于: 开发门槛高,要素负责同学需要掌握spark离线计算、mysql等数据库的增删数据,还需要手动配置例行化任务,在告警系统上登记注册等,耗时费力; 重复工作多,要素指标相似、重合度很高,如多数要素都涉及...小结 针对金融要素监控的“开发门槛高”“重复工作多”等问题,本文提出了“统一监控计算与检查工具”这一解决方案,本文详细论述了该方案TaskMaker、 Calculator、 Checker等各个模块的设计实现

    2.7K10

    金融科技&大数据产品推荐: 数美金融—构建立体的全业务流程体系

    的产品投递 1、产品名称 数美全业务流程体系 2、所属分类 金融科技 · 、反欺诈 3、产品介绍 数美依托强大的AI技术与海量基础数据,为金融机构提供覆盖全业务流程的完整风解决方案。...4、应用场景/人群 主要应用场景: 应用场景一:欺诈用户识别 欺诈用户识别是数美体系中的第一道重要环节,基于设备软硬件特征、上网环境、设备指纹等数万原始数据维度结合聚类分析、连通图挖掘、频繁子图挖掘...作为反欺诈领域专业品牌,数美经过2年的实践与积累,构建了立体的全业务流程体系,可有效帮助金融机构进行反欺诈与。...7、服务客户/使用人数 数美目前服务的金融客户500余家,包括中信银行、用钱宝、拍拍贷、招联金融、国美金融、人人贷、宜信等知名企业。...这让金融企业面临着来自市场与黑灰产的双重挑战,并因此催生了对新金融的需求。 数美将企业沉淀数据与自身数据库相结合,一站式的帮助企业解决欺诈问题。

    2.6K30

    金融的迁移学习及实践(Tabular Data)

    二、的迁移学习 回到金融任务,需要寄望于迁移学习的场景还是挺多的。很经常的,业务扩展,引入了新的一个经营客群,而新的客群样本量刚开始肯定是很少的,这时就很需要借助下旧客群的数据。...而难点在于,领域很难像NLP领域那样的文字表示直接迁移,NLP中一个任务的文本表示可能就很适用另一文本任务。...下面结合的信用评分卡的任务,具体介绍迁移学习方法及项目代码实践。 首先先做下任务的背景介绍。...信用评分卡是领域的核心任务之一,依据如个人基本信息、经济能力、贷款历史信息,用于判断借贷用户的按时还款的概率。...本文数据来源github.com/aialgorithm/Blog《一文梳理金融建模全流程(Python)》 2.1 基于样本的迁移 基于样本的迁移,是通过迁移源域的某些样本或设定样本权重到目标域学习

    48030

    互联网金融中的数据科学

    宜人贷数据部数据科学家王婷根据自己在行业的实践经验和专业知识,从三方面来分享互联网金融中的数据科学。 ? 背景 了互联网之后,大家可以在线上进行理财借款。...传统金融面临的信用风险比较大,主要是还款能力的问题。而在线上进行欺诈普遍是利用一些黑科技,国内的欺诈手段非常的复杂。 传统都是使用一些基于规则的手段。...知识图谱在金融中的应用场景 互联网金融中的是一种机器学习的过程 互联网金融中风和机器学习一样要定义Y目标和X变量。 Y目标和普通机器学习Y目标的区别就在于正负比例非常悬殊。...建模中的数据科学 ? 在整个中,它是一个标准的机器学习流程。除了样本和数据与普通互联网机器学习不一样之外,其它基本都是一致的。...FinGraph是线上风险统中关键的一环 ? 总结:数据科学在互联网金融中发扬 图挖掘技术可以把风工作,从局部考量提升到全局考量。

    2.6K50

    新人赛《金融贷款违约》避坑指南!

    作者:陶旭东,北京师范大学,Datawhale成员 一、背景介绍 本文以天池的金融赛为背景,梳理了金融的整个实践流程,帮助大家避坑学习。...赛事的场景是个人信贷,要求选手根据贷款申请人的数据信息预测其是否有违约的可能,以此判断是否通过此项贷款,这个问题在现实的场景中很常见,属于典型的分类问题。...二、数据概况 数据下载地址:https://tianchi.aliyun.com/competition/entrance/531830/information(阿里天池-金融赛事) 本次数据训练集...数值型特征本是可以直接入模的,但往往人员要对其做分箱,转化为WOE编码进而做标准评分卡等操作。从模型效果上来看,特征分箱主要是为了降低变量的复杂性,减少变量噪音对模型的影响,从而使模型更加稳定。..., 1, 1, 1, 1] FPR,TPR,thresholds=roc_curve(y_true, y_pred) KS=abs(FPR-TPR).max() print('KS值:',KS) 在金融中一般将用户违约率预测的概率转化为评分卡分数

    2.8K62
    领券