首页
学习
活动
专区
工具
TVP
发布
精选内容/技术社群/优惠产品,尽在小程序
立即前往

金融数据管理——海量金融数据离线监控方法

作者:housecheng  腾讯WXG工程师 |导语  解决金融数据监控“开发门槛高”“重复工作多”的痛点,实现PSI计算性能十倍速提升。...背景 在金融业务上,质量和稳定是生命线,我们需要对所有已经上线的要素,如策略、模型、标签、特征等构建监控。...在过去,我们部署监控的方式为: 要素负责同学在要素上线前,通过spark\sql完成对监控指标的运算并例行化; 将监控指标运算结果出库mysql\tbase,用于指标的展示和告警; 告警系统轮询指标是否异常...,如多数要素都涉及PSI计算,只是告警阈值不一样;指标出库、配置告警等同样是重复相似操作。...小结 针对金融要素监控的“开发门槛高”“重复工作多”等问题,本文提出了“统一监控计算与检查工具”这一解决方案,本文详细论述了该方案TaskMaker、 Calculator、 Checker等各个模块的设计实现

2.6K10

金融科技|建模技术方案

建模的技术方案 1 逻辑回归模型 在银行的传统评分卡建模中,应用的也是逻辑回归模型。逻辑回归本质上是一个线性分类模型。...对于金融科技公司在建模所遇到的大量的弱特征,如何挖掘多个特征之间的互补性,产生组合的分箱特征是一个技术挑战。...一方面,深度学习模型都有很高的模型复杂度,需要大规模的样本数据,而领域要获取大规模的样本数据的成本极高。...另一方面,如前所述特征数据的维度间是平行的,不存在邻近关系,较难利用CNN和RNN这样具有较好物理含义的深度学习模型,而简单的堆砌若干个全连接层在高维特征数据上是很难得到一个稳定的模型。...总之,金融模型是一个既传统又新鲜的技术问题。银行的模型已经随着银行业的发展应用了数十年。

1.7K30
您找到你想要的搜索结果了吗?
是的
没有找到

金融数据】消费金融:大数据那点事?

相对于传统金融来讲,互联金融面对的客户风险较高,其面临的挑战更大,对数据对要求就会更高。 三、互联网金融行业的挑战 中国的互联网金融企业愿意从美国挖一些人才来提高自身水平。...在互联网金融领域,大多数互联网金融公司没有接入人行征信系统,无法拿到客户全维度信用信息,例如客户财产、学历、收入、贷款、金融机构交易信息等信息。...5.模型冷启动问题 每年都有大量互联网金融公司出现,成了所有互联网金融公司的核心竞争力。每一家互联网金融公司都会建立模型,实施信用风险管理。...企业利用大数据的能力,实时输出风险因子信息,为金融企业提供实时风险管理视图,提高风险管理的及时性。...大数据的劣势: 还是要强调一下,信用风险评估最好的数据还是金融数据,就是人行征信系统里的数据,大数据只是一个补充,不能够完全替代传统的信贷风险管理

3.6K51

金融科技&大数据产品推荐:金鹏汽车金融大数据系统

金鹏汽车金融大数据系统主要基于大数据科技、决策树规则引擎、深度学习等多项核心技术,有效针对新车贷款、二手车贷款等业务,提高风效率。...的产品投递 1、产品名称 金鹏汽车金融大数据系统 2、所属分类 消费金融 金融科技·、征信、反欺诈、智能定价 3、产品介绍 金鹏汽车金融大数据系统一站式完成车贷审批流程。...6、产品优势 金鹏汽车金融大数据系统能力行业领先。秒速审批,一站式低成本。精准,近100%覆盖权威有效。自动定价,自动决策引擎定价,差异化匹配资质,高体验。...金鹏汽车金融系统一站式解决预审批难题,基于大数据科技、决策树规则引擎、深度学习等多项核心技术,提高车贷行业能力,给予更准确、更效率、更便捷的体验。...整体应用方案包含大数据平台建设大数据分析及处理、金融大数据生命周期管理、互联网智能营销、互联网商情及声誉风险管、舆论传播及引导等方向。

2K70

蚂蚁金服总监王黎强:智能助力新金融

本文为数据猿现场直播“蚂蚁金服总监王黎强:智能助力新金融”的发言实录。...作为安全部门,我们的职责比较明确,就是要为业务保驾护航,保障每一个客户的账户跟资金的安全,帮助整个金融业务拓展到全球的每一个角落,服务于每一个普通消费者,这是蚂蚁金服智能和业务走过的路。...因为我们所有的交易是在线上发生的,与传统金融机构的区别在于,我们所有的风险也都是暴露在线上的。通过多年的努力,我们构建了一套全方位立体化智能的体系,这里我可以分享几个数据: 第一个数据是一百毫秒。...举个例子,我们整个体系就像人的骨骼,数据是人的血肉,AI是人的大脑,三者有机结合在一起,构成了我们整个智能体系的框架。然后高效实时的运作起来,是蚂蚁金服智能体系的第一个优势。...随着整个国家的消费升级,给这部分客户带来了巨大的金融服务市场。 目前蚂蚁金服的安全能力已经成熟,以产品化“蚁盾”的形式输出和服务更多的行业合作伙伴。

2.7K61

金融评分卡建模全流程!

一、评分卡的分类 在金融领域,无人不晓的应该是评分卡(scorecard), 无论信用卡还是贷款,都有”前中后“三个阶段。...根据时间点的”前中后”,一般评分卡可以分为下面三类: A卡(Application score card)。目的在于预测申请时(申请信用卡、申请贷款)对申请人进行量化评估。...评分卡种类 美国fico公司算是评分卡的始祖,始于 20世纪六十年代。Fico的评分卡的示例如下(这是个贷前评分卡,也就是A卡): ?...我们最熟悉的,莫过于支付宝的芝麻信用分,又或者知乎盐值(虽然知乎盐值不是评估金融风险的,但也算是评分卡的应用之一) 但是,随着信贷业务规模不断扩大,对工作准确率的要求也逐渐提升。...因为实际业务里,分数也高风险越低,当然你也可以设计个风险越低分数越低的评分卡,但里还是默认高分高信用低风险。 计算出A、B的方法如下,首先设定两个假设: 基准分。

8.2K50

实时业务系统

账号:垃圾注册、撞库、盗号等 交易:盗刷、恶意占用资源、篡改交易金额等 活动:薅羊毛 短信:短信轰炸 项目介绍 实时业务系统是分析风险事件,根据场景动态调整规则,实现自动精准预警风险的系统。...本项目只提供实时风系统框架基础和代码模板。...对各种场景风险阈值和评分的设置,需要长期不断的调整,所以灵活的规则引擎是很重要的 支持对历史数据的回溯,能够发现以前的风险,或许能够找到一些特征供参考 项目标签 轻量级,可扩展,高性能的Java实时业务系统...基于Spring boot构建,配置文件能少则少 使用drools规则引擎管理规则,原则上可以动态配置规则 使用redis、mongodb做计算和事件储存,历史事件支持水平扩展 原理 统计学...; 扩展规则,针对需要解决的场景问题,添加特定规则,分值也应根据自身场景来调整。

2K10

金融科技|普惠金融下的智能信贷

一 普惠金融及智能 普惠金融是一种以较低成本为社会各界人士(尤其是欠发达地区和社会低收入者)提供较为便捷服务的金融服务体系。 风险管理是商业银行经营发展的关键因素。...四 普惠金融智能发展路径建议 目前,国内大部分商业银行对智能系统的建设尚处于初级阶段,即线下为主,线上为辅。...、腾讯云等已成型的智能系统公司的技术产品,对银行内部系统进行改良。...就国内商业银行普惠金融的智能系统的建设发展,我们提供如下几点思路。...从长远来看,智能已不再仅仅是数据、模型和系统三者的配合形成的智能,它需要更多地与普惠金融的业务创新和管理模式变革配合起来。

2.5K10

供应链金融及产业

在政府发布的相关政策中,不少都提及了供应链金融。2月19日,工信部发布了关于运用新一代信息技术来支撑服务和疫情防的通知,其中第11条就写到了要运用基于生产数据的供应链金融来保障企业的复产复工。...国办鼓励有条件的银行业的相关机构开发供应链平台,通过核心企业或政府部门的信息系统进行对接联通,尤其鼓励线上的方式来为客户提供公众服务。可想而知,供应链金融在未来的供应链行业中有明显的支撑作用。...很明显核心企业的平台在此类场景的配合、资产的把和风的能力上具有一定的优势。 往深处讲,再一个就是金融机构。金融机构有更多的供给层面的资金,可以形成快速有效低成本的供给,甚至还具有一定的能力。...以审核整理发票为例,传统做法可能会线下交接或转让,但是现在我们可以直接将发票拍成照片,再通过小程序上传,系统后台会和国税局做直接的连接对发票进行真实性的校验。...---- 在后续课程中我们会继续为大家介绍 腾讯云对供应链金融科技解决方案、产业的相关内容 感兴趣的小伙伴可以点击“阅读原文”观看完整视频噢!

2.1K20

供应链金融及产业

在政府发布的相关政策中,不少都提及了供应链金融。2月19日,工信部发布了关于运用新一代信息技术来支撑服务和疫情防的通知,其中第11条就写到了要运用基于生产数据的供应链金融来保障企业的复产复工。...国办鼓励有条件的银行业的相关机构开发供应链平台,通过核心企业或政府部门的信息系统进行对接联通,尤其鼓励线上的方式来为客户提供公众服务。可想而知,供应链金融在未来的供应链行业中有明显的支撑作用。...很明显核心企业的平台在此类场景的配合、资产的把和风的能力上具有一定的优势。 往深处讲,再一个就是金融机构。金融机构有更多的供给层面的资金,可以形成快速有效低成本的供给,甚至还具有一定的能力。...这四类角色要紧密地协同在一起,才能够把供应链金融这个事情做的更好。 腾讯云在供应链金融中则是担任了金融科技的角色。那么,金融科技能够在供应链金融中起到一些什么作用呢?...以审核整理发票为例,传统做法可能会线下交接或转让,但是现在我们可以直接将发票拍成照片,再通过小程序上传,系统后台会和国税局做直接的连接对发票进行真实性的校验。

5.8K01

金融的护航员——聊聊ERNIE在度小满用户的应用

这意味着金融行业的需求异常迫切。面对更加下沉的客户群体、更加复杂的用户信息,既需要保证业务安全合规,也需要把尺度和客户体验之间的平衡。 那么现在的金融机构是如何做这些的呢?...传统金融机构里会请金融师、审核员等对借贷资质进行人工审核,但该工作对相关从业人员的要求极高,既要有相关的背景知识能够对客户的资信状况做全面了解,又要求严谨认真,有独立的判断能力。...在度小满用户场景中,通过ERNIE对用户行为信息进行语义层面深度建模,定制化产出一个用户ERNIE模型。...基于ERNIE的度小满金融模型KS指标绝对提升1.5,AUC指标绝对提升1.5,优化了21.5%的用户排序,有效地提升了优质客群人数,有效地降低了贷款风险并且大幅度减少审核人力。...未来双方还将进一步深入合作,将ERNIE强大的语义理解能力应用到更多的金融领域应用场景中,如:金融获客、贷中管理等,助力金融行业的健康发展。

1.9K10

综述 | GNN金融领域业界进展调研

前言: 本文重点: 工业界 金融欺诈领域上 GNN的应用及进展 注: 本文仅针对 可用「深度图神经网络解决」的 - 「金融」相关的任务论文 「除深度图神经网络之外,业界常用经典图算法」 & 「除金融欺诈领域之外...- 数据集现状 3⃣️金融方向GNN进展 阿里蚂蚁 【网络结构设计】自动选择邻居的GNN 【淘宝】运费险诈骗识别「反欺诈」 运费骗保 GeniePath算法 【支付宝】恶意账户识别 / 高危账户识别...WordNet是一个覆盖范围宽广的英语词汇语义网 金融类 - 数据集现状 总述: 图深度学习技术应用在领域已经证明是有效且必要的,但发展时间较短,整体进程还处在发展初期阶段。...(都和我们预期的银行金融数据不同,且蚂蚁金服数据未开源) 3⃣️金融方向GNN业界进展 3.1 阿里蚂蚁 由于蚂蚁金服为上亿级的个人用户提供服务,产生的金融数据从一开始就是海量且极其复杂的。...主要应用于以下场景: 金融场景:万亿级边资金网络,存储实时交易信息,实时欺诈检测。 推荐场景:股票证券推荐。 蚂蚁森林:万亿级的图存储能力,低延时强一致关系数据查询更新。

3K20

互联网金融7个问题

,大家心目中的是什么?我们先来点传统的解释 首先了解两个概念:风险管理和风险控制。 风险管理:是指如何在项目或者企业在一定的风险的环境里,把风险减至最低的管理过程。...所以其实风险控制是风险管理中的一个环节。 下面是对前期在群内收集到的问题的解答。 1. 目前最常用的模型是哪些?...模型是在良好的建立体系、评定方式、评分机制等基础上,进行有效的数据分析及评分体系,就是建立常用的模型方式; 首先,金融公司设计的任何形态的模型,都要符合自身企业的业务发展及市场需求,...纯互联网背景出身的互联网金融公司,应从哪几个方面去把关? 其实互联网金融公司和是不是纯互联网背景没有直接关系。关键是从事了互联网金融你怎么去经营。 首先,你的体系的建立是打算以哪种形态存在?...关于市场现状,因为每个金融公司核心的就是部门,所以它一般为隐形部门,人员也是隐形人员 所以现状是很多大的公司的人员,其实还是有行业经验、法律经验或者其他行业精英,也不能一概说人员就怎么乱

2.7K50

互联网金融模型「建议收藏」

一、市场调研 目前市面主流的模型 1、互联网金融前10名排行榜(数据截止日期2017-09-12) 互联网金融公司排名分别是蚂蚁金服、陆金所、京东金融、苏宁金融、百度金融、腾讯理财通、宜信、钱大掌柜...:陆金所的风险管理系统覆盖全产品线、整个产品生命周期,实现的标准化、智能化、模型化,大幅提升陆金所风险管理工作的效率和效果。...3、机器学习在京东金融的天盾系统应用 根据经验,在算法的选择上尽可能的多做选择,对比模型的性能择优选取。另外,对样本库做好治理工作,可使用随机抽样和使用聚类把样本数据分层抽取。...总之,互联网金融核心还是服务客户,提升产品价值,最大程度的做到差异化的防范,智能化是的发展方向,京东金融从开始就致力于打造智能化的风险管解决方案。...系统业务流程 访用户欺诈系统 风险评估等级划分系统 用户画像 用户点击流日志分析系统 推荐系统 风险预警系统 风险定价系统 五、产品与服务 参考科法智能提供的服务与产品

2.1K10

金融科技&大数据产品推荐: 数美金融—构建立体的全业务流程体系

从设备、注册到信贷申请,再到贷后预警等各个环节进行全方位的欺诈风险、信用风险控制,提升金融机构企业的能力,减少资金与品牌损失。...的产品投递 1、产品名称 数美全业务流程体系 2、所属分类 金融科技 · 、反欺诈 3、产品介绍 数美依托强大的AI技术与海量基础数据,为金融机构提供覆盖全业务流程的完整风解决方案。...从设备、注册到信贷申请,再到贷后预警等各个环节,进行全方位的欺诈风险、信用风险控制,提升金融机构企业的能力,减少资金与品牌损失。...作为反欺诈领域专业品牌,数美经过2年的实践与积累,构建了立体的全业务流程体系,可有效帮助金融机构进行反欺诈与。...这让金融企业面临着来自市场与黑灰产的双重挑战,并因此催生了对新金融的需求。 数美将企业沉淀数据与自身数据库相结合,一站式的帮助企业解决欺诈问题。

2.5K30

ML | 建模的KS

我们这做模型的时候,经常是会用KS值来衡量模型的效果,这个指标也是很多领导会直接关注的指标。今天写一篇文章来全面地剖析一下这个指标,了解当中的原理以及实现,因为这些知识是必备的基本功。...不过这不影响我们去使用它,我们只需要知道在中是怎么实现的,并且在实际场景中怎么去使用它就可以了。就如上面我们说的,KS在主要是用于评估模型的好坏样本区分度高低的。什么是区分度?...可以看下图: 从业务上来说,就是越往后的箱子,客户的质量越差,rate整体上呈现单调性,从而可以把大多数的坏人,直接从箱的维度上就可以区分开来了,在后续的策略使用体验上十分友好。...02 KS的生成逻辑 KS的生成逻辑公式也是十分简单: 好样本累计占比坏样本累计占比 在领域,我们在计算KS前一般会根据我们认为的“正态分布原则”进行分箱,一般来说分成了10份,然后再进行KS的计算...03 KS的效果应用 KS的值域在0-1之间,一般来说KS是越大越有区分度的,但在领域并不是越大越好,到底KS值与模型可用性的关系如何,可看下表: 004 KS的实现 首先我们来对上面展示的例子进行

4.2K30

金融的迁移学习及实践(Tabular Data)

二、的迁移学习 回到金融任务,需要寄望于迁移学习的场景还是挺多的。很经常的,业务有扩展,引入了新的一个经营客群,而新的客群样本量刚开始肯定是很少的,这时就很需要借助下旧客群的数据。...而难点在于,领域很难像NLP领域那样的文字表示直接迁移,NLP中一个任务的文本表示可能就很适用另一文本任务。...下面结合的信用评分卡的任务,具体介绍迁移学习方法及项目代码实践。 首先先做下任务的背景介绍。...信用评分卡是领域的核心任务之一,依据如个人基本信息、经济能力、贷款历史信息,用于判断借贷用户的按时还款的概率。...本文数据来源github.com/aialgorithm/Blog《一文梳理金融建模全流程(Python)》 2.1 基于样本的迁移 基于样本的迁移,是通过迁移源域的某些样本或设定样本权重到目标域学习

31530

互联网金融中的数据科学

传统金融面临的信用风险比较大,主要是还款能力的问题。而在线上进行欺诈普遍是利用一些黑科技,国内的欺诈手段非常的复杂。 传统都是使用一些基于规则的手段。...银行采取的是信贷员模式,而在互联网金融中,我们是以一种线上信贷工厂的模式,快速经过系统体系审核,就可以批贷。这其中欺诈风险控制成为我们最大的一个挑战。...知识图谱在金融中的应用场景 互联网金融中的是一种机器学习的过程 互联网金融中风和机器学习一样要定义Y目标和X变量。 Y目标和普通机器学习Y目标的区别就在于正负比例非常悬殊。...FinGraph是线上风险统中关键的一环 ? 总结:数据科学在互联网金融中发扬 图挖掘技术可以把风工作,从局部考量提升到全局考量。...知识图谱也成为线上风系统中的关键一环。 今天要分享的就是这些,谢谢大家!

2.5K50
领券