首页
学习
活动
专区
工具
TVP
发布
精选内容/技术社群/优惠产品,尽在小程序
立即前往

金融数据管理——海量金融数据离线监控方法

作者:housecheng  腾讯WXG工程师 |导语  解决金融数据监控“开发门槛高”“重复工作多”的痛点,实现PSI计算性能十倍速提升。...背景 在金融业务上,质量和稳定是生命线,我们需要对所有已经上线的要素,如策略、模型、标签、特征等构建监控。...在过去,我们部署监控的方式为: 要素负责同学在要素上线前,通过spark\sql完成对监控指标的运算并例行化; 将监控指标运算结果出库mysql\tbase,用于指标的展示和告警; 告警系统轮询指标是否异常...这种模式主要的问题在于: 开发门槛高,要素负责同学需要掌握spark离线计算、mysql等数据库的增删数据,还需要手动配置例行化任务,在告警系统上登记注册等,耗时费力; 重复工作多,要素指标相似、重合度很高,如多数要素都涉及...小结 针对金融要素监控的“开发门槛高”“重复工作多”等问题,本文提出了“统一监控计算与检查工具”这一解决方案,本文详细论述了该方案TaskMaker、 Calculator、 Checker等各个模块的设计实现

2.6K10

金融科技|建模技术方案

建模的技术方案 1 逻辑回归模型 在银行的传统评分卡建模中,应用的也是逻辑回归模型。逻辑回归本质上是一个线性分类模型。...对于金融科技公司在建模所遇到的大量的弱特征,如何挖掘多个特征之间的互补性,产生组合的分箱特征是一个技术挑战。...一方面,深度学习模型都有很高的模型复杂度,需要大规模的样本数据,而领域要获取大规模的样本数据的成本极高。...另一方面,如前所述特征数据的维度间是平行的,不存在邻近关系,较难利用CNN和RNN这样具有较好物理含义的深度学习模型,而简单的堆砌若干个全连接层在高维特征数据上是很难得到一个稳定的模型。...总之,金融模型是一个既传统又新鲜的技术问题。银行的模型已经随着银行业的发展应用了数十年。

1.7K30
您找到你想要的搜索结果了吗?
是的
没有找到

金融数据】消费金融:大数据那点事?

二、金融行业信用风险控制的挑战 金融行业在过去主要依靠经验和宏观经济形式来实施风险控制,以定性为主,更多依赖风险管理精英的个人能力,特别在经济发展很好的时期,风险管理偏好不太科学,不能够反应出真正的风险水平...相对于传统金融来讲,互联金融面对的客户风险较高,其面临的挑战更大,对数据对要求就会更高。 三、互联网金融行业挑战 中国的互联网金融企业愿意从美国挖一些人才来提高自身水平。...5.模型冷启动问题 每年都有大量互联网金融公司出现,成了所有互联网金融公司的核心竞争力。每一家互联网金融公司都会建立模型,实施信用风险管理。...大数据的一个最大的优势就是丰富了信用风险评估的数据纬度,这些用户行为信息,很大程度是大数据采集和分析的结果,用户一般是不会提供给金融行业的。...企业利用大数据的能力,实时输出风险因子信息,为金融企业提供实时风险管理视图,提高风险管理的及时性。

3.6K51

蚂蚁金服总监王黎强:智能助力新金融

本文为数据猿现场直播“蚂蚁金服总监王黎强:智能助力新金融”的发言实录。...作为安全部门,我们的职责比较明确,就是要为业务保驾护航,保障每一个客户的账户跟资金的安全,帮助整个金融业务拓展到全球的每一个角落,服务于每一个普通消费者,这是蚂蚁金服智能和业务走过的路。...因为我们所有的交易是在线上发生的,与传统金融机构的区别在于,我们所有的风险也都是暴露在线上的。通过多年的努力,我们构建了一套全方位立体化智能的体系,这里我可以分享几个数据: 第一个数据是一百毫秒。...举个例子,我们整个体系就像人的骨骼,数据是人的血肉,AI是人的大脑,三者有机结合在一起,构成了我们整个智能体系的框架。然后高效实时的运作起来,是蚂蚁金服智能体系的第一个优势。...随着整个国家的消费升级,给这部分客户带来了巨大的金融服务市场。 目前蚂蚁金服的安全能力已经成熟,以产品化“蚁盾”的形式输出和服务更多的行业合作伙伴。

2.7K61

行业 | 万亿级汽车金融市场爆发,电子合同如何助力行业升级?

关键词:企业应用 企业管理 电子签约 汽车行业 随着汽车购买需求的大幅增长、信用制度的逐渐普及、金融政策的大力支持,我国汽车金融行业得到了飞速的发展。...虽然汽车金融市场前景可期,但汽车金融行业涉及到大量且复杂的契约关系,传统的纸质合同签约方式不仅费时费力费成本,同时在合同的管理和保存方面都存在较大的风险隐患。...而安全合法的电子合同不但能够为汽车金融企业节省各类成本、提升签约效率、增强用户体验,更重要的是还能有效的解决身份验证、合同篡改等问题。电子合同成为了汽车金融行业降本提效、提升的有效手段。...电子合同如何赋能汽车金融行业?...电子合同则可以很好的解决身份验证这个难题,帮助汽车金融行业做好

86930

金融评分卡建模全流程!

一、评分卡的分类 在金融领域,无人不晓的应该是评分卡(scorecard), 无论信用卡还是贷款,都有”前中后“三个阶段。...根据时间点的”前中后”,一般评分卡可以分为下面三类: A卡(Application score card)。目的在于预测申请时(申请信用卡、申请贷款)对申请人进行量化评估。...评分卡种类 美国fico公司算是评分卡的始祖,始于 20世纪六十年代。Fico的评分卡的示例如下(这是个贷前评分卡,也就是A卡): ?...我们最熟悉的,莫过于支付宝的芝麻信用分,又或者知乎盐值(虽然知乎盐值不是评估金融风险的,但也算是评分卡的应用之一) 但是,随着信贷业务规模不断扩大,对工作准确率的要求也逐渐提升。...因为实际业务里,分数也高风险越低,当然你也可以设计个风险越低分数越低的评分卡,但里还是默认高分高信用低风险。 计算出A、B的方法如下,首先设定两个假设: 基准分。

8.2K50

金融科技|普惠金融下的智能信贷

一 普惠金融及智能 普惠金融是一种以较低成本为社会各界人士(尤其是欠发达地区和社会低收入者)提供较为便捷服务的金融服务体系。 风险管理是商业银行经营发展的关键因素。...典型的智能体系如图1所示,为了达成风目标,智能注重对多种人工智能技术的综合应用,借助人工智能技术进行精细化运营管理,可以有效避免人为操作带来的漏洞与不足。...,实现金融科技与银行业务的深度融合。...在利用(税务数据、企业/个人征信解析、三方数据等)数据构建线上评分模型,获得小微企业的初步建议额度后,再结合线下尽调以及标的企业所在的细分行业、细分企业规模等产业数据最终得出结果。...从长远来看,智能已不再仅仅是数据、模型和系统三者的配合形成的智能,它需要更多地与普惠金融的业务创新和管理模式变革配合起来。

2.5K10

供应链金融及产业

在政府发布的相关政策中,不少都提及了供应链金融。2月19日,工信部发布了关于运用新一代信息技术来支撑服务和疫情防的通知,其中第11条就写到了要运用基于生产数据的供应链金融来保障企业的复产复工。...国办鼓励有条件的银行业的相关机构开发供应链平台,通过核心企业或政府部门的信息系统进行对接联通,尤其鼓励线上的方式来为客户提供公众服务。可想而知,供应链金融在未来的供应链行业中有明显的支撑作用。...很明显核心企业的平台在此类场景的配合、资产的把和风的能力上具有一定的优势。 往深处讲,再一个就是金融机构。金融机构有更多的供给层面的资金,可以形成快速有效低成本的供给,甚至还具有一定的能力。...---- 在后续课程中我们会继续为大家介绍 腾讯云对供应链金融科技解决方案、产业的相关内容 感兴趣的小伙伴可以点击“阅读原文”观看完整视频噢!...腾讯云大学公众号 长按识别二维码关注   “腾讯云大学”    了解更多免费、专业   行业最新技术动态分享   戳“阅读原文”观看完整视频噢!

2.1K20

供应链金融及产业

在政府发布的相关政策中,不少都提及了供应链金融。2月19日,工信部发布了关于运用新一代信息技术来支撑服务和疫情防的通知,其中第11条就写到了要运用基于生产数据的供应链金融来保障企业的复产复工。...国办鼓励有条件的银行业的相关机构开发供应链平台,通过核心企业或政府部门的信息系统进行对接联通,尤其鼓励线上的方式来为客户提供公众服务。可想而知,供应链金融在未来的供应链行业中有明显的支撑作用。...很明显核心企业的平台在此类场景的配合、资产的把和风的能力上具有一定的优势。 往深处讲,再一个就是金融机构。金融机构有更多的供给层面的资金,可以形成快速有效低成本的供给,甚至还具有一定的能力。...这四类角色要紧密地协同在一起,才能够把供应链金融这个事情做的更好。 腾讯云在供应链金融中则是担任了金融科技的角色。那么,金融科技能够在供应链金融中起到一些什么作用呢?...腾讯云大学大咖分享每周邀请内部技术大咖,为你提供免费、专业、行业最新技术动态分享。

5.8K01

金融的护航员——聊聊ERNIE在度小满用户的应用

同时,随着消费金融的兴起,征信体系成为了消费金融公司发展背后的主要障碍之一,信贷欺诈大量涌现。这给金融行业的发展带来了极大的阻碍,致使很多借贷行为无法圆满解决。 这个问题有多严重?...这意味着金融行业需求异常迫切。面对更加下沉的客户群体、更加复杂的用户信息,既需要保证业务安全合规,也需要把尺度和客户体验之间的平衡。 那么现在的金融机构是如何做这些的呢?...传统金融机构里会请金融师、审核员等对借贷资质进行人工审核,但该工作对相关从业人员的要求极高,既要有相关的背景知识能够对客户的资信状况做全面了解,又要求严谨认真,有独立的判断能力。...在度小满用户场景中,通过ERNIE对用户行为信息进行语义层面深度建模,定制化产出一个用户ERNIE模型。...未来双方还将进一步深入合作,将ERNIE强大的语义理解能力应用到更多的金融领域应用场景中,如:金融获客、贷中管理等,助力金融行业的健康发展。

1.9K10

综述 | GNN金融领域业界进展调研

前言: 本文重点: 工业界 金融欺诈领域上 GNN的应用及进展 注: 本文仅针对 可用「深度图神经网络解决」的 - 「金融」相关的任务论文 「除深度图神经网络之外,业界常用经典图算法」 & 「除金融欺诈领域之外...- 数据集现状 3⃣️金融方向GNN进展 阿里蚂蚁 【网络结构设计】自动选择邻居的GNN 【淘宝】运费险诈骗识别「反欺诈」 运费骗保 GeniePath算法 【支付宝】恶意账户识别 / 高危账户识别...WordNet是一个覆盖范围宽广的英语词汇语义网 金融类 - 数据集现状 总述: 图深度学习技术应用在领域已经证明是有效且必要的,但发展时间较短,整体进程还处在发展初期阶段。...(都和我们预期的银行金融数据不同,且蚂蚁金服数据未开源) 3⃣️金融方向GNN业界进展 3.1 阿里蚂蚁 由于蚂蚁金服为上亿级的个人用户提供服务,产生的金融数据从一开始就是海量且极其复杂的。...主要应用于以下场景: 金融场景:万亿级边资金网络,存储实时交易信息,实时欺诈检测。 推荐场景:股票证券推荐。 蚂蚁森林:万亿级的图存储能力,低延时强一致关系数据查询更新。

3K20

互联网金融7个问题

,大家心目中的是什么?我们先来点传统的解释 首先了解两个概念:风险管理和风险控制。 风险管理:是指如何在项目或者企业在一定的风险的环境里,把风险减至最低的管理过程。...所以其实风险控制是风险管理中的一个环节。 下面是对前期在群内收集到的问题的解答。 1. 目前最常用的模型是哪些?...因为每家风专业人员,对于产品偏好行业不同,每个公司的都有自己特色的存在形式、行业优势,每个公司都会对某个或某些行业了解很透彻,或者对特定项目有独特的掌控能力,或有一定从业的行业经验,例如很多同行业来自...通过市场分析后不难发现,基础借贷产品还是市场主流,还有一些类似资本类产品或衍生产品,目前很多平台还是具有传统业务特点的,每个公司都是有自己的衡量‘点’的尺度,传统金融行业、民间金融或者互联网金融,本身因为其独特的形式活跃...关于市场现状,因为每个金融公司核心的就是部门,所以它一般为隐形部门,人员也是隐形人员 所以现状是很多大的公司的人员,其实还是有行业经验、法律经验或者其他行业精英,也不能一概说人员就怎么乱

2.7K50

互联网金融模型「建议收藏」

一、市场调研 目前市面主流的模型 1、互联网金融前10名排行榜(数据截止日期2017-09-12) 互联网金融公司排名分别是蚂蚁金服、陆金所、京东金融、苏宁金融、百度金融、腾讯理财通、宜信、钱大掌柜...:陆金所的风险管理系统覆盖全产品线、整个产品生命周期,实现的标准化、智能化、模型化,大幅提升陆金所风险管理工作的效率和效果。...1.3 京东金融调研 1.3.1 用户支付瞬间需要做的事情 如判断用户的设备信息、登录行为、访问特征、信用状况、商品信息、商家特征、配送区域、银行卡状态等。...总之,互联网金融核心还是服务客户,提升产品价值,最大程度的做到差异化的防范,智能化是的发展方向,京东金融从开始就致力于打造智能化的风险管解决方案。...因此风显的更加尤为重要。通过模型获取优质的资产。 二、模型 模型应该是从两个角度去考虑,第一个角度是资产端策略,第二个角度是资金端策略。

2.1K10

金融科技&大数据产品推荐: 数美金融—构建立体的全业务流程体系

从设备、注册到信贷申请,再到贷后预警等各个环节进行全方位的欺诈风险、信用风险控制,提升金融机构企业的能力,减少资金与品牌损失。...的产品投递 1、产品名称 数美全业务流程体系 2、所属分类 金融科技 · 、反欺诈 3、产品介绍 数美依托强大的AI技术与海量基础数据,为金融机构提供覆盖全业务流程的完整风解决方案。...作为反欺诈领域专业品牌,数美经过2年的实践与积累,构建了立体的全业务流程体系,可有效帮助金融机构进行反欺诈与。...数美打造全局数据立体防御,建立核心画像数据,多场景打通,多行业互联,多重防御布控,共同高效对抗黑灰产业。 优势二:全方位智能决策 每一次的精准识别,都离不开云端几十个不同维度模型的高效决策。...这让金融企业面临着来自市场与黑灰产的双重挑战,并因此催生了对新金融的需求。 数美将企业沉淀数据与自身数据库相结合,一站式的帮助企业解决欺诈问题。

2.5K30

ML | 建模的KS

我们这做模型的时候,经常是会用KS值来衡量模型的效果,这个指标也是很多领导会直接关注的指标。今天写一篇文章来全面地剖析一下这个指标,了解当中的原理以及实现,因为这些知识是必备的基本功。...不过这不影响我们去使用它,我们只需要知道在中是怎么实现的,并且在实际场景中怎么去使用它就可以了。就如上面我们说的,KS在主要是用于评估模型的好坏样本区分度高低的。什么是区分度?...可以看下图: 从业务上来说,就是越往后的箱子,客户的质量越差,rate整体上呈现单调性,从而可以把大多数的坏人,直接从箱的维度上就可以区分开来了,在后续的策略使用体验上十分友好。...02 KS的生成逻辑 KS的生成逻辑公式也是十分简单: 好样本累计占比坏样本累计占比 在领域,我们在计算KS前一般会根据我们认为的“正态分布原则”进行分箱,一般来说分成了10份,然后再进行KS的计算...03 KS的效果应用 KS的值域在0-1之间,一般来说KS是越大越有区分度的,但在领域并不是越大越好,到底KS值与模型可用性的关系如何,可看下表: 004 KS的实现 首先我们来对上面展示的例子进行

4.2K30

金融的迁移学习及实践(Tabular Data)

二、的迁移学习 回到金融任务,需要寄望于迁移学习的场景还是挺多的。很经常的,业务有扩展,引入了新的一个经营客群,而新的客群样本量刚开始肯定是很少的,这时就很需要借助下旧客群的数据。...而难点在于,领域很难像NLP领域那样的文字表示直接迁移,NLP中一个任务的文本表示可能就很适用另一文本任务。...下面结合的信用评分卡的任务,具体介绍迁移学习方法及项目代码实践。 首先先做下任务的背景介绍。...信用评分卡是领域的核心任务之一,依据如个人基本信息、经济能力、贷款历史信息,用于判断借贷用户的按时还款的概率。...本文数据来源github.com/aialgorithm/Blog《一文梳理金融建模全流程(Python)》 2.1 基于样本的迁移 基于样本的迁移,是通过迁移源域的某些样本或设定样本权重到目标域学习

31530

互联网金融中的数据科学

摘要 随着互联网行业的高速发展,互联网金融应运而生。它是传统金融行业与互联网精神相结合的新兴领域。互联网"开放、平等、协作、分享"的精神往传统金融业态渗透,对人类金融模式产生根本影响。...宜人贷数据部数据科学家王婷根据自己在行业的实践经验和专业知识,从三方面来分享互联网金融中的数据科学。 ? 背景 有了互联网之后,大家可以在线上进行理财借款。...传统金融面临的信用风险比较大,主要是还款能力的问题。而在线上进行欺诈普遍是利用一些黑科技,国内的欺诈手段非常的复杂。 传统都是使用一些基于规则的手段。...知识图谱在金融中的应用场景 互联网金融中的是一种机器学习的过程 互联网金融中风和机器学习一样要定义Y目标和X变量。 Y目标和普通机器学习Y目标的区别就在于正负比例非常悬殊。...FinGraph是线上风险统中关键的一环 ? 总结:数据科学在互联网金融中发扬 图挖掘技术可以把风工作,从局部考量提升到全局考量。

2.5K50
领券