账号:垃圾注册、撞库、盗号等 交易:盗刷、恶意占用资源、篡改交易金额等 活动:薅羊毛 短信:短信轰炸 项目介绍 实时业务风控系统是分析风险事件,根据场景动态调整规则,实现自动精准预警风险的系统。...本项目只提供实时风控系统框架基础和代码模板。...对各种场景风险阈值和评分的设置,需要长期不断的调整,所以灵活的规则引擎是很重要的 支持对历史数据的回溯,能够发现以前的风险,或许能够找到一些特征供参考 项目标签 轻量级,可扩展,高性能的Java实时业务风控系统...基于Spring boot构建,配置文件能少则少 使用drools规则引擎管理风控规则,原则上可以动态配置规则 使用redis、mongodb做风控计算和事件储存,历史事件支持水平扩展 原理 统计学...; 扩展风控规则,针对需要解决的场景问题,添加特定规则,分值也应根据自身场景来调整。
我们这做风控模型的时候,经常是会用KS值来衡量模型的效果,这个指标也是很多领导会直接关注的指标。今天写一篇文章来全面地剖析一下这个指标,了解当中的原理以及实现,因为这些知识是必备的基本功。...不过这不影响我们去使用它,我们只需要知道在风控中是怎么实现的,并且在实际场景中怎么去使用它就可以了。就如上面我们说的,KS在风控主要是用于评估模型的好坏样本区分度高低的。什么是区分度?...可以看下图: 从业务上来说,就是越往后的箱子,客户的质量越差,rate整体上呈现单调性,从而可以把大多数的坏人,直接从箱的维度上就可以区分开来了,在后续的风控策略使用体验上十分友好。...02 KS的生成逻辑 KS的生成逻辑公式也是十分简单: 好样本累计占比坏样本累计占比 在风控领域,我们在计算KS前一般会根据我们认为的“正态分布原则”进行分箱,一般来说分成了10份,然后再进行KS的计算...03 KS的效果应用 KS的值域在0-1之间,一般来说KS是越大越有区分度的,但在风控领域并不是越大越好,到底KS值与风控模型可用性的关系如何,可看下表: 004 KS的实现 首先我们来对上面展示的例子进行
在信息安全领域,建立在人工智能技术之上的策略引擎已经深入到了风控产品功能的方方面面,相应的,每一个策略系统都离不开大量的特征,来支撑模型算法或人工规则对请求的精准响应,因此特征系统成为了支持线上风控引擎的重要支柱...本文以智能风控在线特征系统为原型,重点从线上数据从生产到特征物料提取、计算、存取角度介绍一些实践中的通用技术点,以解决在线特征系统在高并发情形下面临的问题和挑战。 特征系统的基本概念 1....c) 并发大,风控策略系统面向用户端,服务端峰值QPS超过35万,每日调用量超过200亿次。...d) 延迟低,面对用户的请求,风控系统为了保持良好的用户体验,更快的完成对用户准入条件的判断,要求特征系统接口的延迟在50ms以内。...总结和规划 本文主要以智能风控在线特征系统为原型,提出了在线特征系统的一些设计思路。其中特征工程系统的边界并不限于特征的解析、计算、存取等。
风控定义 风控是风险控制的简称,在百度百科中是这么定义风险控制的。 风控在我们日常生活中随时可见,小到账户登录验证码,都可以算是一种风控的手段。...这里我们着重了解下信贷下的风控,结合了场景的风控,则赋予了更多的意义。...信贷风控的目标是「利益最大化」,而不是没有风险,在风险和利润之间找到平衡,是信贷风控的核心。...,以及在信贷场景下的风控如何实现,风控的目标永远是降风险,但不是一味地降,在不同场景下有不同的考虑。...文章例子参考《智能风控平台:架构、设计与实现》
「风控ML」系列文章,主要是分享一下自己多年以来做金融风控的一些事一些情,当然也包括风控建模、机器学习、大数据风控等相关技术分享,欢迎同行交流与新同学的加入,共同学习,进步!...第一次接触这两个名词是在做风控模型的时候,老师教我们可以用IV去做变量筛选,IV(Information Value),中文名是信息值,简单来说这个指标的作用就是来衡量变量的预测能力强弱的,然后IV又是
大家好,又见面了,我是你们的朋友全栈君。 一、当前风控模式现状 近年来,信用风险管理发展呈现出数据化、模型化、系统化、自动化和智能化的特点。传统的人工专家经验正逐步被模型与算法替代。...一开始我们的技术人员对这个“少量逾期”这个分类很疑惑,不能理解这个分类到底是好还是坏。直到我们和某P2P公司的风控经理实际交流后才明白这其中的含义。...另外,风控模型在不同的阶段体现的方式和功能也不一样。...一般情况下风控模型需要过滤高危地区的黑名单,因为在市场上永远存在着这么靠金融欺诈而获利的人群,对于这类人群只要存在疑虑统统过滤掉;其次通过系统设置的评分规则对用户提交的个人信息进行评定,最后辅助一些其他的输入资料进行分数的微调...所以说,风控模型的计算策略和机制在一个公司属于绝密,规则除了核心的员工,其他人是不能知道风控规则的。 四、风控的核心 如果说金融产品的核心是风控,那么风控的核心是什么?
大家好,又见面了,我是你们的朋友全栈君。 支付风控涉及到多方面的内容,包括反洗钱、反欺诈、客户风险等级分类管理等。 其中最核心的功能在于对实时交易进行风险评估,或者说是欺诈检测。...大部分支付系统是使用三等级的风险。 二、基于规则的风控 规则是最常用的,也是相对来说比较容易上手的风控模型。从现实情况中总结出一些经验,结合名单数据,制定风控规则,简单,有效。...互联网金融风控离不开机器学习,特别是支付风控。 在各种支付风控模型中,决策树模式是相对比较简单易用的模型。 如下的决策树模型,我们根据已有的数据,分析数据特征,构建出一颗决策树。...这个过程,将在下一篇的风控架构中介绍。 五、模型评估 风控本质上是对交易记录的一个分类,所以对风控模型的评估,除了性能外,还需要评估“查全率”和“查准率”。...支付风控场景分析 ; 支付风控数据仓库建设 ; 支付风控模型和流程分析(本文); 支付风控系统架构 发布者:全栈程序员栈长,转载请注明出处:https://javaforall.cn
所以Financial Position Risk 最后答案是D 02.5 评估风险管理工具的影响 instrument可以分成exchange和OTC exchange traded:标准化,流动性好,...的角色和职责,评估CRO如何和其他高管协作 CRO职责 1.对公司面临的所有风险负责 2.开发和实现ERM策略 工作范围: 1.设置公司全局风险偏好 2.度量和量化风险 3.设置风险限制 4.开发风险系统
这里想到了自己经常联调的风控同学违禁词识别场景。和某明星塌房需要拦截关键词一毛一样。在联调之余有幸请教了风控的几位同学,再此学习了一下风控系统中敏感词校验的设计方案。...match(String input, String rule) { // AIGC and 算法 return true; } } 2.2 实时生效解决方案 重启方案不适合大系统...终极方案:新增或者删除以后【自动或者人工】感知到这种变更,然后变更通知到系统中的Listener,重新读取全量的数据。...详情可参考Trie 树原理及其敏感词过滤的实现 3、总结 整个链路可以不实现,但是方案要完整;系统可以不用,但是要做。两句都对。
另一方面对风控而言,业务发展是风控存在的前提,如果风控的安全需求影响到业务发展也是不合理的,因此风控要提高服务质量,让对接带来的负担降到最低——这就是对接系统设计的核心目标。...下面分别来看我们在风控系统构建中的做法。 接入成本 风控系统最早只是业务系统中的一个函数,逐步演化成了独立的服务。...这样频繁地调整给上下游团队都带来了不小的负担,在频繁的更改中系统质量也难以保证。 换个角度看,其实还有更好的交互方式:当风控要保证账户操作环节的安全,可以让用户中心直接与风控系统对接。...即业务系统调用用户中心,用户中心再调用风控透传风控所需参数,而风控的决策也通过用户中心返回给业务后台。 这样的好处是只需要用户中心与风控对接一次,业务系统甚至不需要明显感知到风控的存在。...小结 把上面三部分融合起来,可以看到风控系统的全景: ? 风控之道 从上文三条风控工作原则可以看到,风控系统构建过程各个阶段的关注点从对接质量,到平台效率,再过渡到立体的闭环防御。
那就是很多坏客户可能被我们拒绝准入了,所以长期以往库内的客户,都基本上算是不那么差的客户,那么如果我们直接拿这些数据来统计建模,就会出现了偏差,也就是用局部样本代替了全局样本,从而可能会得到不太能代表真实分布的模型,出现了线下回溯效果好,...《风控建模中的样本偏差与拒绝推断》https://zhuanlan.zhihu.com/p/88624987 不过我也还是把他文章里的分类体系在这里重点再次分享一下。...06 总结一下 本文算是一个对拒绝推断的入门介绍了,让初涉风控模型的同学有一个相对来说比较清晰的全局认识,这里面涉及到的很多算法模型上的细节并没有展开来讲,因为我觉得这也会让阅读带来比较大的负担,公众号的文章还是要控制在几分钟内读完比较合适...Reference [1] 异常检测算法分类及经典模型概览 https://blog.csdn.net/cyan_soul/article/details/101702066 [2] 风控建模中的样本偏差与拒绝推断
今天来介绍一下风控中的异常检测,从最基础的概念开始讲起,因为本人对这块的内容平时工作也做得不多,更多滴偏向于“纸上谈兵”,有什么说得不对的地方,也欢迎各位朋友指正~谢谢。...异常检测的概念 02 异常检测的难点 03 异常检测的分类及常见算法 01 异常检测的概念 异常检测(Anomaly Detection 或 Outlier Detection),又称为离群点检测,在我们风控领域很多地方都会用到
「风控ML」系列文章,主要是分享一下自己多年以来做金融风控的一些事一些情,当然也包括风控建模、机器学习、大数据风控等相关技术分享,欢迎同行交流与新同学的加入,共同学习,进步!...这个时候,我们需要沉住气,,有的时候数据建模师也需要充当起“心理辅导员”,慢慢引导业务说出实际的业务痛点与需求,好让我们对症下药(当然靠谱且有经验的业务是不会犯这种行为的)。
大家好,又见面了,我是你们的朋友全栈君。 一套完整的风控体系,在风控中,少不了决策引擎,今天就浅谈一下风控决策引擎。...风控系统的作用在于识别绝对风控与标识相对风险,如果是绝对风控,则整套风控的审核结果便将是“拒绝”。既然结果必然是“拒绝”,则没必要运行完所有的风控规则,而主要单条触发“拒绝”即可停止剩余规则的校验。...而一些通过对接外部三方征信的风控规则,需支出相关查询费用的,则靠后运行。此外,在外部三方征信的规则中,命中式收费的风控规则(如黑名单与反欺诈)又可以优先于每次查询式收费的风控规则(如征信报告)运行。...三、记录与统计 风控最终到底是“跑出来”的,所以,整个风控系统对所有不同风控规则的触发需进行有效的记录与统计,以便后期可支持数据分析与风控模型调整的相关工作。...而评分卡的模式在另外一方面也作用于系统审核与人工信审,譬如高于X评分的订单申请,系统直接通过;处于X与Y之间的评分,则需人工审核,甚至通过电话联系;而低于Y评分的,则系统直接拒绝(半自动)。
在金融行业,风险控制(风控)是核心环节,它关乎资产安全、合规性以及机构的长期稳健发展。随着大数据时代的到来,金融机构面临着前所未有的数据量和复杂性。...在这样的背景下,风控领域特征工程应运而生,成为连接原始数据与精准风险评估的桥梁。 特征工程,简而言之,是对数据的一种深度加工,它通过一系列技术手段,将原始数据转化为对风险预测有用的信息。...在风控领域,特征工程的核心目标是构建出能够准确反映个体或实体风险水平的特征集。...此外,良好的特征工程实践还能促进模型的解释性,为风控决策提供更加透明的依据。 随着技术的发展,特征工程的方法也在不断创新。...通过综合运用这些特征衍生方法,风控领域的特征工程能够更全面地挖掘数据潜力,为风险评估提供多维度的视角。
00 Index 01 GBDT和XGBoost的原理介绍 02 GBDT和XGBoost的异同点分析 03 什么风控建模场景下常用这两个明星算法?...03 什么风控建模场景下常用这两个明星算法?...而关于风控模型怎么调优,我会在下一节一起讲。...风控模型怎么调优 关于风控模型的调优,先前有篇文章讲得比较细致《风控ML[7] | 风控模型调优的思路有哪些》,大家可以移步去回顾一下。...最后,我们都知道XGBoost可以处理失衡样本,具体我们通过哪个参数来调模型呢?这里我们要区分你更关注什么。
面临挑战 该券商的数据基础主要来自于业务系统的关系型数据库的数据,需要在数据基础之上实现数据的运营。而由于合规风控处于企业核心竞争力的高度,原风控数据积累10年,数据量已超30TB。...解决方案 沃趣科技以QData高性能数据库云平台作为数据库基础架构平台替换原传统“烟囱式”系统架构,承载合规风控核心数据库系统,助力业务处理效率大幅提升。...基于QData Cloud建设数据库私有云平台,率先迁移上线风控系统,后期逐步整合了CRM系统、固定收益部系统、xIR利率资产业务、大宗交易、信用风险、征信系统、机构管理、自营交易等多套业务系统数据库。...价值提升 1 通过QData数据库云平台大幅提升了风控系统的业务效率,风控日终调度业务从原十几个小时缩短至1.5小时,性能提升10倍以上。...2 通过多年的发展,基于沃趣QData Cloud云平台解决方案逐步拓展成数据库私有云应用场景,以Oracle为代表的数据库如:客户关系管理、风控、合规、自营交易等系统正在逐步迁移到数据库私有云平台。
干货 | 携程在线风控系统架构 https://mp.weixin.qq.com/s?...8376fa6eb4017378babd51cd6f474cbd6ac5fa0ad51b18783c8ff7a75c4c2ea52c5a5723eac0&mpshare=1&scene=1&srcid=1013uCmHHCB3qu0dUbD30MWg&pass_ticket=tPRWL 干货 | 携程基于大数据分析的实时风控体系...https://mp.weixin.qq.com/s/xlCO__HucTUd_gYNRTueGg 京东基于Spark的风控系统架构实践和技术细节 https://mp.weixin.qq.com...MzU1NDA4NjU2MA==&mid=2247486513&idx=1&sn=bd6d6bbd13efc7f9612190dceaf4c180&source=41#wechat_redirect 美团点评业务风控系统构建经验
确定建模目的 在信贷领域中建立风控模型是为了找出可能会逾期的客户,根据逾期的可能性和资金的松紧程度选择是否放贷。 在支付领域建立风控模型是为了找出可能存在非法经营的商户,保证商户没有违法经营。...确定好坏样本逻辑 在信贷领域中逾期大于x期(不同公司取值不同)的客户定义为坏客户(1),从未逾期的客户定义为好客户(0) 在支付风控领域中,有赌博、欺诈、套现、伪卡等行为的商户定义为坏商户(1)(具体根据模型要防控的风险决定...),未有上述风险的商户定义为好商户(0) 3....特征工程 在风控领域一直都有这样一句话 “数据决定了机器学习的上限,而算法只是尽可能逼近这个上限”,这里的数据指的就是经过特征工程得到的数据。通俗的讲就是衍生变量去捕获风险客户。...模型上线 在支付风控领域如果模型验证没有问题,一般会上到线上,自动生成案例。在信贷中会模型搭配规则,判断申请贷款的人是通过放贷、拒绝放贷、还是转人工处理。
一个优秀的模型上线报告以及一个优秀的上线后模型监控报表,在我们日常风控建模中是非常的常用并且有用的,今天这个话题就来和大家聊聊怎么去制作优秀的模型上线报告以及上线后的模型监控报表,主要聊聊思路,先要有一个全局的感受...以下内容均基于自己浅薄的经历提炼的,如有纰漏,欢迎指正或补充哦,欢迎交流~ 00 Index 01 聊聊为什么要做这件事 02 标配的风控模型上线报告应具备哪些内容 0201 模型现状 0202 KS值与各种曲线...02 标配的风控模型上线报告应具备哪些内容 0201 模型现状 想要突出你模型的好,你得先分析旧模型的不好。 比如说,把目前线上模型的实际表现进行统计,如KS值、分组排序性、PSI等基础指标。...一般情况下,我们会对预测结果按照一定的阈值,进行分组,比如分为A/B/C/D/E/F共6组,越靠后就意味着越有可能是高风险客户,我们给予一定的风控规则进行拦截。...Reference [1] 风控模型监控报告系统设计 https://zhuanlan.zhihu.com/p/83025492 [2] 模型评估方法之KS曲线和ROC曲线 https://zhuanlan.zhihu.com
领取专属 10元无门槛券
手把手带您无忧上云