摘要:本文作者彭明德,介绍了钱大妈与阿里云 Flink 实时计算团队共建实时风控规则引擎,精确识别羊毛党以防营销预算流失。 钱大妈与阿里云 Flink 实时计算团队共建实时风控规则引擎,精确识别羊毛党以防营销预算流失。 图一:钱大妈实时风控流程示意图 二、业务架构 钱大妈风控业务架构如图二所示总共分为四个部分:事件接入、风险感知、风险应对、风险回溯。 图二:钱大妈实时风控业务架构图 三、规则模型 风控业务专员通过产品界面简单配置即可实时动态发布风控规则,同时对在线 Flink 作业的规则进行新增、更新以及删除,其中风控规则模型主要分为统计型规则和序列型规则 图六:社区Flink动态CEP规则表 五、回顾展望 基于 Flink 的实时风控解决方案已接应用于钱大妈集团内部生产环境,在此解决方案里未引入新的技术组件和编程语言,最大化复用 Flink 资源实现实时风控场景需求
本文由携程技术中心投递,ID:ctriptech。作者:郁伟,携程技术中心风险控制部高级开发经理。2010加入携程,参与了携程结算平台、风控系统的开发,对系统架构、流式数据处理等有比较深入的研究。 主要分三大模块:风控引擎、数据服务、数据运算、辅助系统。 风控引擎:主要处理风控请求,有预处理、规则引擎和模型执行服务,风控引擎所需要的数据是由数据服务模块提供的。 由于携程的业务种类非常多,而且每种业务都有其特性,在进入风控系统(Aegis)后,为了便于整个风控系统对数据进行处理,风控前端有一个适配器模块,把各个业务的数据都按照风控内部标准化配置进行转换,以适合风控系统使用 由于每个风控Event请求,都需要执行数百个规则,以及模型,这时,风控引擎引入了规则执行路径优化方法。 ,对于技术将继续拥抱开源技术,下一步会引入Spark等提高风控系统的数据处理能力。
个人网站、项目部署、开发环境、游戏服务器、图床、渲染训练等免费搭建教程,多款云服务器20元起。
性能和复杂度可以兼得 携程的风控系统,和大部分第三方支付平台一样,也是以实时风控系统为主: 支付环节一般留给风控校验的时间不会超过1s,业务风控点上更是希望风控能在100ms内就能通过;对性能的追求,也是对极致用户体验的追求 在实时风控场景里大量部署复杂模型,使模型也能和规则一样能直接拒绝交易;平均来看、执行一个模型以及相关的变量计算所需的资源可能与200条普通规则相当,对系统的架构和性能都是很高的挑战。 携程风控架构变迁简史 ? 携程自建风控系统开始于2011年左右,直到2015年正好赶上公司技术栈从.Net往Java平台转变,风控系统也迎来了一次完全的重写。 新系统的架构、设计复杂度、预计的处理能力也充分考虑了公司的业务发展预期,第一次让技术走在了业务到来之前。经过每年一个大版本的迭代,到目前为止,携程风控的技术水平已经处于行业第一梯队。 设备指纹是风控识别欺诈交易的关键技术,此类核心技术要掌握在自己手里,携程风控研发的设备指纹服务,已经在携程全站部署以及携程集团旗下的多个站点部署,应用后规则抓取准确性提升非常明显。
这要求风控系统一定要有实时性。本文就介绍一种实时风控解决方案。 1.总体架构 风控是业务场景的产物,风控系统直接服务于业务系统,与之相关的还有惩罚系统和分析系统,各系统关系与角色如下: ? 登陆,盗号登陆; 交易,盗刷客户余额; 活动,优惠活动薅羊毛; 风控实现方案:事中风控,目标为拦截异常事件; 2.风控系统 风控系统有规则和模型两种技术路线,规则的优点是简单直观、可解释性强、灵活 该系统有三条数据流向: 实时风控数据流,由红线标识,同步调用,为风控调用的核心链路; 准实时指标数据流,由蓝线标识,异步写入,为实时风控部分准备指标数据; 准实时/离线分析数据流,由绿线标识,异步写入, 2.1 实时风控 实时风控是整个系统的核心,被业务系统同步调用,完成对应的风控判断。 前面提到规则往往由人编写并且需要动态调整,所以我们会把风控判断部分与规则管理部分拆开。 Flink 把汇总的指标结果写入 Redis 或 Hbase,供实时风控系统查询。两者问题都不大,根据场景选择即可。
摘要:本文整理自阿里云开发工程师耿飙&阿里云开发工程师胡俊涛,在 FFA 实时风控专场的分享。 我们这里展示三个典型场景: 第一个场景,实时风控。
0.概述 车辆线控系统包括线控油门,线控转向,线控制动等。 re=view&pn=51 1.线控制动系统安全策略研究: ---- 1、不同类型线控系统优缺点,硬件冗余布置方案。 2、用于线控系统的通信网络FlexRay 3、电源供应系统,可能的故障及预案 4、电制动力的控制方式 5、制动力分配方案,ABS在线控系统中如何实现 6、用于线控控制车辆的紧急制动装置。 目的: 冗余线控电源系统,电源管理器,保证能源供应安全。 各节点的实时控制和通信技术,减小响应时间。 整合ABS防抱死,ASR驱动防滑等芯片,提高制动安全性。 制动器失效模式,应急处理方案。 1.3 线控系统安全性能要求 自检功能: 将监测到的故障以编码的方式存入存储器,并及时调用应急处理方案。 容错功能:即使节点故障,整个系统不丧失制动能力,保证车辆能以低速行驶到修理店。
作者简介 郁伟,携程技术中心风险控制部高级开发经理。2010加入携程,参与了携程结算平台、风控系统的开发,对系统架构、流式数据处理等有比较深入的研究。 图1 主要分三大模块:风控引擎、数据服务、数据运算、辅助系统。 风控引擎:主要处理风控请求,有预处理、规则引擎和模型执行服务,风控引擎所需要的数据是由数据服务模块提供的。 由于携程的业务种类非常多,而且每种业务都有其特性,在进入风控系统(Aegis)后,为了便于整个风控系统对数据进行处理,风控前端有一个适配器模块,把各个业务的数据都按照风控内部标准化配置进行转换,以适合风控系统使用 由于每个风控Event请求,都需要执行数百个规则,以及模型,这时,风控引擎引入了规则执行路径优化方法。 在4.0中,将在机器学习、人工智能、行为特征等方向继续发力,进一步提高风控系统识别能力,对于技术将继续拥抱开源技术,下一步会引入Spark等提高风控系统的数据处理能力。
导语 随着部门在业务安全领域的不断拓展,围绕着验证码、金融广告等服务场景,腾讯水滴作为支撑业务安全对抗的实时风控系统,上线的任务实时性要求越来越高,需要支撑的业务请求量也随之增加。 对于业务快速上线和资源快速扩缩容的需求,且公司自研上云项目往全面容器化上云方向推进,水滴风控平台开始进行自研上云的改造。 水滴后台架构 水滴平台主要是用于业务安全对抗的高可用、高性能、低延时的实时风控策略平台,提供一系列的基础组件给策略人员进行构建策略模型,能够帮忙策略人员快速地完成策略模型的构建和测试验证。 水滴系统架构如下图所示: 水滴实时风控平台系统主要由配置处理模块和数据处理模块两部分组成。 配置处理模块主要由前端 web 页面、cgi 、mc_srv 和 Zookeeper 等组成。
陈建平,后台开发工程师,现就职于TEG安全平台部-业务安全中心,主要负责中心实时策略风控平台开发。 导语 随着部门在业务安全领域的不断拓展,围绕着验证码、金融广告等服务场景,腾讯水滴作为支撑业务安全对抗的实时风控系统,上线的任务实时性要求越来越高,需要支撑的业务请求量也随之增加。 对于业务快速上线和资源快速扩缩容的需求,且公司自研上云项目往全面容器化上云方向推进,水滴风控平台开始进行自研上云的改造。 水滴后台架构 腾讯水滴平台主要是用于业务安全对抗的高可用、高性能、低延时的实时风控策略平台,提供一系列的基础组件给策略人员进行构建策略模型,能够帮忙策略人员快速地完成策略模型的构建和测试验证。 水滴系统架构如下图所示: 水滴实时风控平台系统主要由配置处理模块和数据处理模块两部分组成。 配置处理模块:主要由前端 web 页面、cgi 、mc_srv 和 Zookeeper 等组成。
作者简介:盛科网络 王俊杰 01 流控技术概要 1.1 流控技术与RDMA 随着数据中心网络技术和带宽不断发展,流控技术在网络中发挥着越来越重要的作用,但一直未曾有过很大变革。 基于TCP的RDMA,本质上是将“无损”寄托在TCP的可靠性上,而基于RoCEv2的无损网络则是将“无损”放在了流控机制。本文所提及的流控技术,主要是指基于RoCEv2的流控技术。 总结来说,RDMA网络实现“低时延”,“无丢包”,“高吞吐”的关键是流控技术。 02 流控技术原理 2.1 PFC ? 2.8 流控技术对比 ? 03 流控技术方向与生态 ? 总之,无论技术路线怎么走,无损网络与流控技术的春天正在向我们挥手。
万达网络科技集团的技术团队,建设和维护着一套实时风控平台。这套实时风控平台,承担着各种关键交易的在线风控数据的写入和查询服务。 实时风控平台后端的数据库系统在高性能,可靠性,可扩展性上有很高的要求,并且需要满足如下核心功能和业务要求: 风控相关业务数据实时入库 实时风控规则计算 通过 BI 工具分析风控历史数据 ETL 入库到 Hadoop 数据仓库 应用开发侧需要兼容 MySQL,降低应用改造门槛为实现上述业务目标,万达网络科技集团的技术团队在实时风控数据库选型的早期阶段,首先选择了 MySQL Galera Cluster 这些问题集中反映在以下几个方面:最终万达的技术团队,通过评估验证,选择了 TiDB 帮助他们实现一个高性能,高可靠性和高扩展能力的实时风控平台后台数据库系统。 在实时风控平台的高并发高性能的对外服务过程中,在线灵活扩容的相关工作在 MySQL Proxy 中间件架构中无法高效和可靠的实施。
风控在任何一个公司都是比较神秘的存在,不仅线上很少分享,从安全角度讲也很少对外披露它的架构及设计。本人将就参与的风控建设谈谈风控的技术。 (本文来源于本人内部分享PPT,仅从技术角度探讨风控体系建设,不涉及公司内部机密,限于篇幅,一些细节没能交待完整) 风控架构演进 经过1年多风控系统的建设,已经将公司内部风控系统从业务代码为主的风控架构改造为了平台化为主的 技术架构 首先来看目前风控的技术架构,从业务及架构层面将风控划分为五大体系:分别是存储体系,识别体系,支撑体系,运营体系,数据计算体系。 目前已经初步具备的 业务能力有,营销作弊,交易欺诈,登录注册防控,内容防控 数据模型能力有,用户画像及风险评级,关联反查,风险大盘,各类报表等 运营能力有,用户预警,商户预警,案件审核,综合信息查询 另外,由于风控积累数据及服务已经较多,许多外部系统都想共享风控的数据和服务,将风控的部分业务作为开放平台提供服务也是深化风控改造的重要步骤。
下图是hbase的一个基准性能测试,千万不要忽略hbase哦,它既能存取海量数据,又能以极短的时间响应,实在是风控系统性能提升的利器。目前的风控系统最重要的累积数据,就是基于hbase存取的 ? 在风控系统里,日志是很重要的排查工具和手段。 log4j2的出现,就是为了大吞吐打印日志的,其中all async实现全异步打印,中间用到了disruptor来提速,至于disruptor为什么快,参考之前的文章高并发风控技术解密(上) 单机
3 开源飞控的发展 4 你不该错过的开源飞控一览 4.1. ---- 原文:《技术贴:开源飞控那些事》 原文发表时间:2015-9-6 15:59 李大伟 北京航空航天大学无人驾驶飞行器设计研究所 副教授 杨炯 北京航空航天大学无人驾驶飞行器设计研究所 工程师 在实现技术自由的同时,开源硬件提供知识共享并鼓励硬件设计开放交流贸易。 开源硬件(OSHW) 定义1.0是在软件开源定义基础上定义的。 第十二,许可必须是技术中立的。许可的任何条款不可以基于任何个人技术、特定部分或者部件、材料或者接口、使用风格等。 2 开源飞控又是何物 了解了开源硬件的概念,开源飞控的概念也就比较容易理解了。 20世纪90年代以后,随着微机电系统(MEMS)技术的发展,惯性敏感元件实现了体积小型化,提高了可靠性,并适合批量生产,从此捷联式惯导系统进入了微机电领域,并开始向民用领域广泛渗透,出现在机器人系统和新一代的交通工具中
风控在任何一个公司都是比较神秘的存在,不仅线上很少分享,从安全角度讲也很少对外披露它的架构及设计。本人将就参与的风控建设谈谈风控的技术。 (本文来源于本人内部分享PPT,仅从技术角度探讨风控体系建设,不涉及公司内部机密,限于篇幅,一些细节没能交待完整) 风控架构演进 经过1年多风控系统的建设,已经将公司内部风控系统从业务代码为主的风控架构改造为了平台化为主的 技术架构 首先来看目前风控的技术架构,从业务及架构层面将风控划分为五大体系:分别是存储体系,识别体系,支撑体系,运营体系,数据计算体系。 目前已经初步具备的 业务能力有,营销作弊,交易欺诈,登录注册防控,内容防控 数据模型能力有,用户画像及风险评级,关联反查,风险大盘,各类报表等 运营能力有,用户预警,商户预警,案件审核,综合信息查询 另外,由于风控积累数据及服务已经较多,许多外部系统都想共享风控的数据和服务,将风控的部分业务作为开放平台提供服务也是深化风控改造的重要步骤。 ?
滑动窗口实现了TCP流控制。首先明确滑动窗口的范畴:TCP是双工的协议,会话的双方都可以同时接收和发送数据。TCP会话的双方都各自维护一个发送窗口和一个接收窗口...
如下图,不同的存储读取时间是有很大差别的,应当利用好各种存储,尽可能的用耗时小的存储 下图是hbase的一个基准性能测试,千万不要忽略hbase哦,它既能存取海量数据,又能以极短的时间响应,实在是风控系统性能提升的利器 目前的风控系统最重要的累积数据,就是基于hbase存取的 异步化 •从系统架构层面,将可异步的代码尽量异步,但忌滥用异步 下面是一个实际的例子,在压测过程中,发现CPU的sy和wa很高,大体可以判断是线程过多 在风控系统里,日志是很重要的排查工具和手段。 log4j2的出现,就是为了大吞吐打印日志的,其中all async实现全异步打印,中间用到了disruptor来提速,至于disruptor为什么快,参考之前的文章高并发风控技术解密(上) 单机TPS
风控建模的技术方案 1 逻辑回归模型 在银行的传统评分卡建模中,应用的也是逻辑回归模型。逻辑回归本质上是一个线性分类模型。 对于金融科技公司在建模所遇到的大量的弱特征,如何挖掘多个特征之间的互补性,产生组合的分箱特征是一个技术挑战。 4 深度学习模型 基于深度学习的技术路线会面临两个挑战。一方面,深度学习模型都有很高的模型复杂度,需要大规模的样本数据,而风控领域要获取大规模的样本数据的成本极高。 总之,金融风控模型是一个既传统又新鲜的技术问题。银行的风控模型已经随着银行业的发展应用了数十年。 而互联网金融面临的如何组合大量的弱特征数据对于用户的逾期行为给一个准确的预测,是一个新出现的技术课题,技术方案也在快速的迭代演进中。
作为目前人工智能技术主攻的听、视、嗅、触四大高地之一,智能眼控技术也越来越为人所关注。 科技改变生活 ? 但是,眼控技术不仅仅是为了生存需要才研发的,更多的是为了让生活更美好。对于这一点,七鑫易维已经将他们的眼控技术与当下十分火爆虚拟现实技术结合在了一起。 让世界读懂你的眼神 ? 但是目前被应用于虚拟现实领域的控制技术大多以头控为主,这便意味着用户必须通过头部的运动去锁定目标,从而对设备进行操作。这样一来,用户在体验时非常容易有头部不适的感觉甚至是感到眩晕。 此外,头控技术还会使锁定目标的过程变长,这对于虚拟现实这样美妙的体验来说,实在是太煞风景了! 因此,采用眼球追踪技术判断用户的注视目标是目前VR控制技术的最佳选择。 说了这么多眼控技术的好,很多人不禁会问:头戴式VR设备在形式上和我们日常所戴的眼镜没有什么不同,但是我们平时带的眼镜都是“私人订制的”,批量生产的VR设备真的适合每一个人吗?
腾讯云星云风控平台(Risk Control Platform)提供实时、集中的一站式智能风险管控服务。打通数据采集、数据清洗、特征加工、规则模型、顶层场景的各个模块,从而形成符合实际风控场景的端到端服务平台。
扫码关注腾讯云开发者
领取腾讯云代金券