学习
实践
活动
专区
工具
TVP
写文章

钱大妈基于 Flink 的实时风实践

摘要:本文作者彭明德,介绍了钱大妈与阿里云 Flink 实时计算团队共建实时风规则引擎,精确识别羊毛党以防营销预算流失。 钱大妈与阿里云 Flink 实时计算团队共建实时风规则引擎,精确识别羊毛党以防营销预算流失。 图一:钱大妈实时风流程示意图 二、业务架构 钱大妈风业务架构如图二所示总共分为四个部分:事件接入、风险感知、风险应对、风险回溯。 图二:钱大妈实时风业务架构图 三、规则模型 风业务专员通过产品界面简单配置即可实时动态发布风规则,同时对在线 Flink 作业的规则进行新增、更新以及删除,其中风规则模型主要分为统计型规则和序列型规则 图六:社区Flink动态CEP规则表 五、回顾展望 基于 Flink 的实时风解决方案已接应用于钱大妈集团内部生产环境,在此解决方案里未引入新的技术组件和编程语言,最大化复用 Flink 资源实现实时风场景需求

48420

携程是如何把大数据用于实时风的?

目前携程利用自主研发的风系统有效识别、防范这些风险。携程风系统从零起步,经过五年的不断探索与创新,已经可以有效覆盖事前、事中、事后各个环节。 主要分三大模块:风引擎、数据服务、数据运算、辅助系统。 风引擎:主要处理风请求,有预处理、规则引擎和模型执行服务,风引擎所需要的数据是由数据服务模块提供的。 由于携程的业务种类非常多,而且每种业务都有其特性,在进入风系统(Aegis)后,为了便于整个风系统对数据进行处理,风前端有一个适配器模块,把各个业务的数据都按照风内部标准化配置进行转换,以适合风系统使用 风系统要进行数据的合并。举个例子,当有一笔支付风校验,支付BU只抛过来支付信息(支付金额、支付方式、订单号等)。 由于每个风Event请求,都需要执行数百个规则,以及模型,这时,风引擎引入了规则执行路径优化方法。

1.5K80
  • 广告
    关闭

    热门业务场景教学

    个人网站、项目部署、开发环境、游戏服务器、图床、渲染训练等免费搭建教程,多款云服务器20元起。

  • 您找到你想要的搜索结果了吗?
    是的
    没有找到

    干货 | 携程基于大数据分析的实时风体系

    性能和复杂度可以兼得 携程的风系统,和大部分第三方支付平台一样,也是以实时风系统为主: 支付环节一般留给风校验的时间不会超过1s,业务风点上更是希望风能在100ms内就能通过;对性能的追求,也是对极致用户体验的追求 在实时风场景里大量部署复杂模型,使模型也能和规则一样能直接拒绝交易;平均来看、执行一个模型以及相关的变量计算所需的资源可能与200条普通规则相当,对系统的架构和性能都是很高的挑战。 携程风架构变迁简史 ? 携程自建风系统开始于2011年左右,直到2015年正好赶上公司技术栈从.Net往Java平台转变,风系统也迎来了一次完全的重写。 每天风收集上来的数据超过50亿条,其中超过1亿左右的请求需要风实时校验风险并返回给业务系统当前操作是否可以继续。 支撑风系统的高可用、高性能,离不开强大的基础设施,下面我向大家展示一下携程风的几个核心服务和组件: ? 风引擎: ? 我们给他起了一个名字叫 Matrix,意思是像魔方一样灵活多变。

    1.6K50

    基于 Apache Flink 和规则引擎的实时风解决方案 ​

    这要求风系统一定要有实时性。本文就介绍一种实时风解决方案。 1.总体架构 风是业务场景的产物,风系统直接服务于业务系统,与之相关的还有惩罚系统和分析系统,各系统关系与角色如下: ? 该系统有三条数据流向: 实时风数据流,由红线标识,同步调用,为风调用的核心链路; 准实时指标数据流,由蓝线标识,异步写入,为实时风部分准备指标数据; 准实时/离线分析数据流,由绿线标识,异步写入, 2.1 实时风时风是整个系统的核心,被业务系统同步调用,完成对应的风判断。 前面提到规则往往由人编写并且需要动态调整,所以我们会把风判断部分与规则管理部分拆开。 前边提到,做规则判断需要事实的相关指标,比如最近一小时登陆次数,最近一小时注册账号数等等,这些指标通常有一段时间跨度,是某种状态或聚合,很难在实时风过程中根据原始数据进行计算,因为风的规则引擎往往是无状态的 Flink 把汇总的指标结果写入 Redis 或 Hbase,供实时风系统查询。两者问题都不大,根据场景选择即可。

    3K20

    推荐非常强大的风引擎项目!

    伴随着移动互联网的高速发展,羊毛党快速崛起,从一平台到另一个平台,所过之处一地鸡毛,这还不是最可怕的, 随之而来的黑产令大部分互联网应用为之胆寒,通常新上线的APP的福利比较大,风系统不完善,BUG 针对这一现象, 拥有一款实时的风引擎是所有带有金融性质的APP 的当务之急,Radar应景而生。 Radar前身是笔者前公司的一个内部研究项目,由于众多原因项目商业化失败,考虑到项目本身的价值,弃之可惜, 现使用Springboot进行重构,删除了很多本地化功能,只保留风引擎核心,更加通用,更加轻量 ,二次开发成本低, 开源出来,希望能给有风需求的你们带来一些帮助。 项目特点 实时风,特殊场景可以做到100ms内响应 可视化规则编辑器,丰富的运算符、计算规则灵活 支持中文,易用性更强 自定义规则引擎,更加灵活,支持复杂多变的场景 插件化的设计,快速接入其它数据能力平台

    85310

    微分享回放 | 携程是如何把大数据用于实时风

    目前携程利用自主研发的风系统有效识别、防范这些风险。携程风系统从零起步,经过五年的不断探索与创新,已经可以有效覆盖事前、事中、事后各个环节。 图1 主要分三大模块:风引擎、数据服务、数据运算、辅助系统。 风引擎:主要处理风请求,有预处理、规则引擎和模型执行服务,风引擎所需要的数据是由数据服务模块提供的。 由于携程的业务种类非常多,而且每种业务都有其特性,在进入风系统(Aegis)后,为了便于整个风系统对数据进行处理,风前端有一个适配器模块,把各个业务的数据都按照风内部标准化配置进行转换,以适合风系统使用 风系统要进行数据的合并。 举个例子,当有一笔支付风校验,支付BU只抛过来支付信息(支付金额、支付方式、订单号等)。 由于每个风Event请求,都需要执行数百个规则,以及模型,这时,风引擎引入了规则执行路径优化方法。

    54680

    资源利用率提高67%,腾讯实时风平台云原生容器化之路

    导语 随着部门在业务安全领域的不断拓展,围绕着验证码、金融广告等服务场景,腾讯水滴作为支撑业务安全对抗的实时风系统,上线的任务实时性要求越来越高,需要支撑的业务请求量也随之增加。 对于业务快速上线和资源快速扩缩容的需求,且公司自研上云项目往全面容器化上云方向推进,水滴风平台开始进行自研上云的改造。 水滴后台架构 水滴平台主要是用于业务安全对抗的高可用、高性能、低延时的实时风策略平台,提供一系列的基础组件给策略人员进行构建策略模型,能够帮忙策略人员快速地完成策略模型的构建和测试验证。 水滴系统架构如下图所示: 水滴实时风平台系统主要由配置处理模块和数据处理模块两部分组成。 配置处理模块主要由前端 web 页面、cgi 、mc_srv 和 Zookeeper 等组成。

    19420

    资源利用率提高67%,腾讯实时风平台云原生容器化之路

    陈建平,后台开发工程师,现就职于TEG安全平台部-业务安全中心,主要负责中心实时策略风平台开发。 导语 随着部门在业务安全领域的不断拓展,围绕着验证码、金融广告等服务场景,腾讯水滴作为支撑业务安全对抗的实时风系统,上线的任务实时性要求越来越高,需要支撑的业务请求量也随之增加。 对于业务快速上线和资源快速扩缩容的需求,且公司自研上云项目往全面容器化上云方向推进,水滴风平台开始进行自研上云的改造。 水滴后台架构 腾讯水滴平台主要是用于业务安全对抗的高可用、高性能、低延时的实时风策略平台,提供一系列的基础组件给策略人员进行构建策略模型,能够帮忙策略人员快速地完成策略模型的构建和测试验证。 水滴系统架构如下图所示: 水滴实时风平台系统主要由配置处理模块和数据处理模块两部分组成。 配置处理模块:主要由前端 web 页面、cgi 、mc_srv 和 Zookeeper 等组成。

    49661

    TiDB 帮助万达网络科技集团实现高性能高质量的实时风平台

    万达网络科技集团的技术团队,建设和维护着一套实时风平台。这套实时风平台,承担着各种关键交易的在线风数据的写入和查询服务。 实时风平台后端的数据库系统在高性能,可靠性,可扩展性上有很高的要求,并且需要满足如下核心功能和业务要求: 风相关业务数据实时入库 实时风规则计算 通过 BI 工具分析风历史数据 ETL 入库到 但这些方案,无论是高可用安全性,强一致性,还是对业务应用所需要的复杂事务/JOIN 操作以及横向扩展能力上,都无法满足实时风平台的业务要求。 在实时风平台的高并发高性能的对外服务过程中,在线灵活扩容的相关工作在 MySQL Proxy 中间件架构中无法高效和可靠的实施。 TiDB 针对分布式事务和强一致性的完善设计以及对各种 JOIN 模式的支持,使得实时风类和 BI 分析类的业务应用能够高效运行。

    48510

    大数据等技术进步驱动互联网金融创新

    技术进步推动实时风   随着互联网金融的发展,各类网银支付欺诈、电商钓鱼网站等风险因素也在增加,对风险控制(简称“风”)的要求越来越高。    储信资产管理(上海)有限公司副总裁舒赵平表示,风是P2P乃至互联网金融发展的核心,大数据、云计算等技术的发展,使得从技术入手提高风能力逐渐成为互联网金融发展的方向。 就如何找到用户体验与信息安全的平衡点,杭州邦盛金融信息技术有限公司总经理王新宇指出,通过实时风一定程度上可以解决这个问题。 从人类感知学来讲,实时风如果判断的时间大于200毫秒,这件事情是不可接受的,同时,实时风每秒又要面对上万笔的吞吐量,所以实时风平台的技术门槛特别高。 但有了实时风系统,企业可以更自如地做产品创新、限额的调整。

    49250

    TiDB 在金融行业关键业务场景的实践(下篇)

    TiDB 在实时风业务中的实践 我们还有一大类关键的金融应用场景是实时风业务。跟传统的风不一样,随着互联网化的业务场景增多,银行和泛金融机构对于实时风的要求是非常高的。 TiDB 目前在风业务中的实时风数据汇聚、存储、管理、加工、计算场景方面已经有多个落地实践。 “T+0” 级别,如高达秒级的风数据计算查询。 在金融业务场景方面,我们有包括北京银行线上业务风模型管理平台、微众银行 CNC 反欺诈系统、天翼支付反洗钱平台、拉卡拉金融实时风平台等一系列的场景落地。 同时在互联网及电商业务场景中,包括像东南亚知名电商 Shopee 的风平台,小红书反欺诈系统及实时风平台、拼多多风平台等都有了一些落地。

    54920

    防盗窃反欺诈,支付宝风系统0.1秒识别风险

    作为当下资金欺诈的主要风险,它因为是用户本人操作而难以防——这种难度,至少在蚂蚁金服的智能风引擎出现以前,保持在相当高的水平。 芮雄文在演讲中公布的一些数据描述了AlphaRisk巨大的技术进步:支付宝平台上每天交易上亿笔,AlphaRisk不仅能够对每个用户的每笔支付进行7*24小时的实时风险扫描; 同时,通过不断新增的风险特征挖掘和优化算法迭代的模型 ,AlphaRisk能够自动贴合用户行为特征进行实时风险对抗,在数亿交易中准确识别用户被骗支付的欺诈风险交易,不足0.1秒就能完成风险预警、检测、管等复杂流程。 这样的愿景下,蚂蚁金服目前已经开放了自己的智能风产品——蚁盾风险大脑。 目前蚁盾风险大脑提供了“交易、账户、营销、内容保护等实时风能力”已经服务于金融监管、银行、互联网三大领域,惠及上千家合作伙伴。 “蚂蚁金服是一家科技公司,我们的愿景是给世界带来更多平等的机会。”

    48310

    顶象为中国移动打造高效风系统

    随后,i商城迅速引入中国移动的风系统。部署后,批量虚假注册、机器登录、薅羊毛等风险被有效发现并拦截,良好保障业务的健康运行。 顶象与中国移动联手打造的风系统 中国移动的风系统与顶象联合打造。 集成顶象智能设备指纹、顶象Dinsight实时风引擎以及三方反欺诈数据等技术。 顶象智能设备指纹支持安卓、iOS、H5、公众号、小程序,可有效侦测模拟器、刷机改机、ROOT越狱、劫持注入等风险。 顶象Dinsight实时风引擎可以在营销活动、支付下单、信贷申请等场景,对业务前端发送的请求进行风险判断,并于毫秒内返回决策结果,以提升业务系统对风险的防能力。 日常风策略的平均处理速度仅需20毫秒,聚合数据引擎,集成专家策略,支持对现有风流程的并行监测、替换升级,也可为新业务构建专用风平台;聚合反欺诈与风数据,支持多方数据的配置化接入与沉淀,能够进行图形化配置 、替换升级,也可为新业务构建专用风平台。

    17420

    卢明樊:爱奇艺的业务安全风“秘籍”

    业务中心 业务通过业务中心实现快速接入,业务场景如属于已支持的预设场景,即可复用场景化解决方案和策略模板,非预设场景可以通过定制化接入,所有接入实现了角色和权限管,并获得实时风险决策API的接入方式和文档 统一实时风险决策接口服务 业务接入后,业务的后台服务即可调用统一实时风险决策接口服务,该服务依托于风险中台的六大核心引擎,分别为:规则引擎、模型引擎、查询引擎、工作流和决策引擎、场景引擎、仿真和灰度引擎 风所用的数据源包括但不限于威胁情报、实时风日志、业务数据、设备数据、行为数据、验证数据、数据中心其他风险数据、客诉数据等等。 ,建立前后置业务的领取、发放闭环监控及拦截机制,做好活动风,确保所有营销活动都能够得到有效保护,做好账号分享的实时及离线识别及处置机制,同时监控市面黑市价格,及时发现攻防对抗的趋势进行策略调整和实时风结合 3.优化引擎服务 风系统对接支持业务后,应当充分考虑如何优化风系统的服务架构,确保实时风服务的低延迟低熔断,既要做到保证业务服务不会因为风服务增加延迟,从而导致业务服务质量下降或者过多资源占用,

    86130

    【安全通知】NPM遭遇供应链投毒攻击窃取K8S集群凭证

    文|腾讯洋葱反入侵系统 七夜、xnianq、柯南 近日,腾讯洋葱反入侵系统检测发现 NPM官方仓库被上传了radar-cms 恶意包,并通知官方仓库下架处理。 0x01 事件描述 12月23号 03:32 攻击者在NPM官方仓库上传了radar-cms 恶意包(https://www.npmjs.com/package/radar-cms),包代码和主页完全复制 图片 1.png 0x02 手法分析 radar-cms包 恶意功能触发方式相对常见,在package.json 中的postinstall字段添加了一段恶意命令,功能是在安装radar-cms包时,窃取 0x03 相关IoC 域名: entfet95itcxpuu.m.pipedream.net 0x04 尾声 近几年脚本语言社区因管薄弱、攻击成本低成为软件供应链攻击的重灾区,到目前为止,腾讯洋葱反入侵系统已经发现多起严重的软件源投毒事件

    46710

    关注

    腾讯云开发者公众号
    10元无门槛代金券
    洞察腾讯核心技术
    剖析业界实践案例
    腾讯云开发者公众号二维码

    相关产品

    • 风控平台

      风控平台

      腾讯云星云风控平台(Risk Control Platform)提供实时、集中的一站式智能风险管控服务。打通数据采集、数据清洗、特征加工、规则模型、顶层场景的各个模块,从而形成符合实际风控场景的端到端服务平台。

    相关资讯

    热门标签

    活动推荐

    扫码关注腾讯云开发者

    领取腾讯云代金券