首页
学习
活动
专区
圈层
工具
发布

Flink CEP 新特性进展与在实时风控场景的落地

摘要:本文整理自阿里云开发工程师耿飙&阿里云开发工程师胡俊涛,在 FFA 实时风控专场的分享。...我们这里展示三个典型场景: 第一个场景,实时风控。...1.3 Flink CEP 在 1.16 的改进 在 1.16 版本中,Flink CEP 主要包含四个改进。 FLINK-27392:支持在 Pattern 内的相邻事件之间定义时间窗口。...在实际生产中,频繁变化的现实场景要求我们对规则的内容,进行修改或者添加。 比如有一个 CEP 作业会在某个用户在一分钟内连续进行某操作超过 10 次后将其认为是风险用户。...在动态 CEP 中我们已经支持了在一个 Operator 中处理多条规则的能力,后续会将这个能力扩展到静态场景中。

2.6K30

钱大妈基于 Flink 的实时风控实践

图一:钱大妈实时风控流程示意图 二、业务架构 钱大妈风控业务架构如图二所示总共分为四个部分:事件接入、风险感知、风险应对、风险回溯。...阿里云实时计算产品输出的支持多规则和动态规则变更、支持 Pattern 定义事件之间的超时以及支持基于 IterativeCondition 的累加器功能拓宽 Flink 在实时风控的能力,并且上述功能已经在钱大妈生产环境落地实践...图六:社区Flink动态CEP规则表 五、回顾展望 基于 Flink 的实时风控解决方案已接应用于钱大妈集团内部生产环境,在此解决方案里未引入新的技术组件和编程语言,最大化复用 Flink 资源实现实时风控场景需求...后续钱大妈将和阿里云实时计算产品团队,继续共建完善基于 Flink 的实时风控风控解决方案,其中在 Flink CEP 的未来规划将围绕以下三个主要方向展开: Flink CEP 能力的进一步增强;...同时也希望更多有实时风控需求,或热爱风控场景建设的小伙伴能够在 Flink 社区风控钉钉专群进行沟通: [1] FLIP-200:https://cwiki.apache.org/confluence

2.7K20
  • 您找到你想要的搜索结果了吗?
    是的
    没有找到

    基于 Apache Flink 和规则引擎的实时风控解决方案 ​

    这要求风控系统一定要有实时性。本文就介绍一种实时风控解决方案。 1.总体架构 风控是业务场景的产物,风控系统直接服务于业务系统,与之相关的还有惩罚系统和分析系统,各系统关系与角色如下: ?...,所以长期活跃在风控系统之中,但缺点是容易被攻破,一但被黑产猜中就会失效,于是在实际的风控系统中,往往需要再结合上基于模型的风控环节来增加健壮性。...该系统有三条数据流向: 实时风控数据流,由红线标识,同步调用,为风控调用的核心链路; 准实时指标数据流,由蓝线标识,异步写入,为实时风控部分准备指标数据; 准实时/离线分析数据流,由绿线标识,异步写入,...2.1 实时风控 实时风控是整个系统的核心,被业务系统同步调用,完成对应的风控判断。 前面提到规则往往由人编写并且需要动态调整,所以我们会把风控判断部分与规则管理部分拆开。...前边提到,做规则判断需要事实的相关指标,比如最近一小时登陆次数,最近一小时注册账号数等等,这些指标通常有一段时间跨度,是某种状态或聚合,很难在实时风控过程中根据原始数据进行计算,因为风控的规则引擎往往是无状态的

    6.3K20

    不用全员核酸检测,数智技术给了上海市怎样的底气?

    ,在疫情面前似乎显得逐渐轻松,最直接的表现就是,作为重要口岸城市,上海疫情防控常态化后,即使出现零星病例也能很快控制,没有进行全员核酸检测,官方的表述是总体平稳有序、波澜不惊。...徐汇区治理疫情防控系统 而上海市通过依托大数据、人工智能等新技术实现数字化转型取得了扎实进步,在管理上,能够按照“五个100%”和“三个闭环管理”的思路,进一步地做实做好“外防输入”的工作,即100%登临检疫...、100%健康申明卡的审核、100%体温检测、100%流行病学调查、100%采样和检测,同时,继续做实入境人员的排查分流闭环、人员转运闭环以及属地社区管控闭环。...最显著的就是上海市在疫情防控上的精准快速,做到两小时到达现场,四小时完成核心调查,24小时做完核酸检测、区域管控、转运隔离等工作,切实做到“四早五最”,即早发现、早报告、早隔离、早治疗,在最低层级,用最短时间...显然,上海市在疫情防控工作上颇有心得,这就为广大互联网公司提供了更为开阔的发展空间,因为上海市将更为注重市场化力量参与,培育更多有影响力的平台、龙头企业和示范园区,这就给一批大数据公司提供了广泛参与的平台和机会

    47230

    顶象为中国移动打造高效风控系统

    以话费充值为例,消费者在i商城为本机充值,优惠比其他实体或网上充值渠道的折扣更低。流量特惠包、流量快餐等各类流量优惠也可以随时随地通过掌i商城办理,方便用户流量告急时及时补充。...随后,i商城迅速引入中国移动的风控系统。部署后,批量虚假注册、机器登录、薅羊毛等风险被有效发现并拦截,良好保障业务的健康运行。 顶象与中国移动联手打造的风控系统 中国移动的风控系统与顶象联合打造。...集成顶象智能设备指纹、顶象Dinsight实时风控引擎以及三方反欺诈数据等技术。 顶象智能设备指纹支持安卓、iOS、H5、公众号、小程序,可有效侦测模拟器、刷机改机、ROOT越狱、劫持注入等风险。...顶象Dinsight实时风控引擎可以在营销活动、支付下单、信贷申请等场景,对业务前端发送的请求进行风险判断,并于毫秒内返回决策结果,以提升业务系统对风险的防控能力。...日常风控策略的平均处理速度仅需20毫秒,聚合数据引擎,集成专家策略,支持对现有风控流程的并行监测、替换升级,也可为新业务构建专用风控平台;聚合反欺诈与风控数据,支持多方数据的配置化接入与沉淀,能够进行图形化配置

    2.3K20

    法大大入驻上海科技金融博物馆 | 腾讯SaaS加速器·学员动态

    据官方介绍,上海科技金融博物馆隶属于中国金融博物馆,中国金融博物馆于 2010 年 6 月 9 日在天津创建天津金融博物馆,此后,应地方政府邀请,陆续在苏州、北京、上海沈阳等全国多地建立了不同主题的博物馆分支...上海科技金融博物馆于2019年11月1日在上海科技金融产业集聚区正式开业,分为七个展厅: “历史:中国金融史”“创新:科技与金融”“探索:科技金融全球掠影”“崛起:科技金融在中国”“共赢:科技金融交融共进...作为国内“法律科技”的先行者,以法大大为代表的电子签名及电子合同应用,在2015年开始,便“浓墨重彩”地参与到了国内金融界的发展进程中。 风控与合规,从来都是金融业态的两大关键词。...金融行业如今面临着外部监管政策、内部风控体系建设、整体行业风险方面的挑战。...+“实槌”保全系统整体解决方案,可以打造真正意义上的电子合同全生命周期管理闭环。

    53310

    风控引擎如何快速接入不同的数据源?

    数据是风控引擎的重要组成数据是风控决策引擎中不可或缺的组成部分,包括历史数据、实时风险数据、行为数据等等,不仅提供关键的信息和指示,更有助于做出明智的决策。...顶象风控引擎的数据接入风控引擎接入数据的方式有多种。...以顶象Dinsight实时风控引擎为例,首先在控制台接入,然后就可以在引擎配置。...接入控制台 (console) ,在application.properties中配置:接入引擎 (engine), 在application.properties中配置:顶象Dinsight实时风控引擎可以在营销活动...日常风控策略的平均处理速度在100毫秒以内,聚合数据引擎,集成专家策略,支持对现有风控流程的并行监测、替换升级,也可为新业务构建专用风控平台;聚合反欺诈与风控数据,支持多方数据的配置化接入与沉淀,能够进行图形化配置

    52710

    卢明樊:爱奇艺的业务安全风控“秘籍”

    打通风控落地前的任督“二”脉 如果风控是一本真经的话,那么修炼之前一定要打通任督二脉,才能事半功倍,日进千里…… ? 所谓任督二脉,就“二”在知不知道风险在哪里?知不知道风控的真正目的?...统一实时风险决策接口服务 业务接入后,业务的后台服务即可调用统一实时风险决策接口服务,该服务依托于风险中台的六大核心引擎,分别为:规则引擎、模型引擎、查询引擎、工作流和决策引擎、场景引擎、仿真和灰度引擎...注意:实时风险决策接口服务对可用性和性能要求非常高,特别是在单次访问高业务价值的情况下,必须做到超高并发,低延迟,低超时率,断熔限流托底等各种服务能力。...风控所用的数据源包括但不限于威胁情报、实时风控日志、业务数据、设备数据、行为数据、验证数据、数据中心其他风险数据、客诉数据等等。...3.优化引擎服务 风控系统对接支持业务后,应当充分考虑如何优化风控系统的服务架构,确保实时风控服务的低延迟低熔断,既要做到保证业务服务不会因为风控服务增加延迟,从而导致业务服务质量下降或者过多资源占用,

    2K30

    TiDB 帮助万达网络科技集团实现高性能高质量的实时风控平台

    万达网络科技集团的技术团队,建设和维护着一套实时风控平台。这套实时风控平台,承担着各种关键交易的在线风控数据的写入和查询服务。...实时风控平台后端的数据库系统在高性能,可靠性,可扩展性上有很高的要求,并且需要满足如下核心功能和业务要求: 风控相关业务数据实时入库 实时风控规则计算 通过 BI 工具分析风控历史数据 ETL 入库到...Hadoop 数据仓库 应用开发侧需要兼容 MySQL,降低应用改造门槛为实现上述业务目标,万达网络科技集团的技术团队在实时风控数据库选型的早期阶段,首先选择了 MySQL Galera Cluster...在实时风控平台的高并发高性能的对外服务过程中,在线灵活扩容的相关工作在 MySQL Proxy 中间件架构中无法高效和可靠的实施。...TiDB 针对分布式事务和强一致性的完善设计以及对各种 JOIN 模式的支持,使得实时风控类和 BI 分析类的业务应用能够高效运行。

    1.5K10

    防盗窃反欺诈,支付宝风控系统0.1秒识别风险

    在6月29日世界移动大会(MWCS)2018的领袖论坛中,蚂蚁金服副总裁芮雄文将支付宝第五代智能风控引擎AlphaRisk推荐给了全球的观众。...作为当下资金欺诈的主要风险,它因为是用户本人操作而难以防控——这种难度,至少在蚂蚁金服的智能风控引擎出现以前,保持在相当高的水平。...现在,虽然用户无感,但事实上,在支付宝的每笔交易中,支付宝第五代智能风控引擎AlphaRisk都会从多风险维度去判断交易风险。 一个简单的模型是付款方与收款方自身的信息与关系信息。...,AlphaRisk能够自动贴合用户行为特征进行实时风险对抗,在数亿交易中准确识别用户被骗支付的欺诈风险交易,不足0.1秒就能完成风险预警、检测、管控等复杂流程。...目前蚁盾风险大脑提供了“交易、账户、营销、内容保护等实时风控能力”已经服务于金融监管、银行、互联网三大领域,惠及上千家合作伙伴。 “蚂蚁金服是一家科技公司,我们的愿景是给世界带来更多平等的机会。”

    1.6K10

    数据赋能,高效防控:蚂蚁数据智能如何守护金融安全

    在 7 月 21-22 日深圳 ArchSummit 全球架构师峰会上,来自蚂蚁集团的高级技术专家马希民分享了,基于信贷实时风控,构建数据智能的高可用实时风控决策系统实践。以下是演讲内容整理。...第一,我们需要极速响应,实时风控的核心问题是面对海量的用户请求,基于海量数据做复杂计算,在极短时间内进行响应,在一些特殊场景例如大促、直播等请求量会被进一步放大,而响应时间的要求与日常相同。...,来将实时风控的响应时间和拦截率始终维持在一个合理的水位。...风控引擎是实时风控系统的核心组件,也是我们完全自研的,一方面通过为风险政策同事提供类 SQL 的 DSL 编写方式,大大加速了他们对线上规则研发的参与度,风险规则的迭代效率得到显著提升,另一方面在风险数据都...今天我主要分享了如何使实时风控决策系统实现极速响应和高可用性。实时风控决策系统的在性能方面的核心优化手段是降低 IO,我之前提到的多级决策、分层决策、预决策和规则精简,本质上都是为了减少 IO。

    52330

    【案例】某城商银行——消费金融大数据智能风控体系应用

    数据猿导读 项目以“内外部大数据的应用”、“实时风控技术的落地”、“智能化风控体系 的搭建”和“云化风控系统的探索”为基础,与客户一同形成一套整体化的新型大数据智能风控解决体系,项目落地后取得了较好的效果...、首席数据官联盟协办的《「数据猿·超声波」之金融科技·商业价值探索高峰论坛》还将在上海隆重举办【论坛详情】【上届回顾(点击阅读原文查看)】 在论坛现场,也将颁发“技术创新奖”、“应用创新奖”、“最佳实践奖...在风控领域缺乏真正有效的解决方案的情况下,大量机构被迫“超高利率”来弥补风控的不足,也引来了监管部门对“现金贷”等业务的强力整顿。 倒逼客户回流传统机构。...本项目以“内外部大数据的应用”、“实时风控技术的落地”、“智能化风控体系的搭建”和“云化风控系统的探索”为基础,与客户一同形成一套整体化的新型大数据智能风控解决体系,项目落地后取得了较好的效果。...数尊已成功完成两轮投资; 2)数尊总部设立在上海,在西安设有研发中心,在深圳、杭州等地设有办事处; 3)数尊擅长于多维权威数据源的整合和综合洞察,以“用数据推动风控和信用服务”为使命,致力于帮助企业提升个人客户的信用服务和风险控制能力

    2.9K41

    实时化浪潮下,Apache Flink还将在大数据领域掀起怎样的变革?| Q推荐

    我们将在 FFA 上看到阿里巴巴、字节跳动、快手、美团、华为、Shopee、运满满、米哈游、蔚来汽车、集度汽车、菜鸟、网易等全球 40+ 各行业一线厂商,围绕 Flink 核心技术、行业实践、平台建设、实时风控...邀请了 11 位行业领袖及开拓者组成议题评选委员会,并继续由阿里巴巴开源技术委员会负责人贾扬清担任主席,共同为大会内容护航,他们分别是: 2 Apache Flink 新方向、新应用及新成果 在去年的...行业案例 + 生产实践 快手、美团、字节跳动、小米、运满满、蔚来汽车、中泰证券、中原银行、中信建投、中南电力设计院等多行业实时计算领域专家详细解读 Flink 在不同企业和行业内的应用与落地,围绕业务场景...AI 特征工程 + 实时风控 AI 特征工程专场将由来自腾讯、字节跳动、阿里巴巴的技术专家带来基于 Flink 的实时特征工程平台建设思路与落地实践。...实时风控专场将由网易互娱、字节跳动、京东、AirWallex、阿里巴巴的技术专家分享实时风控平台建设的实践案例。

    72830

    接口被刷百万QPS,怎么防?

    分布式熔断 面对大流量时,我们需要增加分布式熔断机制,比如使用Sentinel集群流控。...浏览器指纹生成 前端可以在浏览器上生成指纹,即使客户端IP换了,但相同设备的指纹还是一样的。 前端设备指纹生成方案,这里使用了Canvas+WebGL。...防御的架构体系: 核心组件解析: 流量清洗层(CDN) 过滤静态资源请求 吸收70%以上流量冲击 安全防护层(网关集群) 设备指纹生成:标记每个请求源 分布式限流:集群级QPS控制 规则引擎:实时判断风险 实时风控层...(Flink计算) // Flink实时风控处理 riskStream   .keyBy(req => req.getDeviceId()) // 按设备ID分组   .timeWindow(Time.seconds...第3~5章构建了资金安全防护的“双闭环”机制,即在业务侧通过三流合一、平衡性约束等金融级设计来确保业务逻辑正确,在技术侧通过分布式事务、幂等设计等技术方案来确保数据一致,通过业业、业会、会会、账实核对来实现资损的分钟级发现

    13510

    实时化浪潮下,Apache Flink还将在大数据领域掀起怎样的变革?

    我们将在 FFA 上看到阿里巴巴、字节跳动、快手、美团、华为、Shopee、运满满、米哈游、蔚来汽车、集度汽车、菜鸟、网易等全球 40+ 各行业一线厂商,围绕 Flink 核心技术、行业实践、平台建设、实时风控...2022 邀请了 11 位行业领袖及开拓者组成议题评选委员会,并继续由阿里巴巴开源技术委员会负责人贾扬清担任主席,共同为大会内容护航,他们分别是: 2Apache Flink 新方向、新应用及新成果 在去年的...行业案例 + 生产实践 快手、美团、字节跳动、小米、运满满、蔚来汽车、中泰证券、中原银行、中信建投、中南电力设计院等多行业实时计算领域专家详细解读 Flink 在不同企业和行业内的应用与落地,围绕业务场景...AI 特征工程 + 实时风控 AI 特征工程专场将由来自腾讯、字节跳动、阿里巴巴的技术专家带来基于 Flink 的实时特征工程平台建设思路与落地实践。...实时风控专场将由网易互娱、字节跳动、京东、AirWallex、阿里巴巴的技术专家分享实时风控平台建设的实践案例。

    57540

    为小姐姐疯狂打call,防水墙拒绝“千手观音”刷票

    在互联网如火如荼发展的背后,灰黑产大军暗流涌动,身影无处不在,哪里有活动哪里就存在刷量行为,轻者人肉刷,重者自动机批量刷。...业务方只需在系统中调用防水墙相关服务即可快速便捷地抵御业务风险。...接入防水墙防刷解决方案,实时风控系统识别黑产使用代理服务器IP和大量黑手机号码刷取注册优惠券,刷量峰值11W/天,占比高达60%。...实时风控:与黑产直接对抗的关键环节,对黑产请求进行实时识别和拦截。具体服务有前端的验证码和后台的防刷API风险查询接口。...事后追踪:根据事前态势感知和实时风险请求,建立离线审计模型,针对漏过和误伤部分采用自反馈调节机制优化实时策略引擎。

    8.7K1291

    大数据等技术进步驱动互联网金融创新

    技术进步推动实时风控   随着互联网金融的发展,各类网银支付欺诈、电商钓鱼网站等风险因素也在增加,对风险控制(简称“风控”)的要求越来越高。   ...储信资产管理(上海)有限公司副总裁舒赵平表示,风控是P2P乃至互联网金融发展的核心,大数据、云计算等技术的发展,使得从技术入手提高风控能力逐渐成为互联网金融发展的方向。...就如何找到用户体验与信息安全的平衡点,杭州邦盛金融信息技术有限公司总经理王新宇指出,通过实时风控一定程度上可以解决这个问题。...从人类感知学来讲,实时风控如果判断的时间大于200毫秒,这件事情是不可接受的,同时,实时风控每秒又要面对上万笔的吞吐量,所以实时风控平台的技术门槛特别高。...但有了实时风控系统,企业可以更自如地做产品创新、限额的调整。

    1.5K50

    快速开启专属的风控系统

    近日,某家电企业在官网商城举办五一促销,活动期间,用户可以购买特价电饭煲、电饼铛等小家电,吸引了众多消费者的关注,也被羊毛党盯上。...顶象Dinsight实时风控引擎,支持私有化部署和SaaS服务。以SaaS接入为例: 第一步,注册/登陆 顶象防御云,开通实时风险决策服务。...第四步,访问 [实时风险决策] - [风控策略] - [策略管理] 菜单,添加一条简单策略。 第五步,业务后台开始集成。...在顶象防御云创建好应用和事件后,业务开发就可以开始集成工作,这里以java语言为例,其他语言集成类似。...日常风控策略的平均处理速度在100毫秒以内,聚合数据引擎,集成专家策略,支持对现有风控流程的并行监测、替换升级,也可为新业务构建专用风控平台;聚合反欺诈与风控数据,支持多方数据的配置化接入与沉淀,能够进行图形化配置

    2K20

    TiDB 在金融行业关键业务场景的实践(下篇)

    此外,我们也在北京银行的理财销售平台和微众银行企业同业的理财交易流水有了相关的场景落地。 TiDB 在实时风控业务中的实践 我们还有一大类关键的金融应用场景是实时风控业务。...跟传统的风控不一样,随着互联网化的业务场景增多,银行和泛金融机构对于实时风控的要求是非常高的。TiDB 目前在风控业务中的实时风控数据汇聚、存储、管理、加工、计算场景方面已经有多个落地实践。...在金融业务场景方面,我们有包括北京银行线上业务风控模型管理平台、微众银行 CNC 反欺诈系统、天翼支付反洗钱平台、拉卡拉金融实时风控平台等一系列的场景落地。...同时在互联网及电商业务场景中,包括像东南亚知名电商 Shopee 的风控平台,小红书反欺诈系统及实时风控平台、拼多多风控平台等都有了一些落地。...在后台,由于 TiDB 本身超大规模的海量数据存储架构以及具备批量数据的处理能力,我们在认证、支付、结算、包括前面提到的风控类业务,都有若干的案例落地。

    1.5K20
    领券