流计算实时风控 - 腾讯云开发者社区 - 腾讯云

开发者社区

文档建议反馈控制台

文章/答案/技术大牛

发布

钱大妈基于 Flink 的实时风控实践

摘要：本文作者彭明德，介绍了钱大妈与阿里云 Flink 实时计算团队共建实时风控规则引擎，精确识别羊毛党以防营销预算流失。...钱大妈与阿里云 Flink 实时计算团队共建实时风控规则引擎，精确识别羊毛党以防营销预算流失。...计算表达式。风控规则的字段口径通常是需要组合计算的，我们在表达式计算和编译中集成了更轻便和更高性能的 Aviator 表达式引擎。...阿里云实时计算产品输出的支持多规则和动态规则变更、支持 Pattern 定义事件之间的超时以及支持基于 IterativeCondition 的累加器功能拓宽 Flink 在实时风控的能力，并且上述功能已经在钱大妈生产环境落地实践...后续钱大妈将和阿里云实时计算产品团队，继续共建完善基于 Flink 的实时风控风控解决方案，其中在 Flink CEP 的未来规划将围绕以下三个主要方向展开： Flink CEP 能力的进一步增强；

4.1K2 0

金融实时风控利器：主流流计算解决方案全景解析与腾讯云推荐

流计算技术以其低延迟、高吞吐的特性，成为构建实时风控系统的技术基石，帮助金融机构在毫秒级内识别并拦截欺诈行为。本文将深入解析市面上主流的流计算解决方案，助您选择最适合金融实时风控的技术路线。...一、主流流计算解决方案对比目前，业界有多种流计算解决方案可全面支持金融实时风控需求，它们各有特色，适用于不同场景。 1....Apache Flink：高性能实时计算的标杆 Apache Flink因其高吞吐、低延迟和精确一次处理语义，成为金融实时风控的首选。...作为基于Apache Flink构建的云端流计算服务，Oceanus深度融合了腾讯内部多项优化技术，为金融实时风控量身定制。...结语在数字化金融时代，选择适合的流计算解决方案，是构建高效实时风控体系的关键。

3541 0

您找到你想要的搜索结果了吗？

是的

没有找到

RabbitMQ——流控

一个发送端，可以同时向多个接收端发送消息，信用是按不同的接收端分开计算的。同样，一个接收端可以接收来自不同发送端发来的消息，并按不同的发送端分别计算其信用制。...来看一个实际的例子，下面两幅图分别为出现流控时网络接收进程与通道进程对应进程字典的信息。...---- 【消费者的流控】对于生产者的消息发送流程，我们看到了进程间的消息流。...而对于消费者的消费流程，实际上也有一个进程间的消息流，在这些进程之间也使用到了信用流控机制，避免因网络发送慢，消息都堆积在网络发送进程中从而出现内存溢出等异常问题。...---- 【总结】本文讲述了基于信用的流控机制的相关原理，以及rabbitmq内部流控逻辑在生产、消费过程中的处理机制。

1.3K2 0

携程是如何把大数据用于实时风控的？

也从原来基于“简单规则+DB”，发展到目前能够支撑10X交易增长的智能化风控系统，基于规则引擎、实时模型计算、流式处理、M/R、大数据、数据挖掘、机器学习等的风控系统，拥有实时、准实时的风险决策、数据分析能力...主要分三大模块：风控引擎、数据服务、数据运算、辅助系统。风控引擎：主要处理风控请求，有预处理、规则引擎和模型执行服务，风控引擎所需要的数据是由数据服务模块提供的。...数据访问层所提供的数据都是由数据计算层提供。数据运算：主要包括风险画像运算、RiskSession、设备指纹、以及实时流量、非实时运算。...由于携程的业务种类非常多，而且每种业务都有其特性，在进入风控系统（Aegis）后，为了便于整个风控系统对数据进行处理，风控前端有一个适配器模块，把各个业务的数据都按照风控内部标准化配置进行转换，以适合风控系统使用...五、Chloro系统 Chloro系统是数据分析服务也是整个风控系统的核心，数据服务层所使用到的数据，都是由Chloro系统计算后提供的。

3.7K8 0

「13章」Flink 从0到1实战实时风控系统

「13章」Flink 从0到1实战实时风控系统Flink 核心技能实操环境搭建在进行 Flink 开发之前，需要先搭建好开发环境。...例如，对于需要按照某个字段进行分组计算的场景，可以使用哈希分区：javaDataStream> partitionedStream = stream.keyBy...内存管理优化合理配置堆内存和堆外内存：Flink 使用堆内存和堆外内存来存储数据和执行计算。...使用 RocksDB 状态后端：对于大规模有状态计算任务，使用 RocksDB 作为状态后端可以将状态数据存储在磁盘上，减少内存压力。

2.5K0 0

【RabbitMQ——再谈流控】

【前言】最近又被流控问题缠住了，不懂其中原理的总会以界面上显示为flow来说事。那界面上连接、通道的flow状态的显示到底是怎么回事？显示为flow是否就是影响或阻塞生产者的消息发送了？...连接、通道（其实还包括队列）的flow状态主要由credit_flow算法决定（详细请戳《RabbitMQ——流控》）。...另外，有些文章中会提到，rabbitmq节点的内存到达一定水位，或者磁盘空间的使用到达一定程度也会导致连接的流控。

1.3K2 0

Sentinel 流控原理

后续的所有内容均基于该版本进行 @ResoureSetinel 工作原理配置流控规则我们最简单的方式就是通过 @ResoureSetinel 的方式来管理，该注解可以直接定义流控规则、降级规则。...如果触发流控规则首先处理流控异常 BlockException 然后在判断是否有服务降级的处理，如果有就调用 fallback 方法。...责任链模式处理流控通过上面的梳理，我们知道对于流控的过程，核心处理方法就是 SphU.entry 。在这个方法中其实主要就是初始化流控 Solt 和执行 Solt....FlowSolt 流控通过 NodeSelectorSolt、CusterBuilderSolt、StatisicSlot 等一系列的请求数据处理，在 FlowSolt 会进入流控规则，所有的 Solt...Sentinel 通过 Web 拦截器 Sentinel 在默认情况下，不使用 @ResourceSentinel 注解实现流控的时候， Sentinel 通过拦截器进行流控实现的。

1.7K1 0

服务流控（Sentinel）

; return "被流控了！！！！"; } catch (Exception e) { // 若需要配置降级规则。...FlowRule(); // 设置流控的资源名称 helloFlowRule.setResource(RESOURCE_NAME); // 设置流控规则..."); return new User(id, "被流控了！！！")...// 流控规则列表 List flowRuleList = new ArrayList(); // 流控规则 FlowRule...); // 设置流控规则 QPS userFlowRule.setGrade(RuleConstant.FLOW_GRADE_QPS); // 设置流控的阈值

4451 0

【Sentinel】流控模式

：流控：流量控制降级：降级熔断热点：热点参数限流，是限流的一种授权：请求的权限控制 2.快速入门 2.1.示例点击资源/order/{orderId}后面的流控按钮...2.2.练习需求：给 /order/{orderId}这个资源设置流控规则，QPS不能超过 5，然后测试。...结果：可以看到，成功的请求每次只有5个 3.流控模式在添加限流规则时，点击高级选项，可以选择三种流控模式：直接：统计当前资源的请求，触发阈值时对当前资源直接限流，也是默认的模式关联...我们是对订单查询/order/query限流，因此点击它后面的按钮：在表单中填写流控规则： 4）在Jmeter测试选择《流控模式-关联》：可以看到1000个用户，100秒，因此QPS为10...点击goods资源后面的流控按钮，在弹出的表单中填写下面信息：只统计从/order/query进入/goods的资源，QPS阈值为2，超出则被限流。

1.1K2 0

Flow Control（流控）

就像小学做的那道数学题：一个水池，有一个进水管和一个出水管。如果进水管水流更大，过一段时间水池就会满（溢出）。这就是没有Flow Control导致的结果。

1.1K1 0

Flink CEP 新特性进展与在实时风控场景的落地

摘要：本文整理自阿里云开发工程师耿飙&阿里云开发工程师胡俊涛，在 FFA 实时风控专场的分享。...我们这里展示三个典型场景：第一个场景，实时风控。...csv_source 作为 MATCH_RECOGNIZE 语句的输入，使用非确定有穷状态机对流表中的时序数据进行匹配，最终对识别出特定模式的数据序列进行计算后重新输出为 Flink 流表，从而无缝对接...MEASURES 类似 SELECT 操作，对识别出的序列执行映射、聚合等操作计算输出结果。...在 Java API 中，我们使用 Output Tag 来将超时序列输出到侧流处理，而在 SQL 中，匹配超时序列和匹配成功序列会在同一张流表中，但对超时序列未匹配到的事件，在 MEASURES 中计算将会得到空值

4K3 0

携程基于大数据分析的实时风控体系介绍

2K9 0

干货 | 携程基于大数据分析的实时风控体系

性能和复杂度可以兼得携程的风控系统，和大部分第三方支付平台一样，也是以实时风控系统为主：支付环节一般留给风控校验的时间不会超过1s，业务风控点上更是希望风控能在100ms内就能通过；对性能的追求，也是对极致用户体验的追求...在实时风控场景里大量部署复杂模型，使模型也能和规则一样能直接拒绝交易；平均来看、执行一个模型以及相关的变量计算所需的资源可能与200条普通规则相当，对系统的架构和性能都是很高的挑战。...给大家看一些数据：一笔支付请求背后，携程风控的规则计算复杂度： ?...用户从登录开始风控就已经开始在介入，在用户浏览、下单的过程中，对这个用户的风险评估和计算一直在持续，等到用户发起支付请求时，风控的热数据里已经有了完整的关于这个用户画像数据，风控引擎可以在这些数据的基础上实时计算和衍生出规则和模型需要的变量...数以千计的规则是分布式并行执行的、以保证规则数量和执行耗时没有明显的正相关性；并且风控引擎可以按业务动态分组，既保证了业务之间良好计算资源的隔离性、也提供了足够的灵活性。

4.4K5 0

基于 Apache Flink 和规则引擎的实时风控解决方案

该系统有三条数据流向：实时风控数据流，由红线标识，同步调用，为风控调用的核心链路；准实时指标数据流，由蓝线标识，异步写入，为实时风控部分准备指标数据；准实时/离线分析数据流，由绿线标识，异步写入，...2.1 实时风控实时风控是整个系统的核心，被业务系统同步调用，完成对应的风控判断。前面提到规则往往由人编写并且需要动态调整，所以我们会把风控判断部分与规则管理部分拆开。...前边提到，做规则判断需要事实的相关指标，比如最近一小时登陆次数，最近一小时注册账号数等等，这些指标通常有一段时间跨度，是某种状态或聚合，很难在实时风控过程中根据原始数据进行计算，因为风控的规则引擎往往是无状态的...在这里我们选择 Flink，Flink 是当今流计算领域无可争议的 No.1，不管是性能还是功能，都能很好的完成这部分工作。...通过把数据计算和逻辑判断拆分开来并引入 Flink，我们的风控系统可以应对极大的用户规模。

7.5K2 0

解析流控技术演进

作者简介：盛科网络王俊杰 01 流控技术概要 1.1 流控技术与RDMA 随着数据中心网络技术和带宽不断发展，流控技术在网络中发挥着越来越重要的作用，但一直未曾有过很大变革。...背靠智能网卡实现对RTT的精确测量，TIMELY获取拥塞信息的能力有了增强，利用RTT直接控制数据流发送速率的拥塞流控机制，发送端的速率计算也是以RTT为基础，计算加权移动平均后时延的变化率，通过量化的梯度方向即可根据论文中的公式计算出数据流的速率...图16 HPCC INT流控机制如上图所示，HPCC在数据面上找到了突破，通过智能网卡与交换机的配合，端到端实时抓取拥塞信息，从而精确获取实时的链路负载，并且根据精确的链路负载来计算合适的发送速率。...图17 流控技术方向流控技术目前依然专注在数据中心服务器互联，集中力量在实现RDMA高性能的同时，扩大数据中心RDMA网络部署规模，最终完成存储计算网络的融合。...再换个视角往小里看，在服务器内部的计算和存储的互联也可以利用更先进的无损网络，这里不能完全依赖流控技术，还需要可靠性的传输协议，目前这也是PCIe，IB擅长，而以太网需要加强的。。

3.8K1 0

RabbitMQ流控-FLow Control

流控的Connection可以在rabbitmqctl、管理UI和HTTP API响应中显示flow状态。...一般来说，处于流控中的Connection与正常运行的Connection无任何区别；flow状态的作用是通知系统管理员(消息)发布速率受到限制，但是从客户端的角度来看，服务器的网络带宽应该比实际带宽低...除了Connection之外，其他组件也可以处于流状态。Channel、Queue和系统的其他部分可以应用流控，最终还是体现在Connection 发布消息(生产者阻塞)。

1.1K4 0

tc--流控转

Linux 高级流量控制本篇主要讲用 TC 对 Linux 进行高级流量控制通过大量实践结合 TC 流控 HOWTO 文档整理而得如果你对 Linux 流控感兴趣，如果你需要搭建高性能的 Linux...Linux 流控简介 Linux 流控的意义 : 有效的控制 Linux 网卡进出流量 , 了解网卡工作原理 , 搭建高性能的 Linux 网关 , 对 Linux 高级系统流控有进一步的认识。...Linux 流量控制方法 : 控发不控收 , 所以只能对产生瓶颈网卡处的发包速率进行控制 , 而网络瓶颈分析亦为 Linux 网络流控的第一步 ....以下文章将以二种算法的不同流控分别介绍： 1. 无类算法 SFQ a....它的精确性不如其它的方法 , 但实现了高度的公平 , 需要的计算量亦很少 . SFQ 算法主要针对一个 TCP 会话或者 UDP 流 .

4.1K4 1

Go语言接入API支付行为指数：构建高性能实时风控引擎

在信贷风控环节，系统往往需要在300ms内完成对用户多维度数据的聚合与决策。...Go语言凭借其轻量级的协程模型和高效的编译速度，成为构建高性能风控网关的首选。本文将分享一个生产环境下的对接案例，展示如何处理复杂的加密通信与数据清洗。...五、总结通过Go语言对接风控数据接口，我们不仅利用了其并发优势解决了吞吐量问题，还通过强类型约束降低了业务逻辑中的空指针风险。...在利用信贷行为数据洞察等涉及个人信用的高敏感度接口进行风控决策时，数据合规与隐私保护始终是企业不可逾越的红线。

2721 0

sentinel 集群流控原理

为什么需要集群流控呢？...集群流控中共有两种身份： Token Client：集群流控客户端，用于向所属 Token Server 通信请求 token。集群限流服务端会返回给客户端结果，决定是否限流。...clusterMode在方法FlowRuleChecker.canPassCheck中会用到进行判断是否是集群流控，false表示单机流控；true表示集群流控，会调用方法passClusterCheck...与集群流控server端通信判断是否触发了流控，此时异常降级策略为本地流控(fallbackToLocalOrPass方法，fallbackToLocalWhenFail属性为true时执行本地流控，否则直接返回...ture不走流控检查)。

2K2 0

switch流控（flow control）

1.pause帧 2.非对称流控 3.pause时间交换机在进行内部数据转发的时，内部需要一个package buff进行数据缓存，在多个端口同时向buff缓存数据时，在buff溢出后，最后缓存数据的端口回向连接端口发送...配置IEEE802.3X流控制，流控制在直连的以太端口上启用，在拥塞期间允许另一端拥塞的节点暂停链路运作来控制流量速率。

1.6K1 0

点击加载更多

相关资讯

热门标签

活动推荐

运营活动

活动名称

广告关闭