文档建议反馈控制台
首页
学习
活动
专区
圈层
工具
MCP广场
文章/答案/技术大牛
发布

钱大妈基于 Flink 的实时风控实践

摘要：本文作者彭明德，介绍了钱大妈与阿里云 Flink 实时计算团队共建实时风控规则引擎，精确识别羊毛党以防营销预算流失。...钱大妈与阿里云 Flink 实时计算团队共建实时风控规则引擎，精确识别羊毛党以防营销预算流失。...图一：钱大妈实时风控流程示意图 二、业务架构 钱大妈风控业务架构如图二所示总共分为四个部分：事件接入、风险感知、风险应对、风险回溯。...图二：钱大妈实时风控业务架构图 三、规则模型 风控业务专员通过产品界面简单配置即可实时动态发布风控规则，同时对在线 Flink 作业的规则进行新增、更新以及删除，其中风控规则模型主要分为统计型规则和序列型规则...图六：社区Flink动态CEP规则表 五、回顾展望 基于 Flink 的实时风控解决方案已接应用于钱大妈集团内部生产环境，在此解决方案里未引入新的技术组件和编程语言，最大化复用 Flink 资源实现实时风控场景需求

4.5K20

携程是如何把大数据用于实时风控的？

主要分三大模块：风控引擎、数据服务、数据运算、辅助系统。 风控引擎：主要处理风控请求，有预处理、规则引擎和模型执行服务，风控引擎所需要的数据是由数据服务模块提供的。...由于携程的业务种类非常多，而且每种业务都有其特性，在进入风控系统（Aegis）后，为了便于整个风控系统对数据进行处理，风控前端有一个适配器模块，把各个业务的数据都按照风控内部标准化配置进行转换，以适合风控系统使用...我们最后选择了开源 Drools，第一它是开源；第二它可以使用Java语言，入门方便；第三功能够用。...七、展望 携程风控在3.0中通过引入规则引擎、在Chloro系统中大量使用开源的基于大数据处理的架构，配合模型取得了非常好的效果，在4.0中，将在机器学习、人工智能、行为特征等方向继续发力，进一步提高风控系统识别能力...，对于技术将继续拥抱开源技术，下一步会引入Spark等提高风控系统的数据处理能力。

4.2K80
    • 您找到你想要的搜索结果了吗？
    是的
    没有找到

    Flink on EMR 流式计算：实时风控与实时推荐场景实战

    一、 Flink 的技术特点与流式计算价值 Flink 是一个开源的流式计算框架，提供高性能的流式数据处理能力。...三、实时风控场景实践 实时风控是 Flink 流式计算的重要应用场景。在这个场景中，企业需要实时监测业务交易数据，发现异常交易行为，及时采取风控措施。...，需要复杂的事件处理逻辑 准确性要求高：风控系统需要准确识别异常交易，避免误报和漏报 这些特点使得实时风控场景对流式计算框架的性能、功能、可靠性都有较高要求。...3.2 Flink 在实时风控中的应用 Flink 的状态管理、复杂事件处理、容错恢复等能力，能够很好地支持实时风控场景。...3.3 基于 EMR 的实时风控系统构建 基于 EMR 的 Flink 组件，用户可以快速构建实时风控系统。

    30800

    基于 Apache Flink 和规则引擎的实时风控解决方案 ​

    这要求风控系统一定要有实时性。本文就介绍一种实时风控解决方案。 1.总体架构 风控是业务场景的产物，风控系统直接服务于业务系统，与之相关的还有惩罚系统和分析系统，各系统关系与角色如下： ?...该系统有三条数据流向： 实时风控数据流，由红线标识，同步调用，为风控调用的核心链路； 准实时指标数据流，由蓝线标识，异步写入，为实时风控部分准备指标数据； 准实时/离线分析数据流，由绿线标识，异步写入，...2.1 实时风控 实时风控是整个系统的核心，被业务系统同步调用，完成对应的风控判断。 前面提到规则往往由人编写并且需要动态调整，所以我们会把风控判断部分与规则管理部分拆开。...Flink 把汇总的指标结果写入 Redis 或 Hbase，供实时风控系统查询。两者问题都不大，根据场景选择即可。...https://sq.163yun.com/blog/article/213006222321659904 6.一个开源 java 风控系统 https://github.com/sunpeak/riskcontrol

    7.8K20

    干货 | 携程基于大数据分析的实时风控体系

    性能和复杂度可以兼得 携程的风控系统，和大部分第三方支付平台一样，也是以实时风控系统为主： 支付环节一般留给风控校验的时间不会超过1s，业务风控点上更是希望风控能在100ms内就能通过；对性能的追求，也是对极致用户体验的追求...在实时风控场景里大量部署复杂模型，使模型也能和规则一样能直接拒绝交易；平均来看、执行一个模型以及相关的变量计算所需的资源可能与200条普通规则相当，对系统的架构和性能都是很高的挑战。...携程风控架构变迁简史 ? 携程自建风控系统开始于2011年左右，直到2015年正好赶上公司技术栈从.Net往Java平台转变，风控系统也迎来了一次完全的重写。...每天风控收集上来的数据超过50亿条，其中超过1亿左右的请求需要风控实时校验风险并返回给业务系统当前操作是否可以继续。...支撑风控系统的高可用、高性能，离不开强大的基础设施，下面我向大家展示一下携程风控的几个核心服务和组件： ? 风控引擎： ? 我们给他起了一个名字叫 Matrix，意思是像魔方一样灵活多变。

    4.9K50

    实时风控与用户画像： EMR 数据挖掘在金融场景的实践

    摘要： 本文介绍腾讯云 EMR 在金融场景的数据挖掘能力，包括实时风控与用户画像构建，帮助企业提升数据分析效率。...2.1 实时流式数据计算 在实时风控、实时推荐等需要快速计算以及数据挖掘能力的业务场景， EMR 可以提供高效的云端流计算服务以及数据挖掘组件能力支撑。...用于大规模数据挖掘与机器学习模型训练 Flink：用于实时流式数据挖掘与特征计算 Hive：用于离线数据挖掘与数据仓库建设 HBase：用于用户画像特征数据的低延迟读写 三、 EMR 在金融场景的核心应用：实时风控与用户画像...3.1 实时风控场景 金融行业的实时风控对数据处理的时效性要求极高。...EMR 通过以下方式支撑实时风控场景： 流式计算能力： Flink 组件对接实时消息队列，对交易流水进行实时聚合与规则匹配，实现毫秒级风险识别。

    29600

    微分享回放 | 携程是如何把大数据用于实时风控的

    图1 主要分三大模块：风控引擎、数据服务、数据运算、辅助系统。 风控引擎：主要处理风控请求，有预处理、规则引擎和模型执行服务，风控引擎所需要的数据是由数据服务模块提供的。...由于携程的业务种类非常多，而且每种业务都有其特性，在进入风控系统（Aegis）后，为了便于整个风控系统对数据进行处理，风控前端有一个适配器模块，把各个业务的数据都按照风控内部标准化配置进行转换，以适合风控系统使用...我们最后选择了开源Drools，第一它是开源，第二它可以使用Java语言，入门方便，第三功能够用。...七、展望 携程风控在3.0中通过引入规则引擎、在Chloro系统中大量使用开源的基于大数据处理的架构，配合模型取得了非常好的效果。...在4.0中，将在机器学习、人工智能、行为特征等方向继续发力，进一步提高风控系统识别能力，对于技术将继续拥抱开源技术，下一步会引入Spark等提高风控系统的数据处理能力。

    2.6K80

    资源利用率提高67%，腾讯实时风控平台云原生容器化之路

    导语 随着部门在业务安全领域的不断拓展，围绕着验证码、金融广告等服务场景，腾讯水滴作为支撑业务安全对抗的实时风控系统，上线的任务实时性要求越来越高，需要支撑的业务请求量也随之增加。...对于业务快速上线和资源快速扩缩容的需求，且公司自研上云项目往全面容器化上云方向推进，水滴风控平台开始进行自研上云的改造。...水滴后台架构 水滴平台主要是用于业务安全对抗的高可用、高性能、低延时的实时风控策略平台，提供一系列的基础组件给策略人员进行构建策略模型，能够帮忙策略人员快速地完成策略模型的构建和测试验证。...水滴系统架构如下图所示： 水滴实时风控平台系统主要由配置处理模块和数据处理模块两部分组成。 配置处理模块主要由前端 web 页面、cgi 、mc_srv 和 Zookeeper 等组成。

    2.1K20

    Go语言接入天远API信贷行为数据洞察：构建高性能实时风控引擎

    一、关于"信贷行为数据洞察API在秒级放款的现金贷业务、高频交易反欺诈、以及大型互金平台的微服务网关等场景中，系统的响应速度与吞吐量直接决定了用户体验与风控效率。...[信贷全周期行为特征]——包括多维度的查验频次与还款履约记录，是进行[实时风险决策]——如毫秒级自动审批与动态额度计算的核心数据支撑。...调用API补充信贷行为数据，清洗后写入HBase或ClickHouse，用于构建实时风控大屏。...六、总结对于追求极致性能的风控团队，Go语言是集成天远API的理想选择。其高效的并发模型和快速的编译速度，完美契合了信贷业务对低延迟和高吞吐的要求。...在利用信贷行为数据洞察等涉及个人信用的高敏感度接口进行风控决策时，数据合规与隐私保护始终是企业不可逾越的红线。

    39210

    开源飞控介绍

    所谓开源飞控就是建立在开源思想基础上的飞行自主控制器项目（Open Source AutoPilot），同时包含开源软件和开源硬件，而软件则包含飞控硬件中的固件和地面站软件。...一  开源飞控发展 第一代开源飞控系统使用Arduino或其他类似开源电子平台为基础，扩展连接各种MEMS传感器，能够让无人机能平稳地飞起来。 主要特点是模块化和可扩展能力。 ?...第二代开源飞控系统大多拥有自己的开源硬件、开发环境和社区，采用全集成的硬件架构。 主要特点是高度集成、高可靠，其功能已经接近商业自动驾驶仪 ?...第三代开源飞控系统将会在软件、人工智能以及云应用方面进行革新。加入集群飞行、图像识别、自主避障、自动跟踪飞行等高级飞行功能，向机器视觉、集群化、开发过程平台化的方向发展。 ?...二开源飞控介绍 Arduino飞控 ? APM飞控 ? PX4和PIXHAWK ? Openpilot和Taulabs ? Multiwiicopter ?

    2.1K10

    金融实时风控工具怎么选？这5款利器让你精准狙击风险！

    金融市场的波动往往在毫秒间决定盈亏，而传统风控系统因数据延迟、分析维度单一，常让企业陷入“事后补救”的被动局面。据行业统计，过去五年内，风险事件导致的平均利润损失高达17%。...一、金融实时风控的核心需求 金融风控需覆盖多维度数据整合、秒级响应、智能预警三大核心能力。...低至万元级 三、腾讯云流计算：为何成实时风控利器？...技术架构优势 流批一体：同一套代码兼容历史数据回溯与实时流处理，避免开发冗余； 弹性扩缩：根据流量自动调整计算资源，应对突发业务高峰（如秒杀活动风控）。...结语 实时风控已从“可选项”变为“生存刚需”。工具选型需摒弃“大而全”的堆砌思维，聚焦数据整合效率、计算延迟与团队适配性。腾讯云流计算以其全托管、低延迟的特性，尤其适合追求敏捷迭代的金融团队。

    71310

    资源利用率提高67%，腾讯实时风控平台云原生容器化之路

    陈建平，后台开发工程师，现就职于TEG安全平台部-业务安全中心，主要负责中心实时策略风控平台开发。...导语 随着部门在业务安全领域的不断拓展，围绕着验证码、金融广告等服务场景，腾讯水滴作为支撑业务安全对抗的实时风控系统，上线的任务实时性要求越来越高，需要支撑的业务请求量也随之增加。...对于业务快速上线和资源快速扩缩容的需求，且公司自研上云项目往全面容器化上云方向推进，水滴风控平台开始进行自研上云的改造。...水滴后台架构 腾讯水滴平台主要是用于业务安全对抗的高可用、高性能、低延时的实时风控策略平台，提供一系列的基础组件给策略人员进行构建策略模型，能够帮忙策略人员快速地完成策略模型的构建和测试验证。...水滴系统架构如下图所示： 水滴实时风控平台系统主要由配置处理模块和数据处理模块两部分组成。 配置处理模块：主要由前端 web 页面、cgi 、mc_srv 和 Zookeeper 等组成。

    2.4K61

    金融实时风控利器：主流流计算解决方案全景解析与腾讯云推荐

    在金融行业数字化浪潮中，实时风控已成为保障交易安全的核心环节。传统风控系统因延迟高、规则更新慢，难以应对现代金融交易的实时性要求。...流计算技术以其低延迟、高吞吐的特性，成为构建实时风控系统的技术基石，帮助金融机构在毫秒级内识别并拦截欺诈行为。 本文将深入解析市面上主流的流计算解决方案，助您选择最适合金融实时风控的技术路线。...Apache Storm：最早成熟的流处理框架 Storm是最早的流计算框架之一，以其高可靠性和容错能力著称。虽然在某些场景下延迟高于Flink，但在保证数据不丢失方面表现优异。...结语 在数字化金融时代，选择适合的流计算解决方案，是构建高效实时风控体系的关键。...Apache Flink、Spark Streaming等开源方案为技术实力雄厚的团队提供了灵活性，而腾讯云流计算Oceanus则为追求稳定、高效、低成本运维的金融企业提供了更优选择。

    54210
    点击加载更多

    相关资讯

    热门标签

    更多标签

    活动推荐

      运营活动

      活动名称
      广告关闭

      腾讯云开发者

      扫码关注腾讯云开发者

      扫码关注腾讯云开发者

      领取腾讯云代金券

      热门产品

      热门推荐

      更多推荐

      Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有

      深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 粤公网安备44030502008569号

      腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号

      领券