金融级分布消息中间件双12促销活动 - 腾讯云开发者社区

文章/答案/技术大牛

发布

腾讯开源万亿级分布式消息中间件 TubeMQ

beMQ 是腾讯在 2013 年自研的分布式消息中间件系统，专注服务大数据场景下海量数据的高性能存储和传输，经过近 7 年上万亿的海量数据沉淀，目前日均接入量超过 25 万亿条。...9 月 12 日，腾讯在 ApacheCon 宣布 TubeMQ 开源。...变更及查询实现了完整的自动化闭环管理，减轻了系统维护的复杂度；服务器侧消费负载均衡 Tube MQ 采用的是服务侧负载均衡的方案，而不是客户端侧操作，提升系统的管控能力同时简化客户端实现，更便于均衡算法升级；系统行级锁操作...对于 Broker 消息读写中存在中间状态的并发操作采用行级锁，避免重复问题； Offset 管理调整 Offset 由各个 Broker 独自管理，ZK 只作数据持久化存储用（最初考虑完全去掉 ZK...依赖，考虑到后续的功能扩展就暂时保留）；消息读取机制的改进 Tube MQ 采用的是消息随机读取模式, 同时为了降低消息时延又增加了内存缓存读写, 对于带 SSD 设备的机器, 增加消息滞后转 SSD

2.3K6 0

腾讯万亿级分布式消息中间件TubeMQ正式开源

TubeMQ是腾讯在2013年自研的分布式消息中间件系统，专注服务大数据场景下海量数据的高性能存储和传输，经过近7年上万亿的海量数据沉淀，目前日均接入量超过25万亿条。...TubeMQ 捐赠 Apache 基金会 9月12日，Apache软件基金会成立20周年之际，腾讯在ApacheCon宣布TubeMQ 开源。...系统行级锁操作对于Broker消息读写中存在中间状态的并发操作采用行级锁，避免重复问题； 5. ...消息读取机制的改进 Tube MQ采用的是消息随机读取模式,同时为了降低消息时延又增加了内存缓存读写,对于带SSD设备的机器,增加消息滞后转SSD消费的处理，解决消费严重滞后时吞吐量下降以及SSD磁盘容量小...系统安全管控根据业务不同的数据服务需要，以及系统运维安全的考虑，Tube MQ系统增加了TLS传输层加密管道，生产和消费服务的认证、授权，以及针对分布式访问控制的访问令牌管理，满足业务和系统运维在系统安全方面的需求

1.9K7 2

您找到你想要的搜索结果了吗？

是的

没有找到

抗千万级调用的电商服务架构实现

电商是典型的促销拉动式场景，也是价格战驱动的场景。618和双11都是典型的促销活动。其实都是在抢用户、扩市场占有率。在这样的场景之下，对秒杀、抢购是很热衷的玩法。促销式的拉动对系统的挑战是什么呢？...大型电商系统的架构基础架构层这层实际上是中间件和服务，包括MQ的消息、Job的调试中心、sso联合登陆，还有发消息的，分布式的文件存储，用户上传的一些图片等等，除此之外还有应用监控的整个体系、自动发布...消息队列的应用应用消息队列是做服务解耦的好方法。但也要考虑消息失败和重试的场景，需要来做一些补偿处理。...一般很多的场景能做到的是最终一致性，大型的电商系统和金融系统场景非常不一样，在设计分布式系统时，这是常用的方式。高可用的架构设计高可用的架构设计，对于电商来说，已经是最基本的要求了。...从app里用户的每一个操作，这个操作经过网络、服务层、中间件，整个链路要可以监控。对于快速的定位问题是非常有帮助的，尤其是移动电商性能的优化，第一步就是埋点。

3K2 0

RocketMQ实战—8.营销系统业务和方案介绍

21.指定用户群体推送领券消息的方案22.基于大数据的爆款商品计算23.爆款商品分布式调度推送方案千万级用户促销活动全量推送、千万级用户惰性发放优惠券、百万级画像群体推送爆款商品的架构方案1.电商核心交易场景的业务流程...营销系统的基础技术架构总结：系统与系统间通过RPC进行调用，Nacos是注册中心，Dubbo是RPC框架，RocketMQ是消息中间件进行消息中转，分布式定时调度任务使用的是XXLJob。...15.千万级用户分布式推送方案(1)根据千万级的用户产生万级的分片任务消息(2)对万级的分片任务消息进行合并批量发送(3)创建促销活动接口异步化处理提升体验(4)万级的分片任务消息分布式推送完成消费(1...(1)异步提升接口性能运营人员在营销系统创建促销活动时，会发布促销活动已创建的消息到RocketMQ。营销系统会消费促销活动已创建的消息，然后进行预处理。...21.指定用户群体推送领券消息的方案(1)千万级用户量下对全体用户推送消息(2)千万级用户量下对全体用户发券(3)对特定用户群体推送优惠券(1)千万级用户量下对全体用户推送消息首先，当运营人员创建对全体用户推送消息的促销活动时

9650 0

探索 RocketMQ：企业级消息中间件的选择与应用

探索 RocketMQ：企业级消息中间件的选择与应用一、关于RocketMQRocketMQ 是一个高性能、高可靠、可扩展的分布式消息中间件，它是由阿里巴巴开发并贡献给 Apache 软件基金会的一个开源项目...由于传统的消息队列无法承受亿级用户的访问流量和海量数据传输，诞生了互联网消息中间件，核心能力是全面采用分布式架构、具备很强的横向扩展能力，开源典型代表有 Kafka、RocketMQ，闭源的还有淘宝 Notify...2012年：阿里巴巴开源其自研的第三代分布式消息中间件——RocketMQ。经过几年的技术打磨，阿里称基于RocketMQ技术，目前双十一当天消息容量可达到万亿级。...RocketMQ 能够保证系统的高效性，特别是在“双十一”等促销活动期间，能够平稳处理海量订单消息。异步消息处理：电商系统中，很多操作是异步的，例如支付回调、库存扣减、物流派送等。...使用 RocketMQ 可以通过消息队列解耦这些操作，提高系统响应速度。促销活动推送：对于电商平台的秒杀、优惠券发放等高频业务，RocketMQ 能够提供高并发支持，保证消息的顺序和稳定性。

1.3K1 0

CKafka系列学习文章 - 对比RabbitMQ、RocketMQ、TDMQ-CMQ、kafka和Ckafka（二）

万QPS 读写12万QPS 同步算法 ISR（Replica） ISR（Replica） GM 同步双写 Raft 可用性可用性很高，主从自动切换，腾讯云消息服务承诺可用性99.95% 可用性高，主从自动切换...，故障情况极少发生可靠性低；Broker 只有异步刷盘机制并主备只有异步复制，可能会导致丢失部分消息可靠性高；发送消息时，指定消息为持久化就会写入到磁盘可靠性高；Broker 同步双写，主备都写成功才返回成功...Ckafka和CMQ都作为消息中间件都支持集群部署、高吞吐量、强一致等特性，那这两款产品最主要的区别是什么，分别更适合哪些场景使用？...在这些地方，Ckafka非常好用实时处理网站活动（PV，搜索，用户其他活动等）完美的“日志收集中心” 大数据入口和连接器 image.png 2、TDMQ-CMQ 消息队列 CMQ 版（TDMQ...for CMQ，简称 TDMQ CMQ 版）是一种分布式消息队列服务，它具有可靠的、基于消息的异步通信机制，能够将分布式部署的不同应用（或同一应用的不同组件）中的信息传递，存储在可靠有效的消息队列中，防止消息丢失

6.2K7 4

腾讯专有云TCE 高可用技术白皮书

） #缓存数据库CRedis（二级类目：CloudDB for Redis） #流式消息引擎TDMQ-Kafka（二级类目：TDMQ for CKafka） #消息队列TDMQ-Pulsar...#分布式存储平台（二级类目：三副本冗余存储） #快照备份系统（二级类目：跨区域数据备份）第二章：报告背景和目标报告聚焦政企、金融等关键行业客户对业务连续性的核心诉求，以RTO（业务恢复时间...（双AZ、双AZ+仲裁、三AZ、双Region）的量化高可用方案，实现单AZ故障RTO≈0/RPO=0、地域级故障RPO分钟级，支撑金融、传媒等行业客户数智化转型。...•核心分析模型：“八横四纵”高可用体系（四纵：硬件组件级、节点级、机柜级、AZ级故障容忍；八横：基础设施、网络连接、计算调度、存储、中间件与数据库、微服务框架、应用、管控底座高可用能力）。...•国际性与技术领先：TCE高可用架构获金融客户验证，跻身全球分布式云平台领导者象限；自研产品如TDSQL分布式数据库（强一致跨AZ同步）、TDMQ-Pulsar金融级消息中间件（跨AZ强一致）、CRedis

8581 0

无例可循，双十一倒逼出中国互联网「三高架构」

随着「双十一」进入第 14 个年头，这一现象级的标志性活动在很大程度上已经融入国人的日常生活，因而显得不再那么特殊——打折促销天天有，满减秒杀是基操，消费者已经习惯了随时随地都能下单，同城快递隔天就到。...但随着直播秒杀成为一种常规化的营销手段，为了满足众多商家在较长的促销周期内随机性发起的千千万万的秒级峰值，需要有大量的机器成本的投入。...高可用架构演进这些年来，随着业务特点和规模的发展变化，尤其在历届双十一的极端需求倒逼之下，例如从应对 0 点的单一流量洪峰到满足多平台支付需求和效率，支付宝完成了数次大的架构演进，逐渐形成了一套包括金融级分布式交易...第三阶段：异地多活架构，流量弹性伸缩金融级产品对稳定性有极高的要求，需要加速实现金融级异地多活的高可用架构。...正是因为一次次双十一的倒逼创新，支付宝的实践证明在金融级中间件、数据库和云计算平台的支持下，分布式架构完全能够胜任复杂、高要求的金融级交易。

4.1K2 0

消息队列选型指南：从场景匹配到技术落地的全攻略

消息队列选型指南：从场景匹配到技术落地的全攻略在分布式系统架构中，消息队列（Message Queue，简称 MQ）是实现 “解耦、异步、削峰” 的核心中间件，广泛应用于异步通信、流量削峰、数据同步等场景...例如：秒杀活动中，MQ 每秒接收 10 万请求，业务服务器每秒处理 2 万请求，MQ 会暂存未处理的消息，待流量峰值过后逐步消费，确保系统稳定。...基金会（顶级项目），广泛用于电商、金融等企业级场景。...适用场景企业级业务：如电商订单、支付交易（需高可靠性、事务消息）；分布式事务：如 “下单减库存”“支付回调”，支持原生事务消息（确保消息与业务操作原子性）；混合场景：同时需要高吞吐、低延迟、可靠性（如电商促销...实战建议企业级 Java 团队优先选 RocketMQ：如电商、金融场景，需事务消息、高可靠性；分布式事务场景必用事务消息：避免自行实现 “本地消息表” 等复杂方案，降低开发成本；延迟消息场景适用：如

1.1K1 1

余军：分布式数据库在金融行业的创新实践

Google 内部新一代分布式处理框架，于 12/13 年发表相关论文，奠定下一代分布式 NewSQL 的理论和工程实践基石。 PingCAP 以此为基础打造了 TiDB & TiKV。...基于 2014 年 Stanford 工业级分布式一致性协议实现 Raft 博士论文，已成为事实工业标准。...OLTP - 直销金融：营销活动平台 TiDB 的解决之道：面向业务应用侧，完全采用了兼容 MySQL 的协议，应用迁移低成本，低风险，且迁移周期极短，满足了用户的周活动间隔的变更窗口要求。...OLAP - 交易监控：实时交易监察与监控平台 TiDB 的解决之道：利用消息中间件，将交易系统的交易记录和撮合日志，流式写入 TiDB，利用 TiDB 的分布式存储，高性能数据写入和弹性存储。...OLAP - 风控：实时风控 TiDB 的解决之道：风控数据通过信息中间件双写Hive/Hadoop（历史库/历史分析） TiDB的分布式存储引擎架构，非常轻松地应对海量风控数据的导入，存储和查询处理

2.6K10 2

前1号店技术总监黄哲铿揭秘：微服务架构在千万级别日调用量、亿级别海量数据场景下的应用实践

上周，前1号店技术总监、海尔农业电商CTO，《技术管理之巅》作者黄哲铿为大家带来了一场关于微服务架构的分享，包含了微服务架构在千万级别日调用量、亿级别海量数据场景下的应用实践；从领域驱动设计、服务依赖治理...电商是促销拉动式的场景，也是价格战驱动的场景。618和双11都是典型的促销活动。其实都是在抢用户、扩市场占有率。在这样的场景之下，对秒杀、抢购是很热衷的玩法。 ? 促销式的拉动对系统的挑战是什么呢？...基础架构层这层实际上是中间件和服务，包括MQ的消息、job的调试中心、sso联合登陆，还有发消息的，分布式的文件存储，用户上传的一些图片等等，除此之外还有应用监控的整个体系、自动发布的框架，支持到AB...消息队列的应用消息队列的应用，是做服务解耦的好方法。也要考虑消息失败和重试的场景，需要来做一些额外补偿来防止数据丢失。还有一个机制是数据的校验和补偿。...很多的场景能做到的是最终一致性，大型的电商系统和金融系统场景非常不一样，在设计分布式系统时，这是常用的方式。在电商中大多数情况只要实现最终一致性就可以了。

1.5K1 0

前1号店技术总监黄哲铿揭秘：微服务架构在千万级别日调用量、亿级别海量数据场景下的应用实践

1.4K2 0

蚂蚁金服11.11：支付宝和蚂蚁花呗的技术架构及实践

每年“双11”都是一场电商盛会，消费者狂欢日。今年双11的意义尤为重大，它已经发展成为全世界电商和消费者都参与进来的盛宴。...分布式数据架构支付宝在2015年双十一当天的高峰期间处理支付峰值8.59万笔/秒，已经是国际第一大系统支付。...以下是分布式事务框架的流程图： ? 实现：一个完整的业务活动由一个主业务服务与若干从业务服务组成。主业务服务负责发起并完成整个业务活动。从业务服务提供TCC型业务操作。...在2014年12月，蚂蚁花呗团队完成业务系统优化，按照标准将系统架设到了金融云上，依次对接了渠道层、业务层、核心平台层、数据层，使得用户对蚂蚁花呗在营销、下单和支付整个过程中体验统一。...在之前的架构中，系统的秒级处理能力无法有效衡量，通过简单的引流压测无法得到更加准确、可信的数据。立足于金融云，系统很快通过全链路压测得到了每秒处理4w笔支付的稳定能力。

5.8K6 0

祝贺！中原消金、重庆农商行荣获信通院年度优秀案例

2024年12月20日，由中国信息通信研究院（简称“中国信通院”）在京举办了“央国企上云高质量发展沙龙”主题大会。...中原消金中原消金同城双活项目中原消金基于腾讯专有云TCE全栈云解决方案，构建同城双活（含仲裁）高可用生产云平台，为全量业务提供数据中心级云平台IaaS、PaaS服务的高可用容灾切换能力。...重庆农商行重庆农商行金融云平台重庆农商行基于腾讯专有云PaaS平台TCS，建设重庆农商行两地三中心金融级容灾云原生PaaS云平台，打造一体化、分布式云原生PaaS平台，统一技术标准和接入规范，提升研发效率...通过腾讯专有云PaaS平台TCS提供微服务框架TSF和容器服务，结合腾讯云消息中间件TDMQ及Ckafka和缓存中间件Credis等产品，构成重庆农商金融级云原生技术底座，规范行内技术标准和接入规范，构建一体化的监控运维体系...目前腾讯专有云已经在金融、政务、零售、交通、出行、地产、制造等众多行业取得大量成功案例落地，在业界获得了广泛的认可。

9051 0

【金猿信创展】恒生电子——全栈式信创解决方案，助力金融信创行稳致远

核心技术及产品突破 1、分布式微服务中间件Light-JRES Light-JRES是面向金融领域的企业级应用快速开发平台和多系统融合平台，既减轻对基础设施的依赖，又从业务上具备可复用、可扩展、高安全的特性...JRES中间件是实现对通用技术组件的服务化，譬如：分布式缓存、消息队列、分布式事务等等，通过应用共享以及多租户隔离实现技术组件最大程度复用，降低系统的资源消耗让技术组件和业务公共模块下沉，从而做到支持业务的快速创新和迭代...2、分布式低延时中间件Light-LDP Light-LDP是具有集低延时、分布式解耦、灵活开放等特点的开发平台，支持金融机构微秒级业务应用，主要面向券商自营、券商资管以及券商机构业务的策略交易、算法交易...3、金融级分布式数据库LightDB LightDB是一款支持在线事务处理与在线分析处理的融合型分布式数据库，具备SQL兼容性高、容量弹性伸缩、金融级高可用、现代硬件融合、纯内存计算等核心特性，适用于对可用性...LightDB具有“更快、更稳、更懂金融”的企业级特性：采用单机分布式一体化架构，同时支持集中式和分布式部署，在长时间高负载压测下抖动很低；性能方面，在同机房高可用信创软硬件下、单节点进行证券典型订单TPS

2K3 0

选 Redis Stream 还是传统 MQ？——技术选型与场景适配指南

在分布式系统架构中，消息队列是解耦服务、削峰填谷的核心组件。...一、架构设计差异：轻量级 vs 企业级Redis Stream 的极简哲学Redis Stream 基于内存存储，采用 Radix Tree 结构组织消息，核心设计包含三个要素：消息日志：按时间顺序追加的持久化记录...传统 MQ 的分布式基因专业 MQ 中间件通过集群架构实现高可用：Kafka：基于 Partition 的水平扩展，单 Topic 支持百万级 TPSRabbitMQ：支持 AMQP 协议的灵活路由（Direct.../Topic/Fanout 交换器）RocketMQ：阿里双 11 验证的金融级消息系统，提供事务消息、定时消息等特性典型场景：电商订单系统使用 RocketMQ 事务消息，确保订单创建与库存扣减的原子性...三、选型决策框架优先选择 Redis Stream 的场景资源受限环境：嵌入式系统或边缘计算节点，无法部署复杂中间件简单解耦需求：通知类消息（如邮件发送、短信推送）实时性敏感：金融交易系统中的实时对账，

9921 0

中间件MQ是什么？

中间件 MQ（消息队列，Message Queue）是一种分布式通信中间件，核心功能是异步传递消息，解决分布式系统中 “服务间解耦、流量削峰、可靠通信” 的问题。...流量削峰（应对突发流量）场景：双 11 零点，10 万 /s 的抢购请求直接打数据库，瞬间压垮。...，纯 Key-Value 存储典型场景订单异步通知、日志收集、流量缓冲商品库存缓存、高频查询加速四、主流 MQ 产品对比（按需选择）产品适用场景优势缺点Kafka高吞吐日志、实时流处理单集群日处理万亿级消息不保证严格顺序...，适合大数据场景RabbitMQ金融级可靠消息、精准路由支持事务、死信队列、ACK 机制吞吐量相对低（万级 /s）RocketMQ阿里系电商、分布式事务分布式事务、消息重试策略社区生态不如 Kafka...✅ 当系统需要异步处理（如注册后发邮件）✅ 当服务间耦合度高（如订单、库存、支付多个系统）✅ 当面临流量波动（如秒杀、大促活动）❌ 不要用 MQ：简单的同步调用（如用户登录验证），反而增加系统复杂

1.9K1 0

腾讯云电商解决方案：以云原生技术应对高并发与成本挑战

微服务通过TKE容器化部署，实现秒级弹性伸缩，支撑每分钟1800万推送消息的并发需求（TPNS服务数据）。...量化效果：系统可靠性与运营成本优化移动推送TPNS实现99.9%系统可靠性（经王者荣耀等亿级APP验证），消息到达率99.9%，推送延迟323毫秒。...通过TPNS精准推送促销信息，活动期间用户复购率提升18%，订单取消率下降12%。采用云智绘自动化生成商品图，设计人力成本减少60%，版本迭代效率提升3倍。...技术领先性支撑复杂场景需求云原生技术栈：微服务引擎TSE、分布式事务DTF等产品通过CNCF认证，支撑每日万亿级调用。...安全合规能力：数据安全方案满足GDPR/工信部要求，提供5级分类管控（从公开级到受控级）。行业认证：方案获信通院大数据产品能力认证，并在电商、金融等190+行业落地验证。

2501 0

《云原生微服务治理进阶：隐性风险根除与全链路能力构建》

曾为某大型零售企业的电商平台做治理优化，发现其“商品服务”与“促销服务”之间存在12个未被记录的调用接口—“商品服务”在返回商品详情时，会调用“促销服务”的满减、折扣、优惠券等6个接口；“促销服务”在计算活动门槛时...更隐蔽的是“间接依赖”问题：“订单服务”并未直接调用“物流服务”，但会通过“消息队列”发送订单创建消息，而“物流服务”消费该消息后又会调用“仓储服务”，当“仓储服务”故障时，“订单服务”虽未直接报错，却会因消息堆积导致数据库连接池耗尽...类似的问题在生活服务、金融科技等行业普遍存在，其根源在于传统流量治理缺乏“预判-调度-反馈”的闭环能力。...分级治理层面，建立数据一致性分级标准：1级（强一致）适用于金融交易、资金结算等场景，采用Seata AT模式+本地消息表，确保事务原子性；2级（最终一致-低延迟）适用于订单状态同步、物流信息更新等场景，...采用事件驱动+重试补偿机制，确保分钟级一致性；3级（最终一致-高容忍）适用于用户行为统计、日志分析等场景，采用定时任务同步，允许小时级一致性。

5090 0

通过双十一等项目实践看架构技术

每年“双 11”都是一场电商盛会，消费者狂欢日。今年双 11 的意义尤为重大，它已经发展成为全世界电商和消费者都参与进来的盛宴。...以下是分布式事务框架的流程图： ? 实现：一个完整的业务活动由一个主业务服务与若干从业务服务组成。主业务服务负责发起并完成整个业务活动。从业务服务提供 TCC 型业务操作。...在 2014 年 12 月，蚂蚁花呗团队完成业务系统优化，按照标准将系统架设到了金融云上，依次对接了渠道层、业务层、核心平台层、数据层，使得用户对蚂蚁花呗在营销、下单和支付整个过程中体验统一。...在之前的架构中，系统的秒级处理能力无法有效衡量，通过简单的引流压测无法得到更加准确、可信的数据。立足于金融云，系统很快通过全链路压测得到了每秒处理 4w 笔支付的稳定能力。...为了保证蚂蚁花呗双 11 期间的授信资金充足，在金融云体系下搭建了机构资产中心，对接支付清算平台，将表内的信贷资产打包形成一个一定期限的资产池，并以这个资产池为基础，发行可交易证券进行融资，即通过资产转让的方式获得充足资金

2.8K3 0

点击加载更多

腾讯开源万亿级分布式消息中间件 TubeMQ

腾讯万亿级分布式消息中间件TubeMQ正式开源

抗千万级调用的电商服务架构实现

RocketMQ实战—8.营销系统业务和方案介绍

探索 RocketMQ：企业级消息中间件的选择与应用

CKafka系列学习文章 - 对比RabbitMQ、RocketMQ、TDMQ-CMQ、kafka和Ckafka（二）

腾讯专有云TCE 高可用技术白皮书

无例可循，双十一倒逼出中国互联网「三高架构」

消息队列选型指南：从场景匹配到技术落地的全攻略

余军：分布式数据库在金融行业的创新实践

前1号店技术总监黄哲铿揭秘：微服务架构在千万级别日调用量、亿级别海量数据场景下的应用实践

前1号店技术总监黄哲铿揭秘：微服务架构在千万级别日调用量、亿级别海量数据场景下的应用实践

蚂蚁金服11.11：支付宝和蚂蚁花呗的技术架构及实践

祝贺！中原消金、重庆农商行荣获信通院年度优秀案例

【金猿信创展】恒生电子——全栈式信创解决方案，助力金融信创行稳致远

选 Redis Stream 还是传统 MQ？——技术选型与场景适配指南

中间件MQ是什么？

腾讯云电商解决方案：以云原生技术应对高并发与成本挑战

《云原生微服务治理进阶：隐性风险根除与全链路能力构建》

通过双十一等项目实践看架构技术

相关资讯

热门标签

活动推荐

运营活动

社区

活动

圈层

关于

腾讯云开发者

热门产品

热门推荐

更多推荐