金融级分布消息中间件双11促销活动 - 腾讯云开发者社区

文章/答案/技术大牛

发布

腾讯开源万亿级分布式消息中间件 TubeMQ

beMQ 是腾讯在 2013 年自研的分布式消息中间件系统，专注服务大数据场景下海量数据的高性能存储和传输，经过近 7 年上万亿的海量数据沉淀，目前日均接入量超过 25 万亿条。...变更及查询实现了完整的自动化闭环管理，减轻了系统维护的复杂度；服务器侧消费负载均衡 Tube MQ 采用的是服务侧负载均衡的方案，而不是客户端侧操作，提升系统的管控能力同时简化客户端实现，更便于均衡算法升级；系统行级锁操作...对于 Broker 消息读写中存在中间状态的并发操作采用行级锁，避免重复问题； Offset 管理调整 Offset 由各个 Broker 独自管理，ZK 只作数据持久化存储用（最初考虑完全去掉 ZK...依赖，考虑到后续的功能扩展就暂时保留）；消息读取机制的改进 Tube MQ 采用的是消息随机读取模式, 同时为了降低消息时延又增加了内存缓存读写, 对于带 SSD 设备的机器, 增加消息滞后转 SSD...消费时延分级保证、消费限流控制，以及数据拉取频率控制等；系统安全管控根据业务不同的数据服务需要，以及系统运维安全的考虑，Tube MQ 系统增加了 TLS 传输层加密管道，生产和消费服务的认证、授权，以及针对分布式访问控制的访问令牌管理

2.3K6 0

腾讯万亿级分布式消息中间件TubeMQ正式开源

TubeMQ是腾讯在2013年自研的分布式消息中间件系统，专注服务大数据场景下海量数据的高性能存储和传输，经过近7年上万亿的海量数据沉淀，目前日均接入量超过25万亿条。...系统行级锁操作对于Broker消息读写中存在中间状态的并发操作采用行级锁，避免重复问题； 5. ...消息读取机制的改进 Tube MQ采用的是消息随机读取模式,同时为了降低消息时延又增加了内存缓存读写,对于带SSD设备的机器,增加消息滞后转SSD消费的处理，解决消费严重滞后时吞吐量下降以及SSD磁盘容量小...系统安全管控根据业务不同的数据服务需要，以及系统运维安全的考虑，Tube MQ系统增加了TLS传输层加密管道，生产和消费服务的认证、授权，以及针对分布式访问控制的访问令牌管理，满足业务和系统运维在系统安全方面的需求...采用连接复用模式，减少连接资源消耗；通过逻辑分区构造，减少系统对文件句柄数的占用，通过服务器端过滤模式，减少网络带宽资源使用率；通过剥离对Zookeeper的使用，减少Zookeeper的强依赖及瓶颈限制； 11

1.9K7 2

您找到你想要的搜索结果了吗？

是的

没有找到

借助腾讯云轻量应用服务器优化双11电商促销活动：成本控制与性能提升的实践

上文是平时的计费和套餐模型，现在赶上了双十一嘛，腾讯云为我们准备了丰厚的大礼点击链接直达会场：https://cloud.tencent.com/act/pro/double11-2024?...下面进行了轻量应用服务器和云服务器的相关对比，大家可以参考~ 特性腾讯云轻量应用服务器 (Lighthouse) 腾讯云云服务器 (CVM) 目标用户初创公司、中小企业、开发者、独立项目团队等企业级用户...例如，在大型促销活动期间，平台的访问量大幅增加，轻量应用服务器能够自动扩展计算资源确保在流量激增的情况下，平台仍能平稳运行，不会出现崩溃或响应缓慢的问题。...具体收益：高可用性：平台在促销期间成功应对了数万用户同时在线的高峰流量，避免了因服务器负载过重而导致的崩溃或用户流失。...流量高峰响应：在大型促销活动中，平台的访问量最高增加了300%以上，但由于轻量应用服务器的自动伸缩，平台在无须人工干预的情况下，成功应对了这一挑战。

26K1 0

抗千万级调用的电商服务架构实现

电商是典型的促销拉动式场景，也是价格战驱动的场景。618和双11都是典型的促销活动。其实都是在抢用户、扩市场占有率。在这样的场景之下，对秒杀、抢购是很热衷的玩法。促销式的拉动对系统的挑战是什么呢？...大型电商系统的架构基础架构层这层实际上是中间件和服务，包括MQ的消息、Job的调试中心、sso联合登陆，还有发消息的，分布式的文件存储，用户上传的一些图片等等，除此之外还有应用监控的整个体系、自动发布...消息队列的应用应用消息队列是做服务解耦的好方法。但也要考虑消息失败和重试的场景，需要来做一些补偿处理。...一般很多的场景能做到的是最终一致性，大型的电商系统和金融系统场景非常不一样，在设计分布式系统时，这是常用的方式。高可用的架构设计高可用的架构设计，对于电商来说，已经是最基本的要求了。...从app里用户的每一个操作，这个操作经过网络、服务层、中间件，整个链路要可以监控。对于快速的定位问题是非常有帮助的，尤其是移动电商性能的优化，第一步就是埋点。

3K2 0

探索 RocketMQ：企业级消息中间件的选择与应用

探索 RocketMQ：企业级消息中间件的选择与应用一、关于RocketMQRocketMQ 是一个高性能、高可靠、可扩展的分布式消息中间件，它是由阿里巴巴开发并贡献给 Apache 软件基金会的一个开源项目...由于传统的消息队列无法承受亿级用户的访问流量和海量数据传输，诞生了互联网消息中间件，核心能力是全面采用分布式架构、具备很强的横向扩展能力，开源典型代表有 Kafka、RocketMQ，闭源的还有淘宝 Notify...2012年：阿里巴巴开源其自研的第三代分布式消息中间件——RocketMQ。经过几年的技术打磨，阿里称基于RocketMQ技术，目前双十一当天消息容量可达到万亿级。...RocketMQ 能够保证系统的高效性，特别是在“双十一”等促销活动期间，能够平稳处理海量订单消息。异步消息处理：电商系统中，很多操作是异步的，例如支付回调、库存扣减、物流派送等。...使用 RocketMQ 可以通过消息队列解耦这些操作，提高系统响应速度。促销活动推送：对于电商平台的秒杀、优惠券发放等高频业务，RocketMQ 能够提供高并发支持，保证消息的顺序和稳定性。

1.3K1 0

RocketMQ实战—8.营销系统业务和方案介绍

21.指定用户群体推送领券消息的方案22.基于大数据的爆款商品计算23.爆款商品分布式调度推送方案千万级用户促销活动全量推送、千万级用户惰性发放优惠券、百万级画像群体推送爆款商品的架构方案1.电商核心交易场景的业务流程...营销系统的基础技术架构总结：系统与系统间通过RPC进行调用，Nacos是注册中心，Dubbo是RPC框架，RocketMQ是消息中间件进行消息中转，分布式定时调度任务使用的是XXLJob。...15.千万级用户分布式推送方案(1)根据千万级的用户产生万级的分片任务消息(2)对万级的分片任务消息进行合并批量发送(3)创建促销活动接口异步化处理提升体验(4)万级的分片任务消息分布式推送完成消费(1...(1)异步提升接口性能运营人员在营销系统创建促销活动时，会发布促销活动已创建的消息到RocketMQ。营销系统会消费促销活动已创建的消息，然后进行预处理。...21.指定用户群体推送领券消息的方案(1)千万级用户量下对全体用户推送消息(2)千万级用户量下对全体用户发券(3)对特定用户群体推送优惠券(1)千万级用户量下对全体用户推送消息首先，当运营人员创建对全体用户推送消息的促销活动时

9650 0

前1号店技术总监黄哲铿揭秘：微服务架构在千万级别日调用量、亿级别海量数据场景下的应用实践

上周，前1号店技术总监、海尔农业电商CTO，《技术管理之巅》作者黄哲铿为大家带来了一场关于微服务架构的分享，包含了微服务架构在千万级别日调用量、亿级别海量数据场景下的应用实践；从领域驱动设计、服务依赖治理...电商是促销拉动式的场景，也是价格战驱动的场景。618和双11都是典型的促销活动。其实都是在抢用户、扩市场占有率。在这样的场景之下，对秒杀、抢购是很热衷的玩法。 ? 促销式的拉动对系统的挑战是什么呢？...基础架构层这层实际上是中间件和服务，包括MQ的消息、job的调试中心、sso联合登陆，还有发消息的，分布式的文件存储，用户上传的一些图片等等，除此之外还有应用监控的整个体系、自动发布的框架，支持到AB...消息队列的应用消息队列的应用，是做服务解耦的好方法。也要考虑消息失败和重试的场景，需要来做一些额外补偿来防止数据丢失。还有一个机制是数据的校验和补偿。...很多的场景能做到的是最终一致性，大型的电商系统和金融系统场景非常不一样，在设计分布式系统时，这是常用的方式。在电商中大多数情况只要实现最终一致性就可以了。

1.5K1 0

中间件MQ是什么？

中间件 MQ（消息队列，Message Queue）是一种分布式通信中间件，核心功能是异步传递消息，解决分布式系统中 “服务间解耦、流量削峰、可靠通信” 的问题。...流量削峰（应对突发流量）场景：双 11 零点，10 万 /s 的抢购请求直接打数据库，瞬间压垮。...，纯 Key-Value 存储典型场景订单异步通知、日志收集、流量缓冲商品库存缓存、高频查询加速四、主流 MQ 产品对比（按需选择）产品适用场景优势缺点Kafka高吞吐日志、实时流处理单集群日处理万亿级消息不保证严格顺序...，适合大数据场景RabbitMQ金融级可靠消息、精准路由支持事务、死信队列、ACK 机制吞吐量相对低（万级 /s）RocketMQ阿里系电商、分布式事务分布式事务、消息重试策略社区生态不如 Kafka...✅ 当系统需要异步处理（如注册后发邮件）✅ 当服务间耦合度高（如订单、库存、支付多个系统）✅ 当面临流量波动（如秒杀、大促活动）❌ 不要用 MQ：简单的同步调用（如用户登录验证），反而增加系统复杂

1.9K1 0

前1号店技术总监黄哲铿揭秘：微服务架构在千万级别日调用量、亿级别海量数据场景下的应用实践

1.4K2 0

当我们谈论秒杀时我们要做什么？

秒杀业务业务特点服务承载的访问压力大瞬时流量突增：业务促销活动在特定时间开启，大量用户请求等待活动开启后瞬间涌入抢购脚本带来压力：灰产通过抢购脚本薅羊毛，一方面带来额外的系统压力，另一方面影响抢购活动公平性...缓存层：数据读取加速在抢购业务中，对商品库存数量的更改主要通过数据库进行，但是由于读取流量过大，一般需要通过两级缓存的机制进行优化，即：Java服务进程内本地缓存-->分布式缓存服务-->数据库服务。...技术保障业务全链路压测全链路压测是阿里2013年在双11压力之下被逼出来的技能，由于线上线下环境多少都会有些不同，很多问题只有在实际生产环境才能暴露，对于秒杀类业务，线上压测也能够实际评估出系统的真实承载力...比如阿里张瑞说的： “在零点前有一个倒计时环节，连线杭州光明顶作战指挥室，逍遥子会为大家揭幕2015双11启动，然后直接切换到我们的媒体大屏，所以对GMV数字的要求基本上是零延迟，这个挑战有多大不言而喻...我们可以做些什么阿里双11的目的在于：去库存、提升影响力和拉新，而对研发和基础架构来说则是保持技术领先的年度演习。

8.8K3 0

蚂蚁金服11.11：支付宝和蚂蚁花呗的技术架构及实践

每年“双11”都是一场电商盛会，消费者狂欢日。今年双11的意义尤为重大，它已经发展成为全世界电商和消费者都参与进来的盛宴。...分布式数据架构支付宝在2015年双十一当天的高峰期间处理支付峰值8.59万笔/秒，已经是国际第一大系统支付。...以下是分布式事务框架的流程图： ? 实现：一个完整的业务活动由一个主业务服务与若干从业务服务组成。主业务服务负责发起并完成整个业务活动。从业务服务提供TCC型业务操作。...在之前的架构中，系统的秒级处理能力无法有效衡量，通过简单的引流压测无法得到更加准确、可信的数据。立足于金融云，系统很快通过全链路压测得到了每秒处理4w笔支付的稳定能力。...为了保证蚂蚁花呗双11期间的授信资金充足，在金融云体系下搭建了机构资产中心，对接支付清算平台，将表内的信贷资产打包形成一个一定期限的资产池，并以这个资产池为基础，发行可交易证券进行融资，即通过资产转让的方式获得充足资金

5.8K6 0

揭秘：2018阿里双11秒杀背后的技术

二、阿里双11背后的技术 ? 1. 云计算利用云计算弹性能力，支撑交易峰值每秒32.5万笔、支付峰值每秒25.6万笔的混合云弹性架构。 2. 分布式消息引擎在双11当天实现万亿级消息流转。 3....物流技术菜鸟通过包裹预测、供应链入库、订单下沉、订单路由调度、电子面单及智能分单，以及末端小件员，涉及十亿级包裹的双11之战。...总之，双11将涉及：基础设施、存储、中间件、云计算、业务架构、大数据、认知计算与人工智能、交互技术等技术领域。...充分利用消息中间件削峰这里有相关的阿里消息中间件(Notify和MetaQ)，以及开源的(ActiveMQ、Kafka等)。...现在对数据库的拆分，都是利用数据库层中间件(淘宝 tddl)，来进行无缝对数据库的侵入设计。除此以外还会涉及到分布式小文件存储以及搜索引擎，以及服务器集群监控等技术。

5.7K3 0

数据泄露、平台“崩瘫”……2022企业如何安全布局私域电商？

像前段时间，某小程序推出“爆品抢购”活动，活动一开始其小程序商城就立马出现“白屏现象”，导致商家整个线上业务直接中断4个小时，客户体验遭遇滑铁卢。...01 腾讯企业级防护能力稳若磐石，守护私域业务安全腾讯「云Mall」基于腾讯云部署，拥有海量的服务架构，通过CDN负载均衡、容器云平台、金融级中间件、微服务架构和金融级分布式数据库等技术，能够全方位保障流量层的安全...确保品牌商家在开展抢购、秒杀、裂变等日常活动时，以及在双11大促期间都能安全无忧，生意稳定经营。 ?...防止系统崩溃在大规模促销前，为了避免可能存在的黑客发动DDOS&CC攻击和中台存在的性能瓶颈问题，腾讯「云Mall」为企业私域运营提供基础及深度安全诊断，及时发现系统漏洞；通过对代码进行加密加固、提供...DDOS高防包和高防IP，有效拦截黑客攻击；通过设备安全检测，实时异常监控等及时发现系统安全问题，并高效修复和优化业务系统；能够提高企业优化小程序系统性能的效率，避免活动页面白屏、下单失败等情况影响活动进行

3.6K4 0

余额宝技术架构及演进

中间层就是采用小型机，其中 KCXP 和 KCBP 是金证公司的消息中间件和业务中间件。往上前端是前置解析是用的 WebLogic，负载均衡用的硬件负载均衡。 ?...另外当年要参加支付宝这边的双 11 活动，以当时的系统处理能力来讲，肯定是做不到的。二期云端架构基于这些原因，需要对一期的系统做优化，怎么优化？...目前来讲应对春节、双11、国庆长假等场景，系统都能稳定应对这些。 ?...比如对于在线交易，可以采用经过阿里支付宝验证过的 OB，专门用于解决金融级的分布式关系数据库的解决方案；对于批量结算，可以继续沿用多年来在余额宝已经用的很娴熟的 RDS 集群。...异步调用异步调用主要靠消息中间件。金融系统对消息中间件的可靠性要求非常高，这块我们还是沿用传统思路，并不想采用开源解决方案去填那些坑，更多考虑采用成熟金融级消息中间件来做这件事情。 ?

1.9K5 0

腾讯专有云TCE 高可用技术白皮书

） #缓存数据库CRedis（二级类目：CloudDB for Redis） #流式消息引擎TDMQ-Kafka（二级类目：TDMQ for CKafka） #消息队列TDMQ-Pulsar...#分布式存储平台（二级类目：三副本冗余存储） #快照备份系统（二级类目：跨区域数据备份）第二章：报告背景和目标报告聚焦政企、金融等关键行业客户对业务连续性的核心诉求，以RTO（业务恢复时间...（双AZ、双AZ+仲裁、三AZ、双Region）的量化高可用方案，实现单AZ故障RTO≈0/RPO=0、地域级故障RPO分钟级，支撑金融、传媒等行业客户数智化转型。...•核心分析模型：“八横四纵”高可用体系（四纵：硬件组件级、节点级、机柜级、AZ级故障容忍；八横：基础设施、网络连接、计算调度、存储、中间件与数据库、微服务框架、应用、管控底座高可用能力）。...•国际性与技术领先：TCE高可用架构获金融客户验证，跻身全球分布式云平台领导者象限；自研产品如TDSQL分布式数据库（强一致跨AZ同步）、TDMQ-Pulsar金融级消息中间件（跨AZ强一致）、CRedis

8581 0

消息队列选型指南：从场景匹配到技术落地的全攻略

消息队列选型指南：从场景匹配到技术落地的全攻略在分布式系统架构中，消息队列（Message Queue，简称 MQ）是实现 “解耦、异步、削峰” 的核心中间件，广泛应用于异步通信、流量削峰、数据同步等场景...例如：秒杀活动中，MQ 每秒接收 10 万请求，业务服务器每秒处理 2 万请求，MQ 会暂存未处理的消息，待流量峰值过后逐步消费，确保系统稳定。...基金会（顶级项目），广泛用于电商、金融等企业级场景。...适用场景企业级业务：如电商订单、支付交易（需高可靠性、事务消息）；分布式事务：如 “下单减库存”“支付回调”，支持原生事务消息（确保消息与业务操作原子性）；混合场景：同时需要高吞吐、低延迟、可靠性（如电商促销...实战建议企业级 Java 团队优先选 RocketMQ：如电商、金融场景，需事务消息、高可靠性；分布式事务场景必用事务消息：避免自行实现 “本地消息表” 等复杂方案，降低开发成本；延迟消息场景适用：如

1.1K1 1

千万级调用量微服务架构实践

电商是促销拉动式的场景，也是价格战驱动的场景。618和双11都是典型的促销活动。其实都是在抢用户、扩市场占有率。在这样的场景之下，对秒杀、抢购是很热衷的玩法。 ? 促销式的拉动对系统的挑战是什么呢？...基础架构层这层实际上是中间件和服务，包括MQ的消息、job的调试中心、sso联合登陆，还有发消息的，分布式的文件存储，用户上传的一些图片等等，除此之外还有应用监控的整个体系、自动发布的框架，支持到AB...消息队列的应用消息队列的应用，是做服务解耦的好方法。也要考虑消息失败和重试的场景，需要来做一些额外补偿来防止数据丢失。还有一个机制是数据的校验和补偿。...很多的场景能做到的是最终一致性，大型的电商系统和金融系统场景非常不一样，在设计分布式系统时，这是常用的方式。在电商中大多数情况只要实现最终一致性就可以了。...从app里用户的每一个操作，这个操作经过网络、服务层、中间件，整个链路要可以监控。对于快速的定位问题是非常有帮助的，尤其是移动电商性能的优化，第一步就是埋点。在网络这一层，还有网关的接入。

2.1K5 0

无例可循，双十一倒逼出中国互联网「三高架构」

随着「双十一」进入第 14 个年头，这一现象级的标志性活动在很大程度上已经融入国人的日常生活，因而显得不再那么特殊——打折促销天天有，满减秒杀是基操，消费者已经习惯了随时随地都能下单，同城快递隔天就到。...但随着直播秒杀成为一种常规化的营销手段，为了满足众多商家在较长的促销周期内随机性发起的千千万万的秒级峰值，需要有大量的机器成本的投入。...高可用架构演进这些年来，随着业务特点和规模的发展变化，尤其在历届双十一的极端需求倒逼之下，例如从应对 0 点的单一流量洪峰到满足多平台支付需求和效率，支付宝完成了数次大的架构演进，逐渐形成了一套包括金融级分布式交易...第三阶段：异地多活架构，流量弹性伸缩金融级产品对稳定性有极高的要求，需要加速实现金融级异地多活的高可用架构。...正是因为一次次双十一的倒逼创新，支付宝的实践证明在金融级中间件、数据库和云计算平台的支持下，分布式架构完全能够胜任复杂、高要求的金融级交易。

4.1K2 0

通过双十一等项目实践看架构技术

每年“双 11”都是一场电商盛会，消费者狂欢日。今年双 11 的意义尤为重大，它已经发展成为全世界电商和消费者都参与进来的盛宴。...而对技术人员来说，双十一无疑已经成为一场大考，考量的角度是整体架构、基础中间件、运维工具、人员等。...以下是分布式事务框架的流程图： ? 实现：一个完整的业务活动由一个主业务服务与若干从业务服务组成。主业务服务负责发起并完成整个业务活动。从业务服务提供 TCC 型业务操作。...在之前的架构中，系统的秒级处理能力无法有效衡量，通过简单的引流压测无法得到更加准确、可信的数据。立足于金融云，系统很快通过全链路压测得到了每秒处理 4w 笔支付的稳定能力。...为了保证蚂蚁花呗双 11 期间的授信资金充足，在金融云体系下搭建了机构资产中心，对接支付清算平台，将表内的信贷资产打包形成一个一定期限的资产池，并以这个资产池为基础，发行可交易证券进行融资，即通过资产转让的方式获得充足资金

2.8K3 0

【金猿信创展】恒生电子——全栈式信创解决方案，助力金融信创行稳致远

核心技术及产品突破 1、分布式微服务中间件Light-JRES Light-JRES是面向金融领域的企业级应用快速开发平台和多系统融合平台，既减轻对基础设施的依赖，又从业务上具备可复用、可扩展、高安全的特性...JRES中间件是实现对通用技术组件的服务化，譬如：分布式缓存、消息队列、分布式事务等等，通过应用共享以及多租户隔离实现技术组件最大程度复用，降低系统的资源消耗让技术组件和业务公共模块下沉，从而做到支持业务的快速创新和迭代...2、分布式低延时中间件Light-LDP Light-LDP是具有集低延时、分布式解耦、灵活开放等特点的开发平台，支持金融机构微秒级业务应用，主要面向券商自营、券商资管以及券商机构业务的策略交易、算法交易...3、金融级分布式数据库LightDB LightDB是一款支持在线事务处理与在线分析处理的融合型分布式数据库，具备SQL兼容性高、容量弹性伸缩、金融级高可用、现代硬件融合、纯内存计算等核心特性，适用于对可用性...LightDB具有“更快、更稳、更懂金融”的企业级特性：采用单机分布式一体化架构，同时支持集中式和分布式部署，在长时间高负载压测下抖动很低；性能方面，在同机房高可用信创软硬件下、单节点进行证券典型订单TPS

2K3 0

点击加载更多

腾讯开源万亿级分布式消息中间件 TubeMQ

腾讯万亿级分布式消息中间件TubeMQ正式开源

借助腾讯云轻量应用服务器优化双11电商促销活动：成本控制与性能提升的实践

抗千万级调用的电商服务架构实现

探索 RocketMQ：企业级消息中间件的选择与应用

RocketMQ实战—8.营销系统业务和方案介绍

前1号店技术总监黄哲铿揭秘：微服务架构在千万级别日调用量、亿级别海量数据场景下的应用实践

中间件MQ是什么？

前1号店技术总监黄哲铿揭秘：微服务架构在千万级别日调用量、亿级别海量数据场景下的应用实践

当我们谈论秒杀时我们要做什么？

蚂蚁金服11.11：支付宝和蚂蚁花呗的技术架构及实践

揭秘：2018阿里双11秒杀背后的技术

数据泄露、平台“崩瘫”……2022企业如何安全布局私域电商？

余额宝技术架构及演进

腾讯专有云TCE 高可用技术白皮书

消息队列选型指南：从场景匹配到技术落地的全攻略

千万级调用量微服务架构实践

无例可循，双十一倒逼出中国互联网「三高架构」

通过双十一等项目实践看架构技术

【金猿信创展】恒生电子——全栈式信创解决方案，助力金融信创行稳致远

相关资讯

热门标签

活动推荐

运营活动

社区

活动

圈层

关于

腾讯云开发者

热门产品

热门推荐

更多推荐