腾讯云开发者社区-腾讯云

开发者社区

文档建议反馈控制台

最新优惠活动

文章/答案/技术大牛

发布

匠心独运的博客

专栏作者

24

文章

45044

阅读量

24

订阅数

消息中间件—RocketMQ消息存储（一）一、MQ消息队列的一般存储方式二、RocketMQ消息存储整体架构三、RocketMQ文件存储模型层次结构四、总结

存储分布式 rpc 云数据库 Redis 缓存

文章摘要：MQ分布式消息队列大致流程在于消息的一发一收一存，本篇将为大家主要介绍下RocketMQ存储部分的架构消息存储是MQ消息队列中最为复杂和最为重要的一部分，所以小编也就放在RocketMQ系列篇幅中最后一部分来进行阐述和介绍。本文先从目前几种比较常用的MQ消息队列存储方式出发，为大家介绍RocketMQ选择磁盘文件存储的原因。然后，本文分别从RocketMQ的消息存储整体架构和RocketMQ文件存储模型层次结构两方面进行深入分析介绍。使得大家读完本文后对RocketMQ消息存储部分有一个大致的了解和认识。这里先回顾往期RocketMQ技术分享的篇幅（如果有童鞋没有读过之前的文章，建议先好好读下之前小编写的篇幅或者其他网上相关的博客，把RocketMQ消息发送和消费部分的流程先大致搞明白）：（1）消息中间件—RocketMQ的RPC通信（一）（2）消息中间件—RocketMQ的RPC通信（二）（3）消息中间件—RocketMQ消息发送（4）消息中间件—RocketMQ消息消费（一）（5）消息中间件—RocketMQ消息消费（二）（push模式实现）（6）消息中间件—RocketMQ消息消费（三）（消息消费重试）

2018-10-10

2.8K0

分布式定时任务Elastic-Job框架在SpringBoot工程中的应用实践（一）

spring 分布式任务调度 spring boot zookeeper

摘要：如何构建具备作业分片和弹性扩缩容的定时任务系统是每个大型业务系统在设计时需要考虑的重要问题？对于构建一般的业务系统来说，使用Quartz或者Spring Task即可基本满足我们的单体服用应用需要。然而随着线上业务量的不断发展，这两种定时任务已经日渐无法满足我们的需求。一般，使用这两种定时任务框架都会遇到如下的两个痛点问题：（1）如果业务工程采用集群化的部署，可能会多次重复执行定时任务而导致系统的业务逻辑错误，并产生系统故障。（2）Quartz的集群方案具备HA功能，可以实现定时任务的分发，但是通过增加机器节点数量的方式并不能提高每次定时任务的执行效率，无法实现任务的弹性分片。一线互联网大厂都有他们自己为其业务定制化研发的分布式定时任务系统，业务研发工程师可以通过在其Web Console的界面上进行简单的任务配置即可使得大型业务系统实现定时任务的调度、分发、分片、监控和扩缩容等功能。那么，业界是否有开源的组件框架同样具备这些功能呢？答案是肯定的！本文将向大家介绍一款开源的分布式定时任务调度框架—Elastic-Job的功能和原理，同时通过一个简单的案例阐述如何在Spring Boot工程完成Elastic-Job的集成。

2018-09-05

2.7K1

过来人的经验，谈谈一致性处理方案—分布式事务（DTS）

java 分布式微服务

传统事务是使用数据库自身的事务属性（ACID），而数据库自身的事务属性是局限于当前实例，不能实现跨库。而对于大型分布式/微服务集群系统中，不仅存在着跨库的事务，还存在很多不同系统/服务之间的RPC调用，这种调用往往也需要保证业务以及数据的一致性。因此，有必要使用一种分布式事务框架来协调整个端到端业务调用链路的应用和数据库来保证业务最终的数据一致性，而目前在分布式事务中用的比较多的即为基于所有服务参与者投票的二阶段协议（2PC）。

2018-09-05

1.7K0

没有更多了

社区活动

腾讯技术创作狂欢月

“码”上创作 21 天，分 10000 元奖品池！

Python精品学习库

代码在线跑，知识轻松学

博客搬家 | 分享价值百万资源包

自行/邀约他人一键搬运博客，速成社区影响力并领取好礼

技术创作特训营·精选知识专栏

往期视频·千货材料·成员作品最新动态