首页
学习
活动
专区
工具
TVP
发布

MessageQueue

专栏作者
41
文章
51301
阅读量
28
订阅数
Kafka消息(存储)格式及索引组织方式
“ 要深入学习Kafka,理解Kafka的存储机制是非常重要的。本文介绍Kafka存储消息的格式以及数据文件和索引组织方式,以便更好的理解Kafka是如何工作的。”
林一
2021-11-02
1.8K0
后端工程师都应该知道的最佳实践
《On Designing and Deploying Internet-Scale Services》是一篇非常经典的论文,例举了设计和部署互联网规模的服务要注意的方方面面,其核心内容是自动化、轻依赖、可监控且信息准确、可应急。
林一
2020-08-25
5630
译《On Designing and Deploying Internet-Scale Services》
“系统-管理员”的比例通常粗略的作为了解大规模服务中管理成本的指标。在低自动化水平的服务中这个比例可能低到2:1,而在行业领先的高度自动化的服务中,这个比例可以达到2500:1。在微软的众多服务之中,Autopilot经常被认为是Windows Live Search团队成功提高“系统-管理员”比的原因。自动化管理非常重要,但更重要的还是服务本身。服务是否能高效的进行自动化?是否是运维友好的(operations-friendly)?运维友好的服务几乎不需要人工的干预,除了极个别的故障外其他情况都可以被自动的检测并恢复。本文总结MSN和Windows Live在支撑一些超大型服务过程中多年积累下来的最佳实践。
林一
2020-08-25
8500
Event-Driven Architecture思考
既然事件代表着在过去某一时刻发生的某个事情,那么那必然具备一些基本的要素,就像现实生活中发生某件事情也具备时间、地点等几个要素。事件的基本要素包含time、source、key、header、metadata和payload。
林一
2020-07-07
1.1K0
Kafka分区分配策略分析——重点:StickyAssignor
“ 为什么Kafka在RangeAssigor、RoundRobinAssignor的基础上,又新增了PartitionAssignor,它解决了什么问题?”
林一
2019-12-13
2.3K0
Ubiq:A Scalable and Fault-tolerant Log Processing Infrastructure
互联网应用通常会产生大量的时间日志需要进行分析和处理。本文介绍Ubiq的架构,它是一个分布式系统,用于处理不断增长的日志文件,具有可扩展性、高可用、低延迟的特性。Ubiq框架容忍基础设施退化和数据中心级别的中断问题,无需人工干预。并且它支持exactly-once语义以将日志作为事件的集合进行处理。Ubiq已经应用于Google的广告系统多年,生产环境证明了机器资源的线性可扩展性,以及基础设置故障的情况下的高可用性和一分钟内的端到端的延迟。
林一
2019-05-15
6310
Apache Pulsar:灵活的可扩展的批流一体的系统架构
导读:对于Apache Pulsar,一个经常被问的问题是:Apache Pulsar与现有的消息系统有什么根本的不同。我们之前在文章中介绍了Aache Pulsar很多功能上的具体差异,例如统一的消费模型,多租户,高可用性等等,但最本质的最重要的区别还是Apache Pulsar的系统架构。
林一
2019-03-14
2.5K0
译《The Part-Time Parliament》——终于读懂了Paxos协议!
最近的考古发现表明,在Paxos小岛上,尽管兼职议会成员都有逍遥癖,但议会模式仍然起作用。他们依旧保持了一致的会议记录,尽管他们频繁的进出会议室并且他们的信使还很健忘。Paxon议会协议提供了一种新方法去实现设计分布式系统的状态机。
林一
2019-03-14
9400
尝试用PPT来总结朴素Paxos
在翻译完《The Part-Time Parliament》后虽然自己理解了,但是总的觉得文章很长,少了一份总结,所以尝试采用PPT的方式来整理自己的理解。
林一
2019-03-14
4720
Apache Pulsar 2.3 重磅发布,新特性独家解读
“Apache Pulsar 2.3.0 重磅发布!最新版本包含支持在Kubernetes中执行Pulsar Functions,基于JSON Web Tokens的认证方式,C++和Python客户端对Schema的支持,Python Functions对于状态函数的支持,以及一系列新增的IO Connectors(Debezium,Canal,MongoDB, Elastic Search,以及HBase)”
林一
2019-03-14
1.8K0
Pulsar:Schema Registry介绍
“ Schema Registry提供了元数据的服务,它可以存储多个版本的Schema,支持不同的兼容性配置以及根据兼容性的要求进行Schema的演进。本文介绍Apache Pulsar的Schema Registry的原理和实现。”
林一
2019-03-14
1.6K0
了解一致性模型
对数据进行持久化可以避免宕机带来的数据丢失问题,但是不能解决单机永久性故障的问题。存储系统作为基础设施,在单机上持久化是远远不够的,我们需要将数据复制到多台机器上以提升系统的可用性和可靠性。
林一
2018-12-11
9210
Pulsar-Consumer
“Pulsar is a distributed pub-sub messaging platform with a very flexible messaging model and an intuitive client API.”
林一
2018-10-19
1.8K0
Pulsar-Producer实现分析
“Pulsar is a distributed pub-sub messaging platform with a very flexible messaging model and an intuitive client API.”
林一
2018-10-10
1.1K0
RocketMQ事务消息实现分析
这周RocketMQ发布了4.3.0版本,New Feature中最受关注的一点就是支持了事务消息:
林一
2018-08-20
1.6K0
Apache Pulsar简介
"Pulsar is a distributed pub-sub messaging platform with a very flexible messaging model and an intuitive client API."
林一
2018-07-24
2K0
初探Kafka Streams
Kafka在0.10版本推出了Stream API,提供了对存储在Kafka内的数据进行流式处理和分析的能力。
林一
2018-07-24
1.1K0
消息中间件架构讨论
接上一篇的《业务方对消息中间件的需求》,在可用性和可靠性的基础上,讨论各种架构的优缺点,最后给出自己关于消息中间件的架构思考。
林一
2018-07-24
6190
业务方对消息中间件的需求
在大型互联网中,主要采用消息中间件来进行业务的解耦和操作的异步化,这也是消息中间件最基础的特点,也是业务系统对消息中间件的最基本需求。
林一
2018-07-24
6060
消息中间件中的一些概念
主题,从逻辑上讲一个Topic就是一个Queue,即一个队列;从存储上讲,一个Topic存储了一类相同的消息,是一类消息的集合。比如一个名称为trade.order.queue的Topic里面存的都是订单相关的消息。
林一
2018-07-24
3570
点击加载更多
社区活动
Python精品学习库
代码在线跑,知识轻松学
热点技术征文第五期
新风口Sora来袭,普通人该如何把握机会?
博客搬家 | 分享价值百万资源包
自行/邀约他人一键搬运博客,速成社区影响力并领取好礼
技术创作特训营·精选知识专栏
往期视频·干货材料·成员作品·最新动态
领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档