MessageQueue-腾讯云开发者社区

开发者社区

文档建议反馈控制台

腾讯云架构师技术同盟

文章/答案/技术大牛

发布

MessageQueue

专栏成员

41

文章

55974

阅读量

28

订阅数

Kafka消息（存储）格式及索引组织方式

node.js 批量计算 kafka 存储 html

“ 要深入学习Kafka，理解Kafka的存储机制是非常重要的。本文介绍Kafka存储消息的格式以及数据文件和索引组织方式，以便更好的理解Kafka是如何工作的。”

2021-11-02

2.4K0

后端工程师都应该知道的最佳实践

运维单元测试腾讯云测试服务自动化

《On Designing and Deploying Internet-Scale Services》是一篇非常经典的论文，例举了设计和部署互联网规模的服务要注意的方方面面，其核心内容是自动化、轻依赖、可监控且信息准确、可应急。

2020-08-25

6300

译《On Designing and Deploying Internet-Scale Services》

运维单元测试自动化腾讯云测试服务

“系统-管理员”的比例通常粗略的作为了解大规模服务中管理成本的指标。在低自动化水平的服务中这个比例可能低到2:1，而在行业领先的高度自动化的服务中，这个比例可以达到2500:1。在微软的众多服务之中，Autopilot经常被认为是Windows Live Search团队成功提高“系统-管理员”比的原因。自动化管理非常重要，但更重要的还是服务本身。服务是否能高效的进行自动化？是否是运维友好的（operations-friendly）？运维友好的服务几乎不需要人工的干预，除了极个别的故障外其他情况都可以被自动的检测并恢复。本文总结MSN和Windows Live在支撑一些超大型服务过程中多年积累下来的最佳实践。

2020-08-25

9320

Event-Driven Architecture思考

linux http 编程算法

既然事件代表着在过去某一时刻发生的某个事情，那么那必然具备一些基本的要素，就像现实生活中发生某件事情也具备时间、地点等几个要素。事件的基本要素包含time、source、key、header、metadata和payload。

2020-07-07

1.3K0

Kafka分区分配策略分析——重点：StickyAssignor

kafka 编程算法

“ 为什么Kafka在RangeAssigor、RoundRobinAssignor的基础上，又新增了PartitionAssignor，它解决了什么问题？”

2019-12-13

2.6K0

Ubiq:A Scalable and Fault-tolerant Log Processing Infrastructure

html 数据处理日志数据编程算法数据库

互联网应用通常会产生大量的时间日志需要进行分析和处理。本文介绍Ubiq的架构，它是一个分布式系统，用于处理不断增长的日志文件，具有可扩展性、高可用、低延迟的特性。Ubiq框架容忍基础设施退化和数据中心级别的中断问题，无需人工干预。并且它支持exactly-once语义以将日志作为事件的集合进行处理。Ubiq已经应用于Google的广告系统多年，生产环境证明了机器资源的线性可扩展性，以及基础设置故障的情况下的高可用性和一分钟内的端到端的延迟。

2019-05-15

7040

Apache Pulsar：灵活的可扩展的批流一体的系统架构

对象存储存储 apache 数据分析数据处理

导读：对于Apache Pulsar，一个经常被问的问题是：Apache Pulsar与现有的消息系统有什么根本的不同。我们之前在文章中介绍了Aache Pulsar很多功能上的具体差异，例如统一的消费模型，多租户，高可用性等等，但最本质的最重要的区别还是Apache Pulsar的系统架构。

2019-03-14

2.7K0

译《The Part-Time Parliament》——终于读懂了Paxos协议！

最近的考古发现表明，在Paxos小岛上，尽管兼职议会成员都有逍遥癖，但议会模式仍然起作用。他们依旧保持了一致的会议记录，尽管他们频繁的进出会议室并且他们的信使还很健忘。Paxon议会协议提供了一种新方法去实现设计分布式系统的状态机。

2019-03-14

1.1K0

尝试用PPT来总结朴素Paxos

在翻译完《The Part-Time Parliament》后虽然自己理解了，但是总的觉得文章很长，少了一份总结，所以尝试采用PPT的方式来整理自己的理解。

2019-03-14

5020

Apache Pulsar 2.3 重磅发布，新特性独家解读

“Apache Pulsar 2.3.0 重磅发布！最新版本包含支持在Kubernetes中执行Pulsar Functions，基于JSON Web Tokens的认证方式，C++和Python客户端对Schema的支持，Python Functions对于状态函数的支持，以及一系列新增的IO Connectors（Debezium，Canal，MongoDB， Elastic Search，以及HBase）”

2019-03-14

1.9K0

Pulsar：Schema Registry介绍

存储 kafka 编程算法

“ Schema Registry提供了元数据的服务，它可以存储多个版本的Schema，支持不同的兼容性配置以及根据兼容性的要求进行Schema的演进。本文介绍Apache Pulsar的Schema Registry的原理和实现。”

2019-03-14

1.7K0

了解一致性模型

分布式存储其他 lamp

对数据进行持久化可以避免宕机带来的数据丢失问题，但是不能解决单机永久性故障的问题。存储系统作为基础设施，在单机上持久化是远远不够的，我们需要将数据复制到多台机器上以提升系统的可用性和可靠性。

2018-12-11

1K0

Pulsar-Consumer

“Pulsar is a distributed pub-sub messaging platform with a very flexible messaging model and an intuitive client API.”

2018-10-19

1.9K0

Pulsar-Producer实现分析

“Pulsar is a distributed pub-sub messaging platform with a very flexible messaging model and an intuitive client API.”

2018-10-10

1.2K0

RocketMQ事务消息实现分析

这周RocketMQ发布了4.3.0版本，New Feature中最受关注的一点就是支持了事务消息：

2018-08-20

1.6K0

Apache Pulsar简介

"Pulsar is a distributed pub-sub messaging platform with a very flexible messaging model and an intuitive client API."

2018-07-24

2.1K0

初探Kafka Streams

Kafka在0.10版本推出了Stream API，提供了对存储在Kafka内的数据进行流式处理和分析的能力。

2018-07-24

1.2K0

消息中间件架构讨论

系统架构 zookeeper 存储

接上一篇的《业务方对消息中间件的需求》，在可用性和可靠性的基础上，讨论各种架构的优缺点，最后给出自己关于消息中间件的架构思考。

2018-07-24

6700

业务方对消息中间件的需求

在大型互联网中，主要采用消息中间件来进行业务的解耦和操作的异步化，这也是消息中间件最基础的特点，也是业务系统对消息中间件的最基本需求。

2018-07-24

6760

消息中间件中的一些概念

主题，从逻辑上讲一个Topic就是一个Queue，即一个队列；从存储上讲，一个Topic存储了一类相同的消息，是一类消息的集合。比如一个名称为trade.order.queue的Topic里面存的都是订单相关的消息。

2018-07-24

4080

点击加载更多

社区活动

Python精品学习库

代码在线跑，知识轻松学

博客搬家 | 分享价值百万资源包

自行/邀约他人一键搬运博客，速成社区影响力并领取好礼

技术创作特训营·精选知识专栏

往期视频·干货材料·成员作品最新动态