前往小程序,Get更优阅读体验!
立即前往
首页
学习
活动
专区
工具
TVP
发布
社区首页 >专栏 >开源代码学习技巧-Nats源码原理分析

开源代码学习技巧-Nats源码原理分析

作者头像
月牙寂道长
发布2019-07-02 14:14:25
2.4K0
发布2019-07-02 14:14:25
举报
文章被收录于专栏:月牙寂月牙寂

版权声明:本文为作者原创,如需转载请通知本人,并标明出处和作者。擅自转载的,保留追究其侵权的权利。golang群:570992072。qq 29185807 个人公众号:月牙寂道长 公众号微信号yueyajidaozhang https://cloud.tencent.com/developer/article/1454560

本文微信公众号文章链接:https://mp.weixin.qq.com/s/LsGEr_RJYfAbGBBlRxJH-Q

NATS是由CloudFoundry的架构师Derek开发的一个开源的、轻量级、高性能的,支持发布、订阅机制的分布式消息队列系统。

NATS的性能非常好,下面是官网的性能对比图:

从图中可以看出Nats的性能远超其他。

对于一个出名的开源组件,可以在网上找到很多对nats的简介,比如

高性能消息中间件——NATS http://dockone.io/article/8312

还有很多类似的文章,这些简介的文章,好处就是,能够快速的了解nats的基本功能。

那接下来看源码

github:https://github.com/nats-io/gnatsd

用工具把代码下载下来

下载了当前的v1.4.1版本

代码量太庞大,若要完整看的话,工作量巨大。

那么有没有一种快速了解其原理的方法呢?

有的,研究一下代码上传历史

从最开始的上传历史开始查看,最终找到了一个最初的原始server

看下代码量

代码量极少,但整个功能流程是一个最小集的功能版本。

此版本,里面就有着nats的精髓原理。只需要分析这个版本,就可以知道其背后的主要原理。

下面就是具体源码的分析。

github.com/nats-io/gnatsd/gnatsd.go

main函数入口,最重要的入口就是s.AcceptLoop()

github.com/nats-io/gnatsd/server/server.go

info为一些基本的参数,不做解释

Server,最重要的结构体。其中info为整个server的参数

sl,sublist,是存储管理subscriptions的模块。稍后介绍。

server的初始化,代码简单

这里才是真正的程序入口。

建立了一个tcp的监听,然后在for循环中进行accept,来一个conn,则处理一个,处理入口s.createClient(conn)

77-82,一些简单的初始化设置

90:c.readLoop() 是链接的具体处理入口

github.com/nats-io/gnatsd/server/client.go

结构体很简单,不做解释

继续跟踪流程,在for循环中,从tcp链接中不停的读取数据,解析处理的地方为c.parse

github.com/nats-io/gnatsd/server/parser.go

此文件为协议解析处理模块

此版本里面,包含的协议为

OP_CONNECT

代码语言:javascript
复制
OP_PUB
代码语言:javascript
复制
OP_SUB
代码语言:javascript
复制
OP_UNSUB

为何说此版本为最简洁的版本。其中包含了最主要的功能,订阅,发布。

看到parse函数,让我想起的是Nginx的http协议解析函数。感兴趣的自己可以去找下。

一个字节一个字节的读取,根据不同字节进入不同的处理流程

pub 流程

pub中的处理流程为c.processPub。以及c.processMsg

剩余的分别为

代码语言:javascript
复制
c.processSub
代码语言:javascript
复制
c.processUnsub
代码语言:javascript
复制
c.processPing

c.processConnect

下面进入pub流程

解析pub的内容

此函数为处理即将发布的消息。

261:查找匹配订阅的用户

266-270:构建msg 头部

278:继续构建

279:sub.deliverMsg(mh, msg) 发送消息

红框中,就是发送写过程。

上面流程是pub流程。

下面看看sub流程

153-167:解析

176:将此subject的订阅者,放入到sublist中管理。

在pub流程中,则是从其中查找订阅者,然后将内容发送到订阅者的。

github.com/nats-io/gnatsd/sublist/sublist.go

A Sublist stores and efficiently retrieves subscriptions.

It uses atree structure and an efficient RR cache

to achieve quick lookups.

这部分不做解释。

那么nats的发布,订阅的基本原理,从上面的简单介绍中,应该已经很明了。

对于对发布,订阅功能需求不是那么多的,完全可以通过此版本进行一些简单的二次开发,来得到自身的消息中间件。

在分析完之后,也大致看了下v1.0.0版本,其中增加了很多功能,但主要流程还是如本文所分析的。

对于大型的开源代码,若是一下看最新版本,可能会由于功能太多,逻辑太复杂,不容易入手。那么从最简单的版本入手,分析其原理,能够节约很多时间。

龚浩华

月牙寂道长

qq:29185807

2019年04月08日

本文参与 腾讯云自媒体同步曝光计划,分享自作者个人站点/博客。
原始发表:2019年04月09日,如有侵权请联系 cloudcommunity@tencent.com 删除

本文分享自 作者个人站点/博客 前往查看

如有侵权,请联系 cloudcommunity@tencent.com 删除。

本文参与 腾讯云自媒体同步曝光计划  ,欢迎热爱写作的你一起参与!

评论
登录后参与评论
0 条评论
热度
最新
推荐阅读
相关产品与服务
消息队列 TDMQ
消息队列 TDMQ (Tencent Distributed Message Queue)是腾讯基于 Apache Pulsar 自研的一个云原生消息中间件系列,其中包含兼容Pulsar、RabbitMQ、RocketMQ 等协议的消息队列子产品,得益于其底层计算与存储分离的架构,TDMQ 具备良好的弹性伸缩以及故障恢复能力。
领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档