RocketMQ源码之路（一）搭建RocketMQ源码环境
RocketMQ源码之路（一）搭建RocketMQ源码环境
Message Queue），大家都会想到常见的那几种，比如：Kafka、RabbitMQ、RocketMQ、ActiveMQ、ZeroMQ、MetaMQ等，当然还有很多企业内部自研了适用于公司业务的MQ系统。作为分布式系统的重要组件，MQ常用于系统间的解耦，以及削峰填谷、异步处理等场景。我们学习MQ，不仅要学会如何去使用，更要深入学习MQ的设计思想，以及MQ的实现原理。上述常见的MQ组件中，笔者推荐大家对阿里巴巴的RocketMQ进行深入学习，它是Java语言实现，并且经历了“双十一”巨大流量的考验，是一个值得去学习的一个组件。本系列文章采用RocketMQ 4.7.1的版本进行深入的源码研究，感兴趣的朋友可以去RocketMQ的github仓库中将其fork到自己的仓库中进行学习。笔者将RocketMQ 4.7.1的版本的源码下载下来，导入到了自己的仓库中，后续的源码分析注释都将基于该仓库代码，仓库地址：https://github.com/itlemon/itlemon-rocketmq。
一、RocketMQ源码结构
本文不再赘述如何去fork代码，如何去git clone代码，笔者认为多数读者都会这些基本操作，如果正在阅读的您尚未掌握这些技巧，可以去查看一下其他博主的文章，正确把RocketMQ源码拉取到本地后再来阅读该文章。
Apache RocketMQ是一个基于Java语言开发的消息中间件，构建工具采用的是常用的maven，基本的代码结构如下图1-1所示：
RocketMQ的所有模块都在上图进行了展示，笔者隐藏了部分文本文件，可能与你git clone下来的代码结构有细微区别。接下来，用下表对上述模块进行功能解释。
模块名称 | 功能介绍 |
|---|---|
acl | 访问控制列表（Access Control Lists，ACL），RocketMQ权限管理模块 |
broker | 接收客户端请求，处理消息分发，存储消息数据等 |
client | MQ客户端，包括Producer和Consumer |
common | 用于存储RocketMQ项目的通用代码和Model等 |
dev | merge_rocketmq_pr.py脚本，用于处理RP |
distribution | Client、Namesrv、Broker等启动脚本及打包脚本 |
docs | 文档 |
example | RocketMQ示例代码，源码分析可以从这里入手 |
filter | 过滤器模块，包含SQL过滤 |
logappender | 日志appender模块 |
logging | 日志实现模块 |
namesrv | Namesrv实现模块 |
openmessaging | openmessaging模块 |
remoting | 基于Netty实现的网络通信模块，RocketMQ各组件之间的通信都依赖它 |
srvutil | 工具包模块 |
store | 数据存储模块，例如Broker数据 |
style | 代码风格XML文件 |
test | RocketMQ案例测试模块 |
tools | RocketMQ对外命令行接口、管理类接口等 |
二、RocketMQ源码编译
将RocketMQ源码导入到IntelliJ IDEA中，如下图2-1所示：
然后进入到RocketMQ根目录，在控制台使用命令mvn -Dmaven.test.skip=true clean package进行编译，当然也可以使用IDEA可视化插件进行编译，如下图2-2所示：
编译成功后如下图2-3所示：
如果编译过程中出现插件找不到或者部分依赖找不到，可以尝试将maven的远程仓库替换成为阿里云maven仓库。
三、启动Namesrv和Broker
编译完成之后，可以尝试启动Namesrv和Broker，为了阅读源码方便，笔者不建议去下载RocketMQ官方编译打包好的Namesrv和Broker进行测试，而是直接在IDEA中启动Namesrv和Broker，方便后续的代码分析，接下来，我将带着大家一步一步去启动Namesrv和Broker。
3.1 启动Namesrv
进入到namesrv源代码的org.apache.rocketmq.namesrv包中，找到启动类NamesrvStartup，然后拷贝它的全路径，进入到启动窗口进行配置（建议先启动一下启动类，然后该窗口的部分参数都会自动填好），如下3-1所示：
这里主要需要配置好一个环境变量ROCKETMQ_HOME，可以在计算机的任何位置建一个目录，设置为ROCKETMQ_HOME，当然笔者建议就在本项目的根目录建一个目录，方便查看日志等。目录建立好之后，在rocketmq_home目录下建立三个目录，分别是conf、logs、store，分别用于存储配置文件，日志以及数据。然后将distribution模块中conf目录下的broker.conf、logback_broker.xml、logback_namesrv.xml拷贝到rocketmq_home下的conf目录中，并修改部分配置。首先修改broker.conf，具体内容如下：
brokerClusterName = DefaultCluster
brokerName = broker-a
brokerId = 0
# 添加此项，broker连接到本地的namesrv上
namesrvAddr = 127.0.0.1:9876
deleteWhen = 04
fileReservedTime = 48
brokerRole = ASYNC_MASTER
flushDiskType = ASYNC_FLUSH
###########################################添加以下配置，路径请修改为自己的正确路径
# 配置存储位置
storePathRootDir = /Users/itlemon/IdeaProjects/itlemon-rocketmq/rocketmq_home/store
# commitlog 存储路径
storePathCommitLog = /Users/itlemon/IdeaProjects/itlemon-rocketmq/rocketmq_home/store/commitlog
# 消费队列存储路径
storePathConsumeQueue = /Users/itlemon/IdeaProjects/itlemon-rocketmq/rocketmq_home/store/consumequeue
# 消息索引存储路径
storePathIndex = /Users/itlemon/IdeaProjects/itlemon-rocketmq/rocketmq_home/store/index
# checkpoint文件存储路径
storeCheckPoint = /Users/itlemon/IdeaProjects/itlemon-rocketmq/rocketmq_home/store/checkpoint
# abort文件存储路径
abortFile = /Users/itlemon/IdeaProjects/itlemon-rocketmq/rocketmq_home/store/abort为了将日志也存储到指定的rocketmq_home下的logs目录，还需要修改一下两个logback.xml文件，在两个日志中各添加一项配置，在<configuration>标签下的第一行添加如下配置，用来覆盖系统变量值。
<!-- 自定义配置，目录需要改成自己的rocketmq_home -->
<property name="user.home" value="/Users/itlemon/IdeaProjects/itlemon-rocketmq/rocketmq_home"/>配置了上述内容，就可以正常启动Namesev模块了，其实上述配置也包含了Broker的相关配置，为了方便，就放在一起进行表述了。注意：Namesrv的默认启动端口是9876。
3.2 启动Broker
配置Broker的启动类，添加一个启动参数指定配置文件启动，参数是：
-c /Users/itlemon/IdeaProjects/itlemon-rocketmq/rocketmq_home/conf/broker.conf并指定环境变量ROCKETMQ_HOME，具体如下图3-2所示：
配置完Broker后就可以正常启动了，后续的测试注意要先启动Namesrv，后启动Broker，顺序不要乱。
四、测试消息生产者和消费者
启动好Namesrv和Broker模块以后，进入到example模块中，找到org.apache.rocketmq.example.quickstart包，里面已经有了两个类，分别是Producer和Consumer，在两个类中分别设置一下Namesrv地址，如下所示：
// Producer
producer.setNamesrvAddr("127.0.0.1:9876");
// Consumer
consumer.setNamesrvAddr("127.0.0.1:9876");然后分别启动Consumer和Producer就可以正常进行消息消费了。
五、总结
本文言简意赅，和我以前的文章风格大有不同，以前是面面俱到，全文翔实。原因是这篇文章是帮助大家尽快搭建起源码环境，对于一些基础知识，比如RocketMQ的发展史，什么是Namesrv、什么是Broker，这些基础知识大家可以去阅读RocketMQ官网文档或者其他博客可以了解到，所以这里就没有过多介绍。接下来，欢迎大家订阅我的RocketMQ源码之路系列文章，让我们一起去遨游RocketMQ源码世界吧！