Go入门 - 工程实践｜青训营笔记

前言

上一节课程讲解了Go语言进阶的一些知识（并发、依赖管理、测试），以及带大家初探工程实践的流程，下面是笔记，以及课后实践的完成内容。

项目地址：https://github.com/Moonlight-Zhao/go-project-example/tree/V0

git clone之后在本地切换分支到v0，将对应当堂课程的代码（后续也可以 git checkout-b新分支名称，开辟新分支去完成自己的课后实践）

一、Go进阶

Go的并发（协程）

详细代码参见 go-project-exmple/concurrence/goroutine.go文件，注意主Go程sleep一秒的原因是五个子协程并发运行，脱离主Go程执行时间序列，当主Go程执行结束，5个打印协程可能并没有完成，从而被迫终止，因此主Go程这里主动等待 （打印结果是随机顺序出现的0～4序列）

协程的通信（channel）

Go语言推荐使用channel实现Goroutine之间的通信（go协程之间可以访问同一个channel），上图构建了一个生产者-消费者模型。其中src是无缓冲channel，容量为1个int；dest是容量为3个int的有缓冲channel。对于channel来说，如果缓冲满了，则阻塞放入动作；如果缓冲空了，则阻塞取出动作。

这里的实现细节是后续的消费操作需要从dest中取出资源做处理，可能包含复杂业务操作，比较费时，而提供数据的生产者src则效率较高，因此将dest设置为缓冲空间为3的channel，使来不及消费的数据先存下来，使生产者不会耗费大量的时间在等待dest有剩余空间而阻塞。

WaitGroup

详细代码参见 go-project-exmple/concurrence/sync.go文件，例子给出两种实现并发安全计数的方式，一种是通过互斥锁锁住临界区（某一段被并发访问的代码，也就是锁住共享内存），一种是通过WaitGroup实例，Add申请计数器，Done对计数器-1，直到计数器为0，则Wait操作才会停止阻塞，放行。

二、依赖管理

这部分简单说说，了解其演化过程和常用命令即可。

go path

在linux命令行工具中输入go env可以看到名为$GOPATH的环境变量的地址，在其基础上有以下三个路径，这种依赖的管理的问题就是所有项目的依赖包都在这个src里面，那么对于不同项目想要依赖一个包的不同版本就无法实现。

不同项目依赖同一个src下包，无法实现不同项目依赖不同包版本

go vendor

核心是在项目目录下新增vendor文件夹，所有本项目的依赖包的副本都放在这个vendor中，如果vendor中没有，则再去 go path的src目录下寻址依赖。

go module

go1.11自动开启，作为最新的依赖管理方式，它实现了不同项目可以依赖同一个依赖包的不同版本。其核心是三个部分：

• 配置文件，描述依赖 — go.mod
• 中心仓库管理依赖库 — Proxy（可以理解为从哪里去下载你需要的依赖包，可以配置不同的地址）
• 本地工具 — go get/mod（操作go module的一些命令）

这里给出的就是示例代码的go.mod文件，其require部分表明了当前项目依赖的包的名称和版本（indirect表示间接依赖），而第三方依赖包统一管理在 $GOPATH/go/pkg/mod文件夹中，因为包含版本号，因此不会发生冲突。

三、测试

单元测试

• 运行一下 go-project-exmple/concurrence/goroutine.go的单元测试（-v表示打印详细信息），但是这个单元测试文件作者只是为了运行一下这个函数，并没有侧重于测试。

• 单元测试覆盖率，使用 --cover参数，这里因为作者借助单元测试去实现运行函数的功能，而非测试的功能，所以就相当于跑了一遍函数，覆盖率自然是100% （就是你的代码逻辑都被测试到了）

• 单元测试编写规范：

1. 一般覆盖率：50%～60%，较高80%+
2. 测试分支相互独立、全面覆盖
3. 测试单元粒度足够小、函数指责单一

• 单元测试 - Mock（模拟数据）

Mock工具地址：https://github.com/bouk/monkey

如果有一些测试依赖外部数据，则可以通过mock提供自己的测试数据

这里的Patch方法就是在本次单元测试中，用自定义的方法替换ReadFirstLine这个方法，然后Unpatch就是还原操作，你可以command+鼠标单击进入源码查看详细注释，它还有很多方法，不仅可以替换函数，也可以替换值等等。

基准测试

基准测试的目的是测试运行的性能，代码样例 go-project-exmple/benchmark中给出了串行和并行两种情况下的基准测试（基于当前主机硬件）

下面进入该项目目录执行一下基准测试命令：

三个结果对应三个函数，如第一个BenchmarkSelect()函数，其一秒钟执行次数84216435次，系统判断每执行一次耗时13.50纳秒，而第二个函数和第三个函数的区别在于Rand函数会获得全局锁，因此比FastRand获取随机值慢很多（推荐使用后者）

四、项目实战

需求设计

• E-R图

• 分层结构

编码与测试

详见项目文件

课后作业

需求

• 发布帖子
• 本地id生成需要保证不重复、唯一性
• 新的帖子Append到文件末尾，更新索引，注意Map的并发安全性问题

设计

首先v0分支是基于内存的存储，因此本次课后实践依旧在此基础上进行，以v0分支为基础 git checkout-b homework出一个新的分支进行课后实践的开发工作，需要做的工作如下：

1. 系统开始运行查询某个topic下的帖子列表：这个是已经提供的功能，需要注意的是topic和post数据是在系统启动的时候初始化的，查询某个topic的帖子就是直接从map中取出对应topic_id的post列表

2. 为某个topic发布帖子：

首先需要提供一个外部的接口，用于发布帖子，并且配套完成controller、service、repository层的编写

下面给出repository的核心代码，需要注意的是考虑到并发发布帖子的情况，因此需要对文件的追加插入和对map的追加插入加上互斥锁

3. 不重启系统的情况下再次查询该topic的帖子列表需要更新：

因为 postIndexMap[topic_id]对应着这个主题的所有帖子，但是数据是系统启动时去文件中读取的，在我们为文件追加一条post之后，并不会自动更新这个list，因此需要我们手动去追加帖子数据到 postIndexMap[topic_id]末尾，才能做到内存数据与文件数据的一致性保证，从而不重启系统，重新获取列表就能查询到最新的帖子列表

这里提到的文件追加和map追加都涉及到并发安全性的问题，这里使用了 互斥锁，核心代码就是上面这张图

关于自增id这里因为可以保证临界区的互斥访问，因此采用计数累加的形式实现帖子id唯一性

结束语

关于课后的实践，这里用互斥锁确保了并发安全性（也可以通过channel串行化的方式实现），并且实现了内存和文件的数据一致性，如有问题欢迎讨论～