专栏首页后端golang 系列:waitgroup 解析
原创

golang 系列:waitgroup 解析

摘要

Golang 提供了简洁的 go 关键字来让开发者更容易的进行并发编程,同时也提供了 WaitGroup 对象来辅助并发控制。今天我们就来分析下 WaitGroup 的使用方法,顺便瞧一瞧它的底层源码。

WaitGroup 的使用场景和方法

当我们有很多任务要同时进行时,如果并不需要关心各个任务的执行进度,那直接使用 go 关键字即可。

如果我们需要关心所有任务完成后才能往下运行时,则需要 WaitGroup 来阻塞等待这些并发任务了。

WaitGroup 如同它的字面意思,就是等待一组 goroutine 运行完成,主要有三个方法组成:

  • Add(delta int) :添加任务数
  • Wait():阻塞等待所有任务的完成
  • Done():完成任务

下面是它们的具体用法,具体的作用都在注释上:

package main

import (
    "fmt"
    "sync"
    "time"
)

func worker(wg *sync.WaitGroup) {
	doSomething()
    wg.Done() // 2.1、完成任务
}

func main() {
    var wg sync.WaitGroup
    wg.Add(5) // 1、添加 5 个任务
    for i := 1; i <= 5; i++ {
        go worker(&wg) // 2、每个任务并发执行
    }
    wg.Wait() // 3、阻塞等待所有任务完成
}

WaitGroup 源码分析

上面 WaitGroup 的使用很简单,接下来我们到 src/sync/waitgroup.go 里分析下它的源码。首先,是 WaitGroup 的结构体:

type WaitGroup struct {
	noCopy noCopy
	state1 [3]uint32
}

noCopy

其中,noCopy 表示 WaitGroup 是不可复制的。那么什么叫不可复制呢?

举个例子,当我们对函数参数定义了这个不可复制的类型时,开发者只能通过指针来传递函数参数。而规定使用指针传递又有什么好处呢?

好处在于如果有多个函数都定义了这个不可复制的参数时,那么这多个函数参数就可以共用同一个指针变量,来同步执行结果。而 WaitGroup 就是需要这样的约束规定。

state1 字段

接下来我们来看看 WaitGroup 的 state1 字段。state1 是一个包含了 counter 总数、 waiter 等待数、sema 信号量的 uint32 数组。

每当有 goroutine 调用了 Wait() 方法阻塞等待时,就会对 waiter 数量 + 1,然后等待信号量的唤起通知。

当我们调用 Add() 方法时,就会对 state1 的 counter 数量 + 1。

当调用 Done() 方法时就会对 counter 数量 -1。

直到 counter == 0 时就可以通过信号量唤起对应 waiter 数量的 goroutine 了,也就是唤起刚刚阻塞等待的 goroutine 们。

关于信号量的解释,可以参考下 golang 重要知识:mutex 里的相关介绍:

PV 原语解释:undefined通过操作信号量 S 来处理进程间的同步与互斥的问题。undefinedS>0:表示有 S 个资源可用;S=0 表示无资源可用;S<0 绝对值表示等待队列或链表中的进程个数。信号量 S 的初值应大于等于 0。undefinedP 原语:表示申请一个资源,对 S 原子性的减 1,若 减 1 后仍 S>=0,则该进程继续执行;若 减 1 后 S<0,表示已无资源可用,需要将自己阻塞起来,放到等待队列上。undefinedV 原语:表示释放一个资源,对 S 原子性的加 1;若 加 1 后 S>0,则该进程继续执行;若 加 1 后 S<=0,表示等待队列上有等待进程,需要将第一个等待的进程唤醒。

此处操作系统可以理解为 Go 的运行时 runtime进程可以理解为协程

源码解释

最后,我们来深入 WaitGroup 的三个方法,进行源码分析。大家感兴趣的可以继续往下看,主要是对源码的分析注释。

Add(delta int) 方法

func (wg *WaitGroup) Add(delta int) {
	statep, semap := wg.state()
	if race.Enabled { // 此处是 go 的竞争检测,可以不用关心
		_ = *statep
		if delta < 0 {
			race.ReleaseMerge(unsafe.Pointer(wg))
		}
		race.Disable()
		defer race.Enable()
	}
	state := atomic.AddUint64(statep, uint64(delta)<<32)
	v := int32(state >> 32) // 获取 counter
	w := uint32(state) // 获取 waiter
	if race.Enabled && delta > 0 && v == int32(delta) { // go 的竞争检测,可以不用关心
		race.Read(unsafe.Pointer(semap))
	}
	if v < 0 {
		panic("sync: negative WaitGroup counter")
	}
	if w != 0 && delta > 0 && v == int32(delta) {
		panic("sync: WaitGroup misuse: Add called concurrently with Wait")
	}
	if v > 0 || w == 0 { // counter > 0:还有任务在执行;waiter == 0 表示没有在阻塞等待的 goroutine
		return
	}
	if *statep != state {
		panic("sync: WaitGroup misuse: Add called concurrently with Wait")
	}
	// 执行到此处相当于 countr = 0,即所有的任务都已执行完,需要唤起等待的 goroutine了
	*statep = 0
	for ; w != 0; w-- {
		runtime_Semrelease(semap, false, 0)
	}
}

Done 方法

func (wg *WaitGroup) Done() {
	wg.Add(-1) // 直接调用 Add 方法 对 counter -1
}

Wait 方法

func (wg *WaitGroup) Wait() {
	statep, semap := wg.state()
	if race.Enabled { // go 的竞争检测,可以不用关心
		_ = *statep
		race.Disable()
	}
	for {
		state := atomic.LoadUint64(statep)
		v := int32(state >> 32)
		w := uint32(state)
		if v == 0 {
			// counter 为 0, 不需要再等待了。
			if race.Enabled {
				race.Enable()
				race.Acquire(unsafe.Pointer(wg))
			}
			return
		}
		// waiters 数目 +1.
		if atomic.CompareAndSwapUint64(statep, state, state+1) {
			if race.Enabled && w == 0 {
				race.Write(unsafe.Pointer(semap)) // go 的竞争检测,可以不用关心
			}
			runtime_Semacquire(semap) // 阻塞等待唤起
			if *statep != 0 {
				panic("sync: WaitGroup is reused before previous Wait has returned")
			}
			if race.Enabled {
				race.Enable()
				race.Acquire(unsafe.Pointer(wg))
			}
			return
		}
	}
}

从这几个方法的源码,我们可以看出,Go 并没有使用 mutex 等锁去做字段值修改,而是采用了 atomic 原子操作来进行修改的。这是在底层硬件上支持的,所以性能更好。

总结

WaitGroup 比较简单,就是一些计数值的维护和 goroutine 的阻塞唤起。它的运用也简单,Add、Done、Wait 这三个方法经常是同时出现的。相信大伙深入到源码也能瞧出个大概,这里就献丑了 ㋛。


感兴趣的朋友可以搜一搜公众号「 阅新技术 」,关注更多的推送文章。

可以的话,就顺便点个赞、留个言、分享下,感谢各位支持!

阅新技术,阅读更多的新知识。

原创声明,本文系作者授权云+社区发表,未经许可,不得转载。

如有侵权,请联系 yunjia_community@tencent.com 删除。

关注作者,阅读全部精彩内容

我来说两句

0 条评论
登录 后参与评论

相关文章

  • 【crossbeam系列】5 crossbeam-util和crossbeam-queue:一些实用的小东西

    这一次我们来介绍一下crossbeam-util和crossbeam-queue,中的一些东西和用法。

    MikeLoveRust
  • Golang 常用并发编程技巧

    Golang 是最早将 CSP 原则纳入其核心的语言之一,并将这种并发编程风格引入到大众中。CSP 指的是 Communicating Sequential P...

    CS实验室
  • Goroutine+Channel+WaitGroup使用

    golang语言中最有特色之一的东东就是这个goroutine了,很多时候问起别人为什么golang的好用,golang的网络性能可以那么好,一般都会多多少少想...

    黑光技术
  • Goroutine+Channel+WaitGroup使用

    golang语言中最有特色之一的东东就是这个goroutine了,很多时候问起别人为什么golang的好用,golang的网络性能可以那么好,一般都会多多少少想...

    黑光技术
  • Go语言 | 并发设计中的同步锁与waitgroup用法

    今天是golang专题的第16篇文章,我们一起来聊聊golang当中的并发相关的一些使用。

    TechFlow-承志
  • Golang并发的次优选择:sync包

    我们都知道Golang并发优选channel,但channel不是万能的,Golang为我们提供了另一种选择:sync。通过这篇文章,你会了解sync包最基础、...

    大彬
  • Go中由WaitGroup引发对内存对齐思考

    WaitGroup使用大家都会,但是其中是怎么实现的我们也需要知道,这样才能在项目中尽可能的避免由于不正确的使用引发的panic。并且本文也将写一下内存对齐方面...

    luozhiyun
  • Golang并发:再也不愁选channel还是选锁

    周末又到了,为大家准备了一份实用干货:如何使用channel和Mutex解决并发问题,利用周末的好时光,配上音乐,思考一下吧?。

    大彬
  • client-go和golang源码中的技巧

    client-go中有很多比较有意思的实现,如定时器,同步机制等,可以作为移植使用。下面就遇到的一些技术讲解,首先看第一个:

    charlieroro
  • 信号量,锁和 golang 相关源码分析

    本文为社区粉丝原创投稿,再次感谢作者南瓜waniu的分享,欢迎大家在评论区留言和作者讨论,同时也欢迎大家踊跃投稿,分享您的golang语言学习经验!投稿邮箱地址...

    李海彬
  • golang 系列:channel 全面解析

    channel 是 goroutine 与 goroutine 之间通信的重要桥梁,借助 channel,我们能很轻易的写出一个多协程通信程序。今天,我们就来看...

    lincoln
  • 并发组件 | Go设计模式实战

    之前文章《代码组件 | Go设计模式实战》已经介绍了「组合模式」的概念,以及在业务中的使用。今天我们结合Go语言天生的并发特性,升级「组合模式」为「并发组合模式...

    用户1093396
  • Golang包——sync

    1.它允许任意读操作同时进行 2.同一时刻,只允许有一个写操作进行 3.并且一个写操作被进行过程中,读操作的进行也是不被允许的 4.读写锁控制下的多个写操...

    羊羽shine
  • 即时通讯软件可以用GO语言实现吗

    四个方面特点: 1. 并发支持 对于及时通讯、网络编程等方面,并发支持一定是并不可少的。 goroutine,用户态"线程",大家所说的协程,支持并发操作。已经...

    李海彬
  • golang 多协程的同步方法总结

    之前用 go 写一个小工具的时候, 用到了多个协程之间的通信, 当时随手查了查, 结果查出来一大坨, 简单记录一下. golang中多个协程之间是如何进行通信及...

    烟草的香味
  • 你应该知道的 Go WaitGroup 剖析

    本篇主要介绍 WaitGroup 的一些特性,让我们从本质上去了解 WaitGroup。关于 WaitGroup 的基本用法这里就不做过多介绍了。相对于《这可能...

    haohongfan
  • 字节、百度等大厂面经,资深服务端工程师谈跳槽感悟

    今天大鹏请来一位大厂有 4 年工作经验的服务端资深工程师,在2020年多事之秋的节点,跟大家谈一下跳槽感悟,分享一下自己的面试经历

    灵魂画师牧码
  • Golang语言标准库 sync 包的 Once 怎么使用?

    在 Go 语言中,sync 包有一个 Once 类型,官方文档介绍 Once 是一个只执行一次操作的对象。所以,Once 一般用于并发执行,但只需初始化一次的共...

    frank.
  • package sync

    sync包提供了基本的同步基元,如互斥锁。除了Once和WaitGroup类型,大部分都是适用于低水平程序线程,高水平的同步使用channel通信更好一些。

    李海彬

扫码关注云+社区

领取腾讯云代金券