go channel应用系列之控制协程数量

大家好，我是渔夫子。

今天给大家介绍一下如何利用go中的缓冲channel来控制协程的数量。如下示例：

package main

import (
    "fmt"
    "sync/atomic"
)

func main() {
    sem := make(chan struct{}, 10)
    var count int32
    for {
       //time.Sleep(5*time.Millisecond)
       go func() {
          sem <- struct{}{}
          atomic.AddInt32(&count, 1)
          defer func() {
             <-sem
             atomic.AddInt32(&count, -1)
         }()

          fmt.Printf("count is :%d\n", count)
      }()
   }
    
}

在这个示例中，我们首先在for外层初始化了一个缓冲channel：sem，该channel可以存放10个元素。在for循环中我们不停的启动协程。在协程中我们尝试往sem中发送元素，如果发送成功，就运行后面的逻辑，如果发送不成功，即sem空间已经满了，就利用channel的堵塞特性，该协程在这里堵塞等待。最后等某个协程运行完毕后，从通道sem中输出一个元素，这样就腾出来一个空间，让堵塞的一个协程继续运行了。

这样，我们在for循环中虽然一直在不停的启用协程，但能够运行的协程数量不会超过10个。这样利用了通道的阻塞特定，不用加锁就能实现控制协程数量的目的。

应用示例

在之前我们推荐过一个爬虫的开源项目：Geziyor。这个项目中就使用了这种方式来控制并发请求的数量。我们看下源代码：首先，在初始化的地方，先根据并发个数来初始化了一个缓冲通道，示例代码看源码第109行

然后，在Start函数中，循环启动每一个采集的任务。源代码中的106行Start函数，如下：

然后，在源代码的第220行，则启动任务协程，在任务协程中首先通过acquireSem函数往通道中发送一个消息，如果发送不成功就堵塞在这里，直到其他协程通过releaseSem释放通道中的一个空间出来。如下：

好了，今天缓冲通道的其中应用场景就分享到这里。