首页
学习
活动
专区
圈层
工具
发布
首页
学习
活动
专区
圈层
工具
MCP广场
社区首页 >专栏 >Go ants库使用

Go ants库使用

原创
作者头像
Johns
发布2022-07-11 21:44:14
发布2022-07-11 21:44:14
1.7K0
举报
文章被收录于专栏:代码工具代码工具

介绍

github地址: https://github.com/panjf2000/ants

ants是一个高性能的 goroutine 池,实现了对大规模 goroutine 的调度管理、goroutine复用,允许使用者在开发并发程序的时候限制goroutine数量,复用资源,达到更高效执行任务的效果。

功能介绍

  • 自动调度海量的 goroutines,复用 goroutines
  • 定期清理过期的 goroutines,进一步节省资源
  • 提供了大量有用的接口:任务提交、获取运行中的 goroutine 数量、动态调整 Pool 大小、释放 Pool、重启 Pool
  • 优雅处理 panic,防止程序崩溃
  • 资源复用,极大节省内存使用量;在大规模批量并发任务场景下比原生 goroutine 并发具有更高的性能
  • 非阻塞机制

处理流程

image.png
image.png

官方案例

代码语言:go
复制
package main

import (
	"fmt"
	"sync"
	"sync/atomic"
	"time"

	"github.com/panjf2000/ants/v2"
)

var sum int32

func myFunc(i interface{}) int32 {
	n := i.(int32)
	atomic.AddInt32(&sum, n)
	return n
}

func demoFunc() {
	time.Sleep(10 * time.Millisecond)
	fmt.Println("Hello World!")
}

func main() {
  // ants库中定义了一个默认的池,默认容量为MaxInt32, 使用的使用可以不用再New, 但是默认池也需要Release()
	defer ants.Release()

	runTimes := 1000

	// Use the common pool.
	var wg sync.WaitGroup
	syncCalculateSum := func() {
		demoFunc()
		wg.Done()
	}
	for i := 0; i < runTimes; i++ {
		wg.Add(1)
		_ = ants.Submit(syncCalculateSum)
	}
	wg.Wait()
	fmt.Printf("running goroutines: %d\n", ants.Running())
	fmt.Printf("finish all tasks.\n")

	// 控制goroutine池的容量
	p, _ := ants.NewPoolWithFunc(10, func(i interface{}) {
		// 获取返回结果
		ret := myFunc(i)
		fmt.Printf("result= %d\n", ret)
		wg.Done()
	})
	defer p.Release()
	// 提交任务
	for i := 0; i < runTimes; i++ {
		wg.Add(1)
		_ = p.Invoke(int32(i))
	}
	wg.Wait()
	fmt.Printf("running goroutines: %d\n", p.Running())
	fmt.Printf("finish all tasks, result is %d\n", sum)
}

输出:

代码语言:shell
复制
....
running goroutines: 1000
finish all tasks.
....
running goroutines: 10
finish all tasks, result is 499500
Exiting.
....

下面看一下官方提供的goroutine池的配置项:

方法名称

说明

NewPoolWithFunc(size int, pf func(interface{}), options ...Option) (*PoolWithFunc, error)

创建一个goroutine池, 提交的任务有返回值

NewPool(size int, options ...Option) (*Pool, error)

创建一个goroutine池, 提交的任务没有返回值

WithExpiryDuration(expiryDuration time.Duration) Option

设置goroutine过期时间, 表示goroutine 空闲多长时间之后会被ants池回收

WithPreAlloc(preAlloc bool) Option

设置预分配的goroutine数量

WithMaxBlockingTasks(maxBlockingTasks int) Option

设置堵塞队列的最大长度: goroutine池设置容量之后,如果所有的 goroutine 都在处理任务。 这时提交的任务默认会进入等待队列超过这个长度, 提交任务直接返回错误.

WithNonblocking(nonblocking bool) Option

默认是阻塞的,我们可以使用设置其为非阻塞。非阻塞的ants池中,在所有 goroutine 都在处理任务时,提交新任务会直接返回错误. |

WithPanicHandler(panicHandler func(interface{})) Option

设置异常处理函数, 遇到 panic 会调用这里设置的处理函数

WithLogger(logger Logger) Option

设置日志实例

总结

go ants池秉承了go简单,高效的设计理念, 看上去完成的功能不少, 但核心代码却不超过1000行, go ants执行速度比没有池的 goroutine 快 2~6 倍,内存消耗减少 10 到 20 倍, 非常值得大家好好去阅读一番.

原创声明:本文系作者授权腾讯云开发者社区发表,未经许可,不得转载。

如有侵权,请联系 cloudcommunity@tencent.com 删除。

原创声明:本文系作者授权腾讯云开发者社区发表,未经许可,不得转载。

如有侵权,请联系 cloudcommunity@tencent.com 删除。

评论
登录后参与评论
0 条评论
热度
最新
推荐阅读
目录
  • 介绍
  • 功能介绍
  • 处理流程
  • 官方案例
  • 总结
领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档