专栏首页高性能分布式系统设计【GO语言】合理配置GOMAXPROCS提升一倍以上的性能

【GO语言】合理配置GOMAXPROCS提升一倍以上的性能

GOMAXPROCS 用默认的,就是CPU的硬件线程数目,

对于大部分File IO密集的应用是不合适的。

至少应该配置到硬件线程数目的5倍以上, 最大1024。

具体参见

这是为什么呢?

我们来复习下Go的线程模型,M/P/G 三种对象,分别代表 操作系统线程、协程执行令牌、协程;

在任何情况下,Go运行时并行执行(注意,不是并发)的goroutines数量是小于等于P的数量的。

如果一个持有P的M,由于P当前执行的G调用了syscall而导致M被阻塞,那么:

注意

注意

注意

关键点:此时,GO的调度器是迟钝的,它很可能什么都没做,直到M阻塞了想当长时间以后,才会发现有一个P/M被syscall阻塞了。然后,才会用空闲的M来强这个P。

补充说明:调度器迟钝不是M迟钝,M也就是操作系统线程,是非常的敏感的,只要阻塞就会被操作系统调度(除了极少数自旋的情况)。但是GO的调度器会等待一个时间间隔才会行动,这也是为了减少调度器干预的次数。也就是说,如果一个M调用了什么API导致了操作系统线程阻塞了,操作系统立刻会把这个线程M调度走,挂起等阻塞解除。这时候,Go调度器不会马上把这个M持有的P抢走。这就会导致一定的P被浪费了。

这就是为何,GOMAXPROCS 太小,也就是P的数量太少,会导致IO密集(或者syscall较多)的go程序运行缓慢的原因

那么,GOMAXPROCS 很大,超过硬件线程的8倍,会不会有开销呢?

答案是,开销是有的,但是远小于Go运行时迟钝的调度M来抢夺P而导致CPU利用不足的开销。

P.S.

本文至少对Go 1.8版本是有效的。

P.S.

其实,这也是经典的长肥管道问题,由于SSD的普及,IO操作从高延时低吞吐,变成了中高延时高吞吐。

一次SSD IO的延时在1ms,而一块企业级SSD的吞吐在100Kops,那么在队列里面的操作就有 100个。

操作系统在1ms内可以完成很多次线程调度(一般情况1ms可以完成几十次线程调度),但是Go的运行时,最大的阻塞发现延时是10ms。

于是,当一个Go的协程发起一次SSD IO时,执行该G的M会阻塞然后被OS调度走,该M一直持有P。在1ms内,这次SSD IO很可能不会完成。Go的运行时,最快在20us,最慢在10ms会发现有一个M持有P并阻塞了。运气不好的话,很可能,Go运行时2ms才扫描一次,于是没来得及发现这个阻塞的M,阻塞就结束了。宝贵的P资源就这么被阻塞的M浪费了。SSD IO的ops上限变成了

P的数量 *(1s/IO延时)

当P的数量小于100,IO延时1ms的时候,ops就肯定小于100Kops了。

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

我来说两句

0 条评论
登录 后参与评论

相关文章

  • 基于 CSP 的设计思想和 OOP 设计思想的异同

    Go语言推崇的CSP编程模型和设计思想,并没有引起很多Go开发者包括Go标准库作者的重视。标准库的很多设计保留了很浓的OOP的味道。本篇Blog想比较下从设计的...

    Linker
  • Jython动态加载Jar

    用Jython做单元测试Java项目的时候,需要能动态的从Jar包里load类。 以下是一个简单的方法: import sys sys.path+=["...

    Linker
  • Go语言可用几种消息通讯方案

    mangos  基于SP/nanomsg 协议,比较难用。 ProtoActor 类似Erlang的实现,比较新,完备度较低,但是性能还不错。 最近又多了一个选...

    Linker
  • NIO你真正了解多少?

    类通过实现 Java.io.Serializable 接口以启用其序列化功能。未实现此接口的类将无法使其任何状态序列化或反序列化。

    李红
  • NIO你真正了解多少?

    原文:http://www.java520.cn/java%E5%9F%BA%E7%A1%80/133.html

    李红
  • Mapper.xml

    二十三年蝉
  • 由一个系统激活工具引起的一次简单测试

    新搭建了一个Win7虚拟机环境,随便找了一个激活工具,官网是这样的。。。(全程不会打码,让大家看看这帮人是多坑小白用户),这种站居然上了百度第一名,说明投入很高...

    周俊辉
  • 基于ReentrantLock发生死锁的解决方案

    java404
  • Java NIO之理解I/O模型(二)

    上一篇文章讲解了I/O模型的一些基本概念,包括同步与异步,阻塞与非阻塞,同步IO与异步IO,阻塞IO与非阻塞IO。这次一起来了解一下现有的几种IO模型,以及高效...

    纪莫
  • 由一个系统激活工具引起的一次简单测试

    新搭建了一个Win7虚拟机环境,随便找了一个激活工具,官网是这样的。。。(全程不会打码,让大家看看这帮人是多坑小白用户),这种站居然上了百度第一名,说明投入很高...

    7089bAt@PowerLi

扫码关注云+社区

领取腾讯云代金券