浅析Go内存管理架构

导读

本文基于Go源码版本1.16、64位Linux平台、1Page=8KB、本文的内存特指虚拟内存

今天我们开始进入《Go语言轻松系列》第二章「内存与垃圾回收」第二部分「Go语言内存管理」。

关于「内存与垃圾回收」章节，会从如下三大部分展开：

• 读前知识储备(已完结)
  • 指针的大小
  • 内存的线性分配
  • 什么是FreeList？
  • 虚拟内存
  • TCMalloc内存分配原理
• Go语言内存管理(当前部分)
• Go语言垃圾回收原理(未开始)

第一部分「读前知识储备」已经完结，为了更好理解本文大家可以点击历史链接进行查看或复习。

目录

关于讲解「Go语言内存管理」部分我的思路如下：

1. 介绍整体架构
2. 介绍架构设计中一个很有意思的地方
3. 通过介绍Go内存管理中的关键结构mspan，带出page、mspan、object、sizeclass、spanclass、heaparena、chunk的概念
4. 接着介绍堆内存、栈内存的分配
5. 回顾和总结

通过这个思路拆解的目录：

• Go内存管理架构(本篇内容)
  • mcache
  • mcentral
  • mheap
• 为什么线程缓存mcache是被逻辑处理器p持有，而不是系统线程m?
• Go内存管理单元mspan
  • page的概念
  • mspan的概念
  • object的概念
  • sizeclass的概念
  • spanclass的概念
  • heaparena的概念
  • chunk的概念
• Go堆内存的分配
  • 微对象分配
  • 小对象分配
  • 大对象分配
• Go栈内存的分配
  • 栈内存分配时机
  • 小于32KB的栈分配
  • 大于等于32KB的栈分配

Go的内存统一由内存管理器管理的，Go的内存管理器是基于Google自身开源的TCMalloc内存分配器为理念设计和实现的，关于TCMalloc内存分配器的详细介绍可以查看之前的文章《18张图解密新时代内存分配器TCMalloc》。

先来简单回顾下TCMalloc内存分配器的核心设计。

回顾TCMalloc内存分配器

TCMalloc诞生的背景？

在多核以及超线程时代的今天，多线程技术已经被广泛运用到了各个编程语言中。当使用多线程技术时，由于多线程共享内存，线程申在请内存(虚拟内存)时，由于并行问题会产生竞争不安全。

为了保证分配内存的过程足够安全，所以需要在内存分配的过程中加锁，加锁过程会带来阻塞影响性能。之后就诞生了TCMalloc内存分配器并被开源。

TCMalloc如何解决这个问题?

TCMalloc全称Thread Cache Memory alloc线程缓存内存分配器。顾名思义就是给线程添加内存缓存，减少竞争从而提高性能，当线程内存不足时才会加锁去共享的内存中获取内存。

接着我们来看看TCMalloc的架构。

TCMalloc的架构？

TCMalloc三层逻辑架构

• ThreadCache：线程缓存
• CentralFreeList(CentralCache)：中央缓存
• PageHeap：堆内存

TCMalloc架构上不同的层是如何协作的？

TCMalloc把申请的内存对象按大小分为了两类：

• 小对象 <= 256 KB
• 大对象 > 256 KB

我们这里以分配小对象为例，当给小对象分配内存时：

• 先去线程缓存ThreadCache中分配
• 当线程缓存ThreadCache的内存不足时，从对应SizeClass的中央缓存CentralFreeList获取
• 最后，再从对应SizeClass的PageHeap中分配

Go内存分配器的逻辑架构

采用了和TCMalloc内存分配器一样的三层逻辑架构：

• mcache：线程缓存
• mcentral：中央缓存
• mheap：堆内存

实际中央缓存central是一个由136个mcentral类型元素的数组构成。

除此之外需要特别注意的地方：mcache被逻辑处理器p持有，而并不是被真正的系统线程m持有。(这个设计很有意思，后续会有一篇文章来解释这个问题)

我们更新下架构图如下：

「Go内存分配器」把申请的内存对象按大小分为了三类：

• 微对象 0 < Micro Object < 16B
• 小对象 16B =< Small Object <= 32KB
• 大对象 32KB < Large Object

为了清晰看出这三层的关系，这里以堆上分配小对象为例：

• 先去线程缓存mcache中分配内存
• 找不到时，再去中央缓存central中分配内存
• 最后直接去堆上mheap分配一块内存

总结

通过以上的分析可以看出Go内存分配器的设计和开源TCMalloc内存分配器的理念、思路基本一致。对比图如下：

最后我们总结下：

• Go内存分配器采用了和TCMalloc一样的三层架构。逻辑上为：
  • mcache：线程缓存
  • mcentral：中央缓存
  • mheap：堆内存
• (下篇文章内容)线程缓存mcache是被逻辑处理器p持有，而不是系统线程m