如何构建多架构 Docker 镜像？

在每个黑客的职业生涯中总有这么一个时刻需要为另一种CPU架构编译应用程序。这种场景可能出现在为树莓派项目编译应用程序，为嵌入式设备创建自定义镜像，或者让自己的软件支持不同平台。亦或是，我们只是想知道这个过程是怎么样的，好奇最终汇编代码和桌面电脑上无处不在的x86-64/amd64架构汇编有何区别。

不论是哪种原因，通常我们都需要整理好行装进行一段朝圣之旅。但是这个旅程不是登上孤独的山顶，而是通向地狱深渊，是一段从开发应用程序的阳光平原走向计算机体系结构的黑暗洞穴之旅：底层系统和嵌入式变成带来的难以捉摸的世界。介于这次跋涉的前景堪忧，大部分黑客最终通过Ctrl+Z结束了旅程，回到了地面，一边喘气一边警告同伴交叉编译、QEMU和chroot的恐怖之处。

好了，我可能有点夸张了。但是真相是为其他CPU架构构建应用程序没有那么直截了当。多亏了Docker 19.03带来实验性的插件，让多架构构建比以往要方便很多。

为了理解Docker对多架构构建支持的重要性，首先我们需要了解如何为陌生架构构建应用程序。

背景：为陌生架构编译应用的方法

注：读者如果对本节概念已经了解，或者只是想知道如何构建镜像，可以跳过本节。

让我们快速了解下当前对于为陌生架构编译应用程序的方法。

方法1：直接在目标硬件上构建

如果我们可以访问目标架构硬件，同时操作系统上有我们所需的所有构建够据，那么就可以直接在硬件上编译应用程序。

例如，对我们特定场景下构建多架构Docker镜像，可以在树莓派上安装Docker运行时环境，然后和在开发机上一样，直接在上面通过应用程序的Dockerfile构建镜像。该方法是可行的，因为树莓派的官方操作系统Raspbian支持本地安装Docker。

但是，如果我们没法办法方便的访问目标硬件呢？我们可以在开发机器上直接构建非本地架构的应用程序吗？

方法2：模拟目标硬件

还记得和16位任天堂游戏机一起的快乐时光吗？当时我只是一个小孩子，但是当我长大一点之后，我发现对诸如《超级玛丽》和《时空之轮》等经典游戏非常怀念。不过我没有机会拥有一台超级任天堂游戏机，但是多亏了像ZSNES这样的模拟器，让我能回到过去，在32位个人电脑上体验这些经典游戏带来的乐趣。

通过模拟器，我们不仅能够玩电子游戏，还能够构建非本地二进制文件。当然这里不是使用ZSNES，而是使用更加强大更灵活的模拟器：QEMU。QEMU是一个自由且开源的模拟器，支持许多通用架构，包括：ARM、Power-PC和RISC-V。通过运行一个全功能模拟器，我们可以启动一个可以运行Linux操作系统的通用ARM虚拟机，然后在虚拟机中设置开发环境，编译应用程序。

但是，如果仔细思考下，一个全功能虚拟机有一些浪费资源。在该模式下，QEMU会模拟整个系统，包括诸如定时器、内存控制器、SPI和I2C总线控制器等硬件。但是大部分情况下，我们编译应用程序不会关心以上所提到的硬件特性。还能更好么？

方法3：通过binfmt_misc模拟目标架构的用户空间

在Linux系统上，QEMU有另外一种操作模式，可以通过用户模式模拟器来运行非本地架构的二进制程序。该模式下，QEMU会跳过方法2中描述的对整个目标系统硬件的模拟，取而代之的是通过binfmt_misc在Linux内核注册一个二进制格式处理程序，将陌生二进制代码拦截并转换后再执行，同时将系统调用按需从目标系统转换成当前系统。最终对于用户来说，他们会发现可以在本机运行这些异构二进制程序。

通过用户态模拟器和QEMU，我们可以通过轻量级虚拟化（chroot或者容器）来安装其他Linux发行版，并像在本地一样编译我们需要的异构二进制程序。

下面我们会看到这将会是构建多架构Docker镜像的可选方式。

方法4：使用交叉编译器

最后，我们还有一种在嵌入式系统社区标准的做法：交叉编译。

交叉编译器是一个特殊的编译器，它运行在主机架构上，但是可以为不同的目标架构生成的二进制程序。例如，我们可以有一个amd64架构的C++交叉编译器，目标架构是一个aarch64（64位ARM）的嵌入式设备（例如一个智能手机或者其他东西）。基于这种方式的一个现实中的例子是，世界上数十亿安卓设备都使用这种方式来构建软件。

从性能上考虑，这种方式拥有和直接在目标硬件上构建（方法1）相同的效率，因为它没有运行在模拟器上。但是交叉编译的变数取决于使用的编程语言（对于Go语言就非常方便）。

搞糊涂了吗？对于Docker镜像来说会更复杂……

注意前面提到的所有编译方式都只是生成单一的应用程序二进制文件。对于现代容器来说，当我们引入Docker镜像的时候，不仅仅是关于构建单独的二进制文件，而是构建一整个异构容器镜像！这比之前说的要更加麻烦。

如果这些听上去都很痛苦，不要难过，因为构建非本地平台二进制程序本来就很痛苦。在此之上增加Docker带来的复杂度，看起来应该留给专家来处理。

感谢最新版本Docker运行时环境带来的实验性扩展，构建多架构镜像现在比以前方便多了。

构建多架构Docker镜像

为了能够更方便的构建多架构Docker镜像，我们可以使用最近发布的Docker扩展：buildx。buildx是下一代标准docker build命令的前端，既我们熟悉的用于构建Docker镜像的命令。通过借助BuildKit的所有功能，buildx扩展了表中docker build命令的功能，成为Docker构建系统的新后端。

让我们花几分钟看下如何使用buildx来构建多架构镜像。

步骤1：开启buildx

要使用buildx，首先要确认我们的Docker运行时环境已经是最新版本 19.03。新版本中，buildx事实上已经默认和Docker捆绑在一起，但是需要通过设置环境变量DOCKER_CLI_EXPERIMENTAL来开启。让我们在当前命令行会话中开启：

$ export DOCKER_CLI_EXPERIMENTAL=enabled

通过检查版本来验证目前我们已经可以使用buildx：

$ docker buildx version
github.com/docker/buildx v0.3.1-tp-docker 6db68d029599c6710a32aa7adcba8e5a344795a7

可选步骤：从源码构建

如果要使用最新版本的buildx，或者在当前环境下设置DOCKER_CLI_EXPERIMENTAL环境变量不生效（例如我发现在Arch Linux系统中设置无效），我们可以从源码构建buildx：

$ export DOCKER_BUILDKIT=1
$ docker build --platform=local -o . git://github.com/docker/buildx
$ mkdir -p ~/.docker/cli-plugins && mv buildx ~/.docker/cli-plugins/docker-buildx

步骤2：开启binfmt_misc来运行非本地架构Docker镜像

如果读者使用的是Mac或者Windows版本Docker桌面版，可以跳过这个步骤，因为binfmt_misc默认开启。

如果使用是Linux系统，需要设置binfmt_misc。在大部分发行版中，这个操作非常简单，但是现在可以通过运行一个特权Docker容器来更方便的设置：

$ docker run --rm --privileged docker/binfmt:66f9012c56a8316f9244ffd7622d7c21c1f6f28d

通过检查QEMU处理程序来验证binfmt_misc设置是否正确：

$ ls -al /proc/sys/fs/binfmt_misc/
total 0
drwxr-xr-x 2 root root 0 Nov 12 09:19 .
dr-xr-xr-x 1 root root 0 Nov 12 09:16 ..
-rw-r--r-- 1 root root 0 Nov 12 09:25 qemu-aarch64
-rw-r--r-- 1 root root 0 Nov 12 09:25 qemu-arm
-rw-r--r-- 1 root root 0 Nov 12 09:25 qemu-ppc64le
-rw-r--r-- 1 root root 0 Nov 12 09:25 qemu-s390x
--w------- 1 root root 0 Nov 12 09:19 register
-rw-r--r-- 1 root root 0 Nov 12 09:19 status

然后，验证下指定架构处理程序已经启用，例如：

$ cat /proc/sys/fs/binfmt_misc/qemu-aarch64
enabled
interpreter /usr/bin/qemu-aarch64
flags: OCF
offset 0
magic 7f454c460201010000000000000000000200b7
mask ffffffffffffff00fffffffffffffffffeffff

步骤3：将默认Docker镜像构建器切换成多架构构建器

默认情况下，Docker会使用旧的构建器，不支持多架构构建。

为了创建一个新的支持多架构的构建器，需要运行：

$ docker buildx create --use --name mybuilder

验证新的构建器已经生效：

$ docker buildx ls
NAME/NODE    DRIVER/ENDPOINT             STATUS   PLATFORMS
mybuilder *  docker-container
  mybuilder0 unix:///var/run/docker.sock inactive
default      docker
  default    default                     running  linux/amd64, linux/arm64, linux/ppc64le, linux/s390x, linux/386, linux/arm/v7, linux/arm/v6

搞定。现在Docker会使用新的构建器，支持构建多架构镜像。

步骤4：构建多架构镜像

好了，现在我们终于可以开始构建一个多架构镜像了。为了演示这个功能，我们需要一个示例应用。

让我们创建一个简单的Go应用程序，输出当前运行环境的架构信息：

$ cat hello.go
package main

import (
        "fmt"
        "runtime"
)

func main() {
        fmt.Printf("Hello, %s!\n", runtime.GOARCH)
}

让我们创建一个Dockerfile来容器化这个应用：

$ cat Dockerfile
FROM golang:alpine AS builder
RUN mkdir /app
ADD . /app/
WORKDIR /app
RUN go build -o hello .

FROM alpine
RUN mkdir /app
WORKDIR /app
COPY --from=builder /app/hello .
CMD ["./hello"]

这是一个多阶段Dockerfile，通过Go编译器构建我们的应用程序，然后将构建出来的二进制程序使用Alpine Linux镜像创建成最小镜像。

现在，让我们使用buildx来构建一个支持arm、arm64和amd64架构的多架构镜像，并一次性推送到Docker Hub：

$ docker buildx build -t mirailabs/hello-arch --platform=linux/arm,linux/arm64,linux/amd64 . --push

是的，就是这样。现在Docker Hub上我们有了支持arm、arm64和amd64架构的多架构Docker镜像。当我们运行docker pull mirailabs/hello-arch时，Docker会根据机器的架构来获取匹配的镜像。

如果读者要问buildx是如何实现这个魔法的？好吧，在命令的背后，buildx使用QEMU和binfmt_misc创建了三个Docker镜像（arm、arm64和amd64架构每个创建一个）。当构建完成后，Docker会创建一个清单，其中包含这三个镜像以及他们对应的架构。换句话说，“多架构镜像”实际上是一个清单，列举了每个架构对应的镜像。

步骤5：测试多架构镜像

让我们来快速测试下多架构镜像，以确保它们都能够正常工作。由于我们已经设置了binfmt_misc，因此在开发机器上已经能够执行任何架构的镜像了。

首先，列出每个镜像的散列值：

$ docker buildx imagetools inspect mirailabs/hello-arch
Name:      docker.io/mirailabs/hello-arch:latest
MediaType: application/vnd.docker.distribution.manifest.list.v2+json
Digest:    sha256:bbb246e520a23e41b0c6d38b933eece68a8407eede054994cff43c9575edce96

Manifests:
  Name:      docker.io/mirailabs/hello-arch:latest@sha256:5fb57946152d26e64c8303aa4626fe503cd5742dc13a3fabc1a890adfc2683df
  MediaType: application/vnd.docker.distribution.manifest.v2+json
  Platform:  linux/arm/v7

  Name:      docker.io/mirailabs/hello-arch:latest@sha256:cc6e91101828fa4e464f7eddec3fa7cdc73089560cfcfe4af16ccc61743ac02b
  MediaType: application/vnd.docker.distribution.manifest.v2+json
  Platform:  linux/arm64

  Name:      docker.io/mirailabs/hello-arch:latest@sha256:cd0b32276cdd5af510fb1df5c410f766e273fe63afe3cec5ff7da3f80f27985d
  MediaType: application/vnd.docker.distribution.manifest.v2+json
  Platform:  linux/amd64

有了这些散列值的帮助，我们可以逐一运行镜像，并观察其输出：

$ docker run --rm docker.io/mirailabs/hello-arch:latest@sha256:5fb57946152d26e64c8303aa4626fe503cd5742dc13a3fabc1a890adfc2683df
Hello, arm!

$ docker run --rm docker.io/mirailabs/hello-arch:latest@sha256:cc6e91101828fa4e464f7eddec3fa7cdc73089560cfcfe4af16ccc61743ac02b
Hello, arm64!

$ docker run --rm docker.io/mirailabs/hello-arch:latest@sha256:cd0b32276cdd5af510fb1df5c410f766e273fe63afe3cec5ff7da3f80f27985d
Hello, amd64!

看上去很简单，不是么？

总结

概括一下，本文我们了解了软件支持多CPU架构带来的挑战，以及Docker的实验性扩展buildx如何帮助我们解决这些挑战。通过使用buildx，我们可以快速构建一个多架构Docker镜像，支持arm、arm64和amd64架构，而不需要修改Dockerfile。同时这个镜像可以推送到Docker Hub，任何Docker支持的平台都可以根据自己的架构拉取对应的镜像。

未来，buildx能力很有可能称为标准docker build命令的一部分，我们可以不需要为使用这个功能做额外设置。

前进，无惧多架构！

参考文献

• Docker’s release announcement of buildx on Docker Desktop
• Docker’s follow up post on buildx for Linux
• An enlightening talk by some of the buildx devs
• Official Docker docs on multi-arch images

原文链接：

https://mirailabs.io/blog/multiarch-docker-with-buildx/