容器配置开发环境小计

前言

这段时间折腾了好久容器搭建开发环境和家里软路由趟的一些坑。这里先记录一下使用容器搭开发环境的一些流程和问题。

开发环境一般里面会包含很多的工具和开启一些服务。 我自己的环境测试和搭建了 ubuntu 、 centos 、 archlinux 。 开启了 systemd ， 支持网络代理+vscode远程开发， 支持 docker 和 podman ，支持k8s，开启了 sshd 。 所有的构建脚本及 Dockerfile 都放在 https://github.com/owent-utils/docker-setup 了，有需要的小伙伴可以自取。

编译podman

之前看一些文章把 podman 吹上了天，于是我就当了下小白鼠。最后的建议是除非你想去折腾这玩意，不然现阶段还是珍爱生命，远离它（BUG茫茫多，想想都是泪）。

除了一些自带的发行版以外，有些发行版（比如 Debian）还是得自己编译自己装。发行版自带的版本也相对较低，如果想用比较新的版本也是得自己编译安装。 官方给出的编译安装组件并不完整，而且 podman 内部的一些组件互相依赖的版本也很高，系统自带的组件版本也不一定能够支持，我自己总结的需要准备的列表如下:

1. golang
2. ostree
3. conmon(容器监控工具)
4. runc(容器运行工具)
5. cni(对非host模式rootful容器的网络支持)
6. libpod(podman 命令行工具)
7. fuse-overlayfs(rootless容器的用户空间文件系统挂载支持)
8. slirp4netns(rootless容器的用网络支持)

具体的流程在: https://github.com/owent-utils/docker-setup/blob/master/build-podman.sh

基本设置

拉取镜像和网络代理和自建镜像仓库

拉取 docker 镜像的命令我就不贴了。这里如果是用的docker 而不是 podman 并且网络要要走代理需要配置下。

首先 docker 服务的代理只能配环境变量，需要在 /lib/systemd/system/docker.service 里（假设用的 systemd 启动的 docker 服务）的 [Service] 段里加上

Environment="HTTP_PROXY=HTTP代理地址:端口" "HTTPS_PROXY=HTTP代理地址:端口" "NO_PROXY=代理排除列表"

然后如果有自定义镜像仓库要排除TLS证书检查的话可以在 /etc/docker/daemon.json 里配置:

{
    "graph": "数据存放路径，如: /data/docker-data",
    "storage-driver": "overlay",
    "insecure-registries" : [ "registry.fedoraproject.org", "registry.access.redhat.com", "registry.centos.org", "docker.io", "quay.io", "其他自建仓库..." ]
}

镜像构建流程

1. 换源
2. 很多容器官方镜像是关闭文档的，开发环境还是需要它所以打开文档安装man-db
3. 开文档后可能要重新安装某些组件触发一次拉取文档和man-db
4. 安装基本工具
5. 安装编译环境
6. 生成locale，某些发行版没有 locale.gen ， 直接执行 localectl set-locale LANG=en_GB.utf8 吧
7. 设置时区
8. 开启sshd服务，改服务端口，把 /etc/pam.d/* 里的 pam_loginuid.so 改成 optional 。
9. 清理安装包缓存目录和日志

大致就是如上的流程，这里提供一下我自己构建过的几个 Dockerfile , 都在 https://github.com/owent-utils/docker-setup 这个仓库里，部分Dockerfile可能会依赖里面的脚本所以最好整个仓库clone下来就可以直接用。如果要设置开发环境代理的话可以在构建镜像的时候加上 --env SETUP_INSTALL_PROXY=HTTP代理地址 和 --env SETUP_INSTALL_NO_PROXY=代理排除地址 。

• Ubuntu: https://github.com/owent-utils/docker-setup/blob/master/ubuntu.devtools.Dockerfile
• Debian: https://github.com/owent-utils/docker-setup/blob/master/debian.devtools.Dockerfile
• CentOS 7: https://github.com/owent-utils/docker-setup/blob/master/centos7.devtools.Dockerfile
• CentOS 8: https://github.com/owent-utils/docker-setup/blob/master/centos8.devtools.Dockerfile
• Archlinux: https://github.com/owent-utils/docker-setup/blob/master/arch.devtools.Dockerfile

在宿主机上测试（ 兼容systemd ）

要让容器能够启动 systemd 的话需要额外给一些权限和共享出cgroup。 然后启动命令必须是 /lib/systemd/systemd 。

我试了几个主要的发行版都是 /lib/systemd/systemd ，有些发行版会安装 systemd 适配 sysv 的包，然后 /sbin/init 会被软链到 /lib/systemd/systemd ，用这个也可以。 如果是 podman 的话内建了对 systemd 的支持。只要加上启动参数 --systemd true 就可以了。 如果是原版的 docker 的话，这里提供一个命令参考（参数选项来自 podman 的代码）: docker run -d --name 容器名称 --cap-add=SYS_ADMIN \ --mount type=tmpfs,target=/run,tmpfs-mode=1777,tmpfs-size=67108864 \ --mount type=tmpfs,target=/run/lock,tmpfs-mode=1777,tmpfs-size=67108864 \ --mount type=tmpfs,target=/tmp,tmpfs-mode=1777 \ --mount type=tmpfs,target=/var/log/journal,tmpfs-mode=1777 \ --mount type=bind,source=/sys/fs/cgroup,target=/sys/fs/cgroup \ 镜像HASH值或TAG名称 /sbin/init

网络代理和vscode和zsh

我现在主力使用vscode 远程开发插件来远程开发的。但是配置容器网络的时候碰到过很多问题，要么某些环境初始化不了，要么更新失败。

我试过加初始化代理的环境变量脚本到 $HOME/.bashrc 和加到 /etc/profile.d/xxx.sh 都不能完美解决问题。特别是使用了 zsh 之后。

最终比较完美的解决方案有两种，第一种是把代理环境变量写进 Dockerfile 里， 另一种是 sshd 的配置( /etc/ssh/sshd_config ) 里开启 PermitUserEnvironment yes 然后把环境变量写进 $HOME/.ssh/environment 里。（记得要 chmod 600 $HOME/.ssh/environment）

其他

这段时间还折腾了下 nftables ，用起来很爽，但是也是踩了一些坑。不过这个组件比 podman 靠谱多了，只是功能上还不能完全替代 iptables + ebtables 而已。 我也是尝试用了好多种发行版docker里跑软路由，后面再来填坑吧。