Docker网络——实现容器间通信、容器与外网通信以及容器的跨主机访问

前言

• 建议使用自定义的网桥来控制哪些容器可以相互通信，还可以自动DNS解析容器名称到IP地址。Docker提供了创建这些网络的默认网络驱动程序，你可以创建一个新的Bridge网络，Overlay或Macvlan网络。你还可以创建一个网络插件或远程网络进行完整的自定义和控制。
• 你可以根据需要创建任意数量的网络，并且可以在任何给定时间将容器连接到这些网络中的零个或多个网络。此外，您可以连接并断开网络中的运行容器，而无需重新启动容器。当容器连接到多个网络时，其外部连接通过第一个非内部网络以词法顺序提供。

容器间通信

• 1.创建一个bridge模式的网络

[root@server1 ~]# docker network create --driver bridge my_net1
[root@server1 ~]# docker network ls 

由上图我们可以看到创建的网络ID为4554d78082da ,使用ip addr查看本机网络：

查看docker自定义网络如下图，当我们创建好自定义网络后，自定义为其分配IP网段和网关。

docker的bridge自定义网络之间默认是有域名解析的；

docker的bridge自定义网络与系统自带的网桥之间默认是有解析的；

但是docker的系统自带的网桥之间默认是没有解析的。

• 再创建一个bridge的网络，自定义ip和网关

[root@server1 ~]# docker network create --driver bridge --subnet 172.20.0.0/24 --gateway 172.20.0.1 my_net2

[root@server1 ~]# docker network ls

NETWORK ID NAME DRIVER SCOPE

f3aff7e4dad5 bridge bridge local

c5f20e91b8ca host host local

4554d78082da my_net1 bridge local

28b91234a14b my_net2 bridge local

0e8b7355d807 none null local

[root@server1 ~]# docker network inspect my_net2

"IPAM": {

"Driver": "default",

"Options": {},

"Config": [

{

"Subnet": "172.20.0.0/24",

"Gateway": "172.20.0.1"

}

]

},

• ctrl+p+q，再创建一个容器，使用网络my_net2。

使用–ip参数可以指定容器ip地址，但必须是在自定义网桥上（自定义的ip地址和网关地址），

默认的bridge模式不支持，同一网桥上的容器是可以通信的

[root@server1 ~]# docker run -it --name vm2 --network=my_net2 --ip=172.20.0.10 ubuntu
root@a77dd40e0a04:/# ip a

• 建立两个容器之间的连接。

[root@server1 ~]# docker ps

[root@server1 ~]# docker network connect my_net1 vm2

[root@server1 ~]# docker attach vm2

root@a77dd40e0a04:/# ip a

• 测试：两个容器是否可以直接ping通

在容器vm2内（IP=172.20.0.10）ping vm1（IP=172.19.0.2）

root@a77dd40e0a04:/# ping 172.19.0.2

以上我们实现了：使用自定义网络实现容器间的通信

注意：

• docker的bridge自定义网络之间：双方可以随便添加对方的网卡
• docker的bridge自定义网络与系统自带的网桥之间：只能是，系统自带的网桥对应的容器 添加 bridge自定义网络对应的容器的网卡。而反过来会报错。
• 但是docker的系统自带的网桥之间：是可以通信的，因为是在一个网络桥接上。
• docker 1.10开始,内嵌了一个DNS server。dns解析功能必须在自定义网络中使用。

容器与外网通信

• 容器如何访问外网是通过iptables的SNAT实现的？

外网如何访问容器？

• 端口映射，-p指定对应端口

外网访问容器用到了docker-proxy和iptables DNAT

宿主机访问本机容器使用的是iptables DNAT

外部主机访问容器或容器之间的访问是docker-proxy实现

示例：

• 查看当前iptable的nat表火墙策略

[root@server1 ~]# iptables -t nat -nL

• 创建nginx的容器，配置端口映射。

[root@server1 ~]# docker run -d --name nginx -p 80:80 nginx

[root@server1 ~]# docker port nginx

80/tcp -> 0.0.0.0:80

[root@server1 ~]# netstat -ntpl | grep 80

tcp6 0 0 :::80 :::* LISTEN 3901/docker-proxy

[root@server1 ~]# iptables -t nat -nL

我们可以在nat表的最后一行看到使用了端口转发。

Docker的跨主机网络访问

跨主机网络解决方案

• docker原生的overlay和macvlan
• 第三方的flannel、weave、calico

众多网络方案是如何与docker集成在一起的？

• libnetwork docker容器网络库
• CNM (Container Network Model)这个模型对容器网络进行了抽象

CNM三类组件

macvlan网络方案的实现

• Macvlan是一个新的尝试，是真正的网络虚拟化技术的转折点。Linux实现非常轻量级，因为与传统的Linux Bridge隔离相比，它们只是简单地与一个Linux以太网接口或子接口相关联，以实现网络之间的分离和与物理网络的连接。
• Macvlan提供了许多独特的功能，并有充足的空间进一步创新与各种模式。这些方法的两个高级优点是绕过Linux网桥的正面性能以及移动部件少的简单性。删除传统上驻留在Docker主机NIC和容器接口之间的网桥留下了一个非常简单的设置，包括容器接口，直接连接到Docker主机接口。由于在这些情况下没有端口映射，因此可以轻松访问外部服务。

实验准备

（1）两台虚拟机

（2）两台虚拟机上添加两块虚拟网卡，并安装好相应的docker服务（因为我们模拟的时docker容器的跨主机访问）

• 清除两台主机上之前有关网络的设置，并激活新添加的网卡eth1。

[root@server1 ~]# docker network prune

[root@server1 ~]# docker network rm my_net1 my_net2

[root@server1 ~]# docker network ls

NETWORK ID NAME DRIVER SCOPE

f3aff7e4dad5 bridge bridge local

c5f20e91b8ca host host local

0e8b7355d807 none null local

[root@server1 ~]# ip link set up eth1

[root@server1 ~]# ip add

macvlan本身是linxu kernel的模块，本质上是一种网卡虚拟化技术。其功能是允许在同一个物理网卡上虚拟出多个网卡，通过不同的MAC地址在数据链路层进行网络数据的转发，一块网卡上配置多个 MAC 地址（即多个 interface），每个interface可以配置自己的IP，Docker的macvlan网络实际上就是使用了Linux提供的macvlan驱 动。

因为多个MAC地址的网络数据包都是从同一块网卡上传输，所以需要打开网卡的混杂模式ip link set eth1 promisc on。

• 打开server1和server2的eth1网卡的混杂模式

[root@server1 ~]# ip link set eth1 promisc on
[root@server1 ~]# ip addr show | grep eth1

注意：如果不开启混杂模式,会导致macvlan网络无法访问外界,具体在不使用vlan时,表现为无法ping通路由,无法ping通同一网络内其他主机。

• 在两台主机上各创建macvlan网络

创建macvlan网络不同于桥接模式，需要指定网段和网关（因为要保证跨主机上网段和网关是相同的），并且都得是真实存在的。

server1：

[root@server1 ~]# docker network create -d macvlan mac1 --subnet=172.22.0.0/24 --gateway=172.22.0.1 -o parent=eth1

[root@server1 ~]# docker network ls

server2：

[root@server2 ~]# docker network create -d macvlan mac1 --subnet=172.22.0.0/24 --gateway 172.22.0.1 -o parent=eth1

[root@server2 ~]# docker network ls

macvlan会独占主机网卡,但可以使用vlan子接口实现多macvlan网络

vlan可以将物理二层网络划分为4094个逻辑网络,彼此隔离,vlan id取值为1~4094

• 在两台主机上分别使用创建的macvlan1运行一个容器

server1：

[root@server1 ~]# docker run -it --name vm1 --network=mac1 --ip=172.22.0.10 ubuntu
root@12542041d9de:/# ip a

server2：

root@12542041d9de:/# ping 172.22.0.20

• macvlan模式不依赖网桥，所以brctl show查看并没有创建新的bridge，但是查看容器的网络，会看到虚拟网卡对应了一个interface是17。

[root@server1 ~]# brctl show

bridge name bridge id STP enabled interfaces

docker0 8000.024290f2797b no

[root@server1 ~]# docker attach vm1

root@12542041d9de:/# ip a

• 查看宿主机的网络，17正是虚机的eth1网卡

[root@server1 ~]# ip addr show eth1

可见，容器的 eth0 就是宿主机的eth1通过macvlan虚拟出来的interface。容器的interface直接与主机的网卡连接，这种方案使得容器无需通过NAT和端口映射就能与外网直接通信（只要有网关），在网络上看起来与其他独立主机没有区别。

macvlan会独占主机的网卡的解决方案

• 前面说过macvlan会独占主机网卡,但可以使用vlan子接口实现多macvlan网络

vlan可以将物理二层网络划分为4094个逻辑网络,彼此隔离,vlan id取值为1~4094

我们只需要在创建容器时使用vlan子接口就可以i解决：

server1：

[root@server1 ~]# docker run -it --name vm4 --network=mac1 --ip=172.22.0.30 ubuntu
root@4ce2fc7c4a5f:/# ip a

测试是否能ping通server2上的vm2容器。

root@4ce2fc7c4a5f:/# ping 172.22.0.20