前往小程序,Get更优阅读体验!
立即前往
首页
学习
活动
专区
工具
TVP
发布
社区首页 >专栏 >用分布式存储实现Harbor Registry的高可用方案

用分布式存储实现Harbor Registry的高可用方案

作者头像
Henry Zhang
发布2019-04-12 16:53:33
1.5K0
发布2019-04-12 16:53:33
举报
文章被收录于专栏:亨利笔记

题图摄于旧金山艺术宫

不久前,VMware发布了Docker容器数据卷的驱动(Docker Volume Driver for vSphere)1.0 beta版本,使得Docker宿主机能够直接在vSphere的数据存储(VSAN,VMFS,NFS等)中创建卷,并直接挂载到Docker容器中,可以解决Docker容器的数据持久化存储的问题。不仅可以提供存储,这些卷还能利用vSphere的“基于存储策略的管理(SPBM, Storage Policy Based Management)”, 按需设置更高的“可容忍主机故障数(FTT)”、设置更大的“条带数(SW)”等,以获得更高级别的数据保护和更好的性能。此驱动为开源项目,下载地址:https://github.com/vmware/docker-volume-vsphere

在容器应用架构中,Registry(容器镜像仓库)是必不可少的组件,负责保存和发布容器镜像,高效可靠的Registry是确保容器应用运行的基础。本文通过详细的步骤,来说明如何在分布式存储Virtual SAN (VSAN)中创建数据卷,并以开源企业级Harbor Registry为例,把镜像和数据库数据持久化到数据卷中,从而达到更好的数据保护和高可用性(HA)的目的。本文涉及的Harbor Registry是VMware公司的另外一个开源项目,由VMware中国研发的团队负责开发。Harbor帮助用户迅速搭建一个企业级的registry 服务,提供了图形管理界面, 访问控制,AD/LDAP集成,镜像同步等企业用户需求的功能,同时还原生支持中文,深受中国用户的欢迎。下载地址:

https://github.com/vmware/harbor

原理详解

本文所描述的架构如下图,包含3个ESXi节点组成的VSAN分布式存储集群,以及Harbor Registry运行的一台虚拟机。另外,在Virtual SAN中创建了三个Docker外部卷,用于Harbor中数据的持久化存储。该集群由各节点的本地磁盘提供池化存储,可以承受一个节点失效而不影响可用性。详细配置步骤如下:

1. 先搭建了一个包含3个主机的Virtual SAN集群,在其中一台主机上安装一个Photon OS虚拟机,作为运行Docker的宿主机。当然,读者也可以不用Photon OS,自行安装Ubuntu等其他Linux版本的虚拟机,只要其能正常运行Docker Engine和Docker-Compose等服务即可。

2. 在“Docker Volume Driver for vSphere”项目的release页面(https://github.com/vmware/docker-volume-vsphere/releases),分别下载安装于ESXi主机和虚拟机上的插件,例如,对于1.0Beta版本,文件名分别为:

vmware-esx-vmdkops-1.0.beta.zip

docker-volume-vsphere-1.0.beta-1.x86_64.rpm

3. 在ESXi主机上,用以下命令安装插件,安装完成后,不需要重新启动。

# esxcli software vib install -d "/vmware-esx-vmdkops-1.0.beta.zip" --no-sig-check –f

4. 在Photon OS虚拟机上,安装RPM包。对于基于Debian的系统,请安装对应的deb包。

# rpm -ivh docker-volume-vsphere-1.0.beta-1.x86_64.rpm

5. ESXi主机上插件安装完成后,在主机上会安装一个管理脚本,位于/usr/lib/vmware/vmdkops/bin/vmdkops_admin.py,这个脚本可以帮助vSphere管理员对创建的Docker外部卷进行管理。例如,可以创建不同的存储策略。在Virtual SAN中,默认的存储策略条带数为1(即SW=1),作为示例,我们创建一个条带数为2的策略。SSH 到集群中任意一个ESXi主机,运行以下命令:

# /usr/lib/vmware/vmdkops/bin/vmdkops_admin.py policy create --name SW=2 --content '(("stripeWidth" i2))'

其中FTT=0是这个策略的名字,其中的关键点在于设置策略的内容,在这里是'(("stripeWidth" i2))'。其它可设置的参数与Virtual SAN的标准参数相同,它们的参数名和说明如下:

6. 此时,便可以在Photon虚拟机上,通过命令创建Docker卷。我们首先创建两个使用默认存储策略的卷,再创建一个使用SW=2的卷,以作示例。

# docker volume create --driver=vmdk --name=vsanvol1 -o size=50gb

vsanvol1

# docker volume create --driver=vmdk --name=vsanvol2 -o size=20gb

vsanvol2

# docker volume create --driver=vmdk --name=vsanvol3 -o size=20gb -o vsan-policy-name=SW=2

vsanvol3

通过指定--driver=vmdk参数,即可在vSphere数据存储中创建一个卷。创建出的卷存储位置与Photon虚拟机的位置相同。因为Photon OS虚拟机放置在Virtual SAN存储上,所以创建出的卷也放置在Virtual SAN存储上。此卷以VMDK的形式存在,值得注意的是,因为此VMDK此时没有挂载到任何虚拟机上,所以在浏览vSphere客户端时,通过虚拟机页面找不到关于此卷的信息。

但是,这些VMDK在vsanDatastore的dockvols目录下面可以看见:

在下文中,我们可以看到,当此卷挂载到某个运行的容器时,在vSphere客户端中就能通过关联的VM找到相应的VMDK。

7. 下载Harbor源代码,在安装之前,为了使用我们新创建的卷,需要修改Harbor配置中的harbor/Deploy/docker-compose.yml文件。在这之后,再参考Harbor安装文档进行安装。

打开docker-compose.yml文件,找到‘registry’部分,将以下配置:

volumes:

- /data/registry:/storage

- ./config/registry/:/etc/registry/

修改为:

volumes:

- vsanvol1:/storage

- ./config/registry/:/etc/registry/

其中,‘vsanvol1’就是我们刚刚创建的外部卷。

另外,找到‘mysql’部分,类似地,将以下配置:

volumes:

- /data/database:/var/lib/mysql

修改为:

volumes:

- vsanvol2:/var/lib/mysql

同样,‘vsanvol2’是我们刚刚创建 的另一个外部卷。

另外,找到‘jobservice’部分,类似地,将以下配置:

volumes:

- /data/job_logs:/var/log/jobs

- ./config/jobservice/app.conf:/etc/jobservice/app.conf

修改为:

volumes:

- vsanvol3:/var/log/jobs

- ./config/jobservice/app.conf:/etc/jobservice/app.conf

同样,‘vsanvol3’是我们刚刚创建 的另一个外部卷。

在文件的最后,加上以下配置:

volumes:

vsanvol1:

external: true

vsanvol2:

external: true

vsanvol3:

external: true

以指示这三个卷已经在外部(external)创建成功,不需要另行创建。其它配置不变。然后,按照Harbor的安装教程进行安装。

8. Harbor启动后,查看vSphere客户端,发现这三个外部卷都已经挂载到Photon虚拟机上了,作为‘Hard Disk 2’,‘Hard Disk 3’和‘Hard Disk 4’。在此版本中,似乎还有一些bug,例如这三个VMDK的存储策略显示为‘None’,但是可看出Hard Disk3的组件在Virtual SAN中是以SW=2的形式被创建的,另外两个卷在创建的时候是使用了默认的存储策略,例如Hard Disk 4:

这应该是Virtual SAN在识别” Docker Volume Driver for vSphere”创建的策略时仍有一些问题,希望后续的版本可以解决。

9. 上传两个测试image,以测试数据是否会丢失。

10. 测试HA:首先,在集群上将vSphere HA启用,所有配置选择默认配置即可。然后确认Photon虚拟机目前在10.162.102.130这一主机上。

11. 关闭这台主机的电源,等待一段时间等HA重启虚拟机以后,查看Photon虚拟机的状态。

可以看出,它已经在另外一台健康主机上被重启了。

原来的三个外部卷也已经被挂载到了重启后的虚拟机上。因为我们关闭了一台主机的电源,所以对于每一个VMDK,都显示有一个丢失的组件(Absent Component),但是VSAN的默认存储策略能够容忍一个主机的故障,所以数据还是能正常访问。

12. 虚拟机重启后,查看Harbor的状态,显示所有的容器都已经自动正常运行。

查看Harbor管理界面,两个测试Image均正常,说明没有数据丢失的情况发生。

当vSphere HA在其它主机上重启Harbor虚拟机以后,Harbor中的所有容器重新启动,但是所连接的外部卷不变,如图所示:

小结

本文介绍了用分布式存储VSAN来实现Harbor Registry高可用性的例子。由于Harbor就是一个标准的多容器应用,因此,该方法也能够用于其他容器应用。欢迎文后留言交流。

Harbor项目网址:

https://github.com/vmware/harbor

本文参与 腾讯云自媒体同步曝光计划,分享自微信公众号。
原始发表:2016-08-16,如有侵权请联系 cloudcommunity@tencent.com 删除

本文分享自 亨利笔记 微信公众号,前往查看

如有侵权,请联系 cloudcommunity@tencent.com 删除。

本文参与 腾讯云自媒体同步曝光计划  ,欢迎热爱写作的你一起参与!

评论
登录后参与评论
0 条评论
热度
最新
推荐阅读
相关产品与服务
容器镜像服务
容器镜像服务(Tencent Container Registry,TCR)为您提供安全独享、高性能的容器镜像托管分发服务。您可同时在全球多个地域创建独享实例,以实现容器镜像的就近拉取,降低拉取时间,节约带宽成本。TCR 提供细颗粒度的权限管理及访问控制,保障您的数据安全。
领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档