Harbor应用案例：网易轻舟微服务平台
本文作者系裴明明，网易杭州研究院轻舟云原生架构师，Harbor 开源项目维护者，主要负责网易轻舟云原生 DevOps 体系设计、研发及落地等，在云原生、DevOps、微服务架构等领域拥有丰富的经验。
本文节选自《Harbor权威指南》，精选网易轻舟微服务平台集成 Harbor 的方式和应用场景，读者既可以了解 Harbor 的特性和使用模式，也可以在方案制定和管理实践上借鉴成功经验。
网易轻舟微服务团队使用的是 Harbor 1.7 版本，对该版本进行了性能上的优化和功能上的增强，并将增强的 Webhook 功能贡献回 Harbor 项目。
为满足网易的音乐、电商、传媒、教育等业务线的微服务化需求，网易杭州研究院研发了一套完整的云原生应用管理平台——网易轻舟微服务，平台以 Docker、Kubernetes、Harbor、Istio 为基础设施，构造了 DevOps、微服务等一套完整的解决方案，并将其开放给第三方企业解决业务容器化和服务治理等问题。该平台在生产环境集群中曾达到单集群运行 10000 个节点的规模。
轻舟微服务平台的整体架构如下图所示。
该平台基于 Harbor 提供了镜像仓库功能，并为 PaaS 平台的其他功能提供服务，上层的微服务系统则依赖 PaaS 平台提供的服务，配套日志、监控等平台功能，完成了从项目研发到服务治理的全生命周期管理。网易轻舟团队在 Harbor 上做了一层业务开发，使得轻舟镜像仓库支持多租户、多项目、多环境，并且和轻舟微服务平台数据模型、权限模型打通，将镜像仓库功能融入多个业务流程中，将应用的上下游贯通，形成一套完整的应用管理和交付流程。
1．Harbor 的使用
网易轻舟微服务平台中镜像仓库服务的核心架构如下图所示。轻舟镜像仓库服务和轻舟容器云服务构成了中间层服务，被轻舟 DevOps 平台所依赖。轻舟镜像仓库服务可以管理多套 Harbor，并将仓库资源分配给不同的 Kubernetes 集群使用，做到集群级别的资源隔离，通过 Harbor 的开放 API 管理每个实例下的数据资源。另外，轻舟镜像仓库服务负责将 Harbor 和轻舟微服务平台的数据模型对齐，打通 Harbor 和轻舟微服务平台的权限系统，用户可使用轻舟微服务平台的账号和权限来管理镜像。
轻舟微服务平台的 Harbor 之间可以通过远程复制的方式同步镜像，做到研发和运维人员在不同环境下的协作。用户可以为项目不同环境下的集群分配不同的 Harbor 实例，例如线下使用一套 Harbor，线上使用另一套 Harbor，并且配置合适的复制规则，将测试通过的镜像推送到线上仓库中发布和使用。这种设计在线上线下环境网络隔离并且应用发布更新频繁的场景中非常实用，用户只需连通两套 Harbor 之间的网络，就可以在集群中使用私有网络分发镜像，如下图所示。
这样的架构有以下好处。
（1）线上线下镜像仓库隔离，防止误操作。
（2）测试环境通常会频繁构建镜像、部署、测试，所以线下环境中 Harbor 的负载较大，运维复杂性高，服务不可用率更高，分开后可以保证线上环境的稳定性。
（3）配置适当的 Harbor 远程复制策略，只有经过测试且需要发布的镜像才会由 Harbor 复制到线上仓库，大大减少了线上 Harbor 的镜像数量，性能更好，清理垃圾镜像等运维过程更简单。（本文为公众号亨利笔记原创文章）
（4）线上线下环境网络在正常情况下是互相隔离的，既可减少网络间的镜像拉取，节省流量费用，也确保了线上系统的安全。
为了保证 Harbor 的稳定性和高性能，轻舟微服务平台的 Harbor 后端采用了网易对象存储及 S3 对象存储驱动并且做了性能优化。
2．实现 Harbor 的高可用性
Harbor 高可用的一种可行方案是部署两个 Harbor 实例，这两个 Harbor 实例共享存储并且可以各自独立工作，通过负载均衡统一对外提供服务。如果每个 Harbor实例内部的组件没有冗余的能力，则此架构有一定的潜在问题：当一个 Harbor 实例的后端组件发生故障时，负载均衡器可能依旧把请求发送到这个 Harbor 实例（因为前端依然正常），但是这个请求最终处理失败。所以 Harbor 的高可用方案需要 Harbor 的每个组件都有冗余设计，使每个组件都有高可用性，任何一个组件出现故障都不会影响 Harbor 整体对外提供服务。
Harbor 要实现高可用，还需要解决以下问题。
（1）Harbor 使用的 PostgreSQL 数据库在国外应用广泛，本身提供了主备复制，但是整体的高可用性还比较欠缺。早期轻舟微服务平台基于主备复制实现了高可用性及一套复杂的人工运维方案。后来使用了开源项目 Stolon，实现了云上 PostgreSQL 的高可用和故障自愈能力，满足了 Harbor 对数据存储的要求，运行稳定，运维工具丰富，对 Harbor 的私有化交付非常有利。
（2）Harbor 使用 Redis 作为缓存，只支持单一的地址配置，并不支持 Redis 哨兵或者 Redis 集群等常见的高可用架构。Harbor 社区有一套基于 HAProxy 的方案，能满足 Harbor 生产级的应用，其中的一些参数需要用户调试和设置。（本文为公众号亨利笔记原创文章）
（3）异步任务执行日志和镜像等数据需要使用网盘或者对象存储，轻舟团队给 Harbor 贡献了一个功能：从 Harbor 1.7 开始支持将异步任务执行的日志放入数据库中，不再依赖于网盘或对象存储。镜像数据的高可用可以通过网盘或者对象存储解决，但是维护成本较高。轻舟微服务平台基于 Rsync 和 Inotify 实现了一套文件自动同步方案，保证了本地文件模式下主备数据的一致性。该方案需要允许极少正在处理的镜像丢失，但是系统非常轻量，可配合相应的监控方案保证主备同步及时、有效。另外，此方案的数据迁移和备份非常方便，用户可以通过 Rsync 实现数据的远程冷备份。
监控告警在确保 Harbor 的高可用性上不可缺少。Harbor 是被部署在 Kubernetes 集群中的，并使用 Prometheus 提供监控告警功能，目前的监控项有以下几方面。
◎Harbor 部署主机的资源使用情况。
◎Harbor 服务的容器健康情况，这是 Harbor 提供的功能。
◎Harbor 业务健康监控，比如复制失败告警、扫描失败告警等，可以通过对 Harbor 增加度量接口实现，也可以通过 Harbor 的 Webhook 功能实现。
3．提高Harbor的性能
Harbor 的性能主要涉及镜像并发推送和拉取、镜像复制、GC 等方面。作为镜像仓库，大规模镜像的分发能力是最能评估 Harbor 性能的。（本文为公众号亨利笔记原创文章）
网易单个业务的副本数可以达到成百上千的规模，持续集成流水线规模也很大，所以需要关注 Harbor 的镜像并发推送和拉取性能。Harbor 1.7 及之前的版本因为Golang 语言包的问题，并发拉取超过一定频率会出错。其他要考虑的是大规模推送和分发面临的带宽问题，无论是Harbor服务的网络带宽还是后端存储的 I/O 带宽，都可能成为性能瓶颈。
解决带宽问题有多种方案：扩容、增加缓存、使用分布式镜像分发工具。轻舟团队在尝试了多种方式之后，决定采用 P2P 镜像分发系统。目前轻舟镜像仓库集成了 Uber 开源的 Kraken 项目作为 P2P 分发工具，配上合适的监控方案，可较好地解决大规模镜像分发的问题。
4．镜像仓库和DevOps
有的用户可能会觉得镜像仓库只是一个文件仓库，是用来存放镜像的，其实这忽略了镜像仓库的重要意义。在 CNCF 的应用交付特别兴趣小组（AppDelivery SIG）中就有应用打包的专题。在实际应用中，镜像仓库是应用交付流程中的一个重要环节，能起到打通整个应用交付流程的作用。应用从代码编写到部署上线，经历了代码、制品、镜像、工作负载的流程，这又涉及编译、构建、部署等 CI/CD 的核心流程，贯穿于这个流程中的就是镜像，所以镜像仓库意义非凡。
在以应用为核心的 DevOps 流程中，人们都会关注应用的演进过程，关注应用的生命周期，所以围绕镜像设计应用的版本管理，将代码、镜像、部署关联起来，从而让用户追踪代码的最终交付，追踪云上服务的代码源头，让用户流畅地操作应用的交付流程，并从应用的视角贯穿这个 CI/CD 流程。社区提出的“源代码到镜像”概念，使流程对终端用户透明，用户只需关注具体业务的开发过程，其他都是自动化完成的，而连接用户和运维的正是这些过程的产出品。（本文为公众号亨利笔记原创文章）
镜像管理也是 CI/CD 流程的一部分，Webhook 可以触发部署流水线，漏洞扫描是云原生应用安全的核心功能，镜像远程复制可以解决跨云部署的问题。这些特性都真真切切地将 Harbor 嵌入 DevOps 的流程中，并且在每个环节中都发挥着作用。
5．网易和Harbor社区
网易曾有自研的镜像仓库产品，但在 Harbor 开源的后，轻舟团队开始关注 Harbor社区的发展，并在产品中引入 Harbor。一方面 Harbor 本身功能比较完善，社区活跃，发展较快；另一方面 Harbor 是 CNCF 镜像仓库项目，是开放的社区，符合网易轻舟微服务的发展路线。
网易将 Harbor 作为镜像仓库的标准，围绕 Harbor 的功能设计了很多使用场景，同时积极优化和增强 Harbor 的功能，并且贡献、回馈社区。轻舟团队给Harbor贡献了异步任务日志的数据库功能，参与开发 Harbor 的镜像复制功能，独立贡献并维护 Webhook 的功能，还参与 Harbor 的 P2P 分发功能开发。除了功能上的贡献，轻舟团队还对 Harbor 做了大量生产级测试，并向社区提交了 Harbor 的性能瓶颈问题和优化点。