专栏首页IT技术精选文摘高性能配置中心 duic - 设计&实现

高性能配置中心 duic - 设计&实现

什么是配置?

配置(Configuration)对于技术人员来说应该都不陌生,通常配置都是以 key-value 的形式存在于配置文件当中。例如线程池大小、数据库连接、逻辑开关及业务参数等等。

那么为什么我们需要提供各种各样的配置呢?其本质原因是我们无法在开发时决定软件在运行时的一切,为保证程序的灵活性我们需要在开发过程中提供各种配置,以便软件在运行时能动态调整程序的行为。

配置即程序在运行时动态调整行为的能力!

灵感

之前我们一直是使用 spring-cloud-config 来管理服务端配置,但是 spring-cloud-config 并不支持热加载,按需获取配置,且因为是 spring 体系中的项目对于其它语言或非 spring 体系的项目支持较弱。

建立在这种基础之上,我们借鉴了 spring-cloud-config 的配置管理方式以及应用环境管理方式开发了全新的分布式配置中心 duic。

简介

duic 的诞生从来都不只是为了解决服务端的配置问题,你同样可以使用它对 APP、WEB 应用的配置进行管理。因采用 HTTP 的方式拉取配置数据,对于多语言,多应用类型的配置支持非常的好。

如果你的 APP、WEB、Server 有一部分公共配置,你也可以完全使用 duic 来解决,而不需要在每个应用单独配置(冗余),修改一处配置对于所有应用都有效。并且 duic 支持多配置合并功能,你可以将公共配置与私有配置分开管理,在拉取配置时进行合并,能有效的进行配置权限管理。同时 duic 支持按需获取配置,这个功能对于 WEB、APP 非常有用,有时你可能只需要某个配置参数,而不是拉取整个配置数据。

设计目标是统一不同应用的配置管理方式,打造更人性化的配置编辑方式,提供更灵活的配置获取方式。

duic 配置管理方式与其它配置中心是完全不一样的,我们放弃采用 key-value 两个输入框来编辑配置的方式。转而采用 YAML 语法 + 在线编辑器的方式来管理编辑配置。这样可以轻松支持结构化配置并且你可以得到高度可视化配置编辑方式,如下图:

这种管理方式所带来的好处是:

  • 配置可读性高
  • 支持语法高亮
  • 支持数据类型
  • 支持文档注释
  • 结构化配置为按需获取配置提供了基础

通常配置都是以 key-value 的形式存在,比如 VIP 的价格 vip.price=100,是否启用某个功能 game.enabled=true。大多数情况是如此,但是实际情况中还是有很多场景需要结构化的配置支持,目前使用较多来处理这种场景的方法是使用 key=json string 来解决。 例:将图标和点击的 URL 采用 JSON 的方式配置,可以在数据结构中维持配置的关系且配置易于理解。

{  "logo": {    "top": {      "icon": "icon url",      "url": "link url"
    },    "special": {      "icon": "icon url",      "url": "link url"
    },    "goddess": {      "icon": "icon url",      "url": "link url"
    }
  }
}

但是这种方式的缺点依然很明显,使用时必须要手动调用 JSON 解析 API 将字符串转换为 JSON 对象,其次是无法按需取值,比如我只想要 logo.top 的配置,但是也必须要将整个 logo 转换为 JSON 之后才能获取 top 的配置。而 duic 提供了按需获取配置接口,可以直接获取 logo.top 的配置项。

特性

  • 集中配置管理,多应用多环境配置
  • 配置实时更新
  • 支持配置数据类型/数据格式
  • HTTP 方式拉取配置
  • 配置状态检查
  • 配置状态监控
  • 多配置合并
  • 按需获取配置
  • 配置权限管理
  • 支持配置 IP 访问限制
  • 支持配置 TOKEN 校验
  • 支持 MySQL 存储配置
  • 支持 Oracle 存储配置
  • 支持 PostgreSQL 存储配置
  • 支持 MongoDB 存储配置
  • 支持 Docker 部署
  • 完美支持 Spring Boot
  • 如果你的项目是采用 spring-boot 开发,那 duic 不仅能管理你业务的配置,还能管理所有 spring-boot 相关的配置,配置方式与 application.yml 文件编辑无差异。 比如你可以像下图一样设置应用日志级别信息,当你修改日志级别后在应用中能实时反应。

系统架构

部署

基本部署方案

duic 支持 MySQL、PostgreSQL、Oracle、MongoDB 存储配置信息,你可以灵活的选择配置存储方式。依照上图部署 duic 就能使用配置中心的全部功能,部署的方式和网络组织架构都非常的简单。

在设计时为了能简化部署,将 Admin 与获取配置相关的 API 集成在一个服务当中,降低部署的复杂性。

高可用部署架构方案

duic 对于数据库的压力非常的小,所以基本上数据库你只需要 master/salve 部署模式即可实现服务高可用。duic 服务你可以根据自身业务的压力情况部署 N 个。前面可以采用 nginx 做负载均衡利用 keepalived 避免单点问题。这是我们目前使用 duic 高可用的部署方案(仅供参考)。

实现

duic 是完全采用 Reactive Programming 实现。使用技术主要有 kotlin、spring-webflux、spring-boot、vue.js、gradle。

配置实时更新

  1. 客户端启动时获取配置及配置状态。
  2. 使用 /apps/watches/{name}/{profiles} 接口监控服务端配置状态变化。
  • 调用 watches 接口时需要传入客户端当前状态,服务端根据客户端传入的状态判断。
  • 如果与服务端的配置状态不一致会立即响应最新的状态。
  • 如果状态一致请求则会延迟返回(最长30秒)。在30秒内配置状态发生变化,服务端会立即响应。在30秒配置状态未发生变化,服务端也会响应当前最新状态给客户端。
  1. 接收到服务端的状态响应时客户端需要判断状态是否与客户端当前的一致,如果一致则继续 watch 配置状态,如果不一致则重载配置

配置重载完全是由客户端发起的,这是长轮询(Long Polling)实现,利用 HTTP 长连接无需担心重复建立链接问题,带来的好处就是实现简单可用性高。

配置&内存

在 duic 服务启动时会将数据库存储的配置数据全部加载在 JVM 内存中,当你通过 HTTP 接口访问配置数据时,duic 会直接将内存中的配置返回,中间不会有任何查询数据库的操作,所以你使用 duic 获取配置时响应速度非常的快(具体请看后面的性能测试报告)。

集群管理

在 duic 服务启动时会将启动服务的主机名与端口注册到数据库的 DUIC_SERVER 表中。当有人在控制台修改配置时,duic 会通知 DUIC_SERVER 表中的所有服务重载最新配置。同时 duic 内部还会轮询机制保证 JVM 内存永远都是最新的配置数据。

RESTful API

OpenAPI 3.0 文档

获取配置状态

GET /apps/states/{name}/{profiles}

监控配置状态

GET /apps/watches/{name}/{profiles}

获取配置

GET /apps/{name}/{profiles}

按需获取配置

GET /apps/{name}/{profiles}/{key}

性能报告

服务器配置:E5-2620V3(12核24线程 主频2.4GHz) / 16G

操作系统:Ubuntu 16.04

测试工具: wrk

Java 版本:1.8.0_161

JVM 参数

java -server -XX:+UseG1GC -Xms8g -Xmx8g -XX:MetaspaceSize=128m -XX:+HeapDumpOnOutOfMemoryError -XX:HeapDumpPath=logs/ -XX:+PrintGCDateStamps -verbose:gc -XX:+PrintGCDetails -Xloggc:logs/gc.log

测试结果,每秒 duic 可达到 24760tps,服务的每个工作线程 CPU 已经达到 97% 以上,在这台设备中性能已经无法在继续提高了,这是我目前手上最好的服务器。

Running 1m test @ http://192.168.31.164:7777/api/v1/apps/meme/test-public
  12 threads and 100 connections
  Thread Stats   Avg      Stdev     Max   +/- Stdev
    Latency     3.91ms    1.01ms  38.21ms   93.70%
    Req/Sec     2.07k    92.01     2.71k    83.65%
  1486594 requests in 1.00m, 4.52GB read
Requests/sec:  24760.93
Transfer/sec:     77.10MB

CPU 报告

GC 报告

结语

duic 配置中心源码仓库 https://github.com/zhudyos/duic 欢迎大家提供任何意见,建议和吐槽。

本文分享自微信公众号 - IT技术精选文摘(ITHK01)

原文出处及转载信息见文内详细说明,如有侵权,请联系 yunjia_community@tencent.com 删除。

原始发表时间:2018-06-27

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

我来说两句

0 条评论
登录 后参与评论

相关文章

  • 如何利用配置中心规范构建PaaS服务配置

    在上一篇文章中,我们以MQ和ACM为例,讨论了如何借助配置中心对消息进行限流管理的场景。在本文中,我们继续以该场景为例,讲述如何以规范的配置命名格式来进行限流设...

    用户1263954
  • 面试题: Mybatis的执行流程是怎样的?

    Configuration.xml:该配置文件是MyBatis的全局配置文件,在这个文件中可以配置诸多项目,但是一般项目中,并不会配置太多内容,常用的内容是别名...

    用户1263954
  • 10个最重大的Web应用风险与攻防

    先来看几个出现安全问题的例子 ? ? ? ? ? OWASP TOP10 ? 开发为什么要知道OWASP TOP10 ? TOP1-注入 ? TOP1-注入的示...

    用户1263954
  • 如何利用配置中心规范构建PaaS服务配置

    在上一篇文章中,我们以MQ和ACM为例,讨论了如何借助配置中心对消息进行限流管理的场景。在本文中,我们继续以该场景为例,讲述如何以规范的配置命名格式来进行限流设...

    用户1263954
  • Jmeter系列(20)- 配置元件的入门介绍

    https://www.cnblogs.com/poloyy/category/1746599.html

    小菠萝测试笔记
  • MySQL 案例:乱码,字符集与错入错出的 MySQL

    “数据库的数据变成乱码了!”---想必不少 DBA 们对类似的“呼救”不算太陌生。一般来说这类问题都是字符集的设置有关,同时在 MySQL 中也存在“错入错出”...

    王文安@DBA
  • Linux删除乱码文件的方法

    当文件名为乱码的时候,无法通过键盘输入文件名,所以在终端下就不能直接利用rm,mv等命令管理文件了。 我们可以通过以下几种方法删除linux下的乱码文件。(文件...

    三丰SanFeng
  • StackOverflow 上面最流行的 7 个 Java 问题!

    StackOverflow发展到目前,已经成为了全球开发者的金矿。它能够帮助我们找到在各个领域遇到的问题的最有用的解决方案,同时我们也会从中学习到很多新的东西。

    良月柒
  • StackOverflow 上面最流行的 7 个 Java 问题!

    StackOverflow发展到目前,已经成为了全球开发者的金矿。它能够帮助我们找到在各个领域遇到的问题的最有用的解决方案,同时我们也会从中学习到很多新的东西。

    路人甲Java
  • StackOverflow上高赞问题:为什么处理一个排序数组要比非排序数组快的多

    今天,我们一起看几个 StackOverflow 上关于 Java 的几个高赞答案。

    业余草

扫码关注云+社区

领取腾讯云代金券