日吞吐万亿,腾讯云时序数据库 CTSDB 解密

一、背景

随着移动互联网、物联网、大数据等行业的高速发展,数据在持续的以指数级的速度增长,比如我们使用手机访问互网络时的行为数据,各种可穿戴设备上报的状态数据,工厂中设备传感器采集的指标数据,传统互联网公司的监控数据等。实际上,这些按照时间顺序记录系统、设备状态变化的数据都是时序数据(Time Series),它普遍存在于互联网、物联网、IT基础设施中。

得益于软硬件技术的快速发展,处理如此庞大的时序数据集的成本在持续降低,更多公司开始持续收集、分析数据,用于异常处理、趋势预测、精准营销、风险控制等场景,希望利用数据的潜在价值,提高公司盈利能力和竞争力。这里举两个例子:

1.下图为某共享单车在旧金山某热门区域的车辆借还情况。通过分析该区域车辆的历史借还数据,单车公司可优化热点时间段的车辆补给。

2. 下图为某互联网服务的出入流量历史记录。从图中可以明显看到入流量(蓝色线)在某时间段有毛刺,服务提供商可基于此段时间排查服务有无异常。可以进一步基于流量监控做告警,使运维人员能够及时处理线上问题。

二、传统时序数据解决方案存在大量问题

传统的时序数据解决方案及问题如下:

1. MySQL等关系型数据库:

  • 写入吞吐低:单机写入吞吐低,很难满足时序数据千万级的写入压力;
  • 存储成本大:对于时序数据压缩不佳,需占用大量机器资源;
  • 维护成本高:单机系统,需要在上层人工的分库分表,维护成本高;
  • 查询性能差:适用于交易处理,海量数据的聚合分析性能差。

2. Hadoop、Spark等批处理系统

  • 数据延迟高:离线批处理系统,数据从产生到可分析,耗时数小时、甚至天级;
  • 查询性能差:不能很好的利用索引,依赖批处理任务,查询耗时一般在分钟级以上。

3. HBase

  • 多维分析能力差:HBase可以较好的满足写入压力,但对于非RowKey前缀的查询性能较差;
  • 维护成本:使用HBase需要同时维护HBase和Hadoop等系统,且HBase的稳定性会进一步加大维护成本。

三、写入、存储、查询多环节优化,时序数据库优势明显

1. 时序数据模型及特点

在引入时序数据库之前,先要了解【时序数据】的模型及特点。

1.1 时序数据的数学模型

前面介绍了时序数据的场景,也说明了分析时序数据的意义及传统方案。那么时序数据该怎样存储呢?数据的存储要考虑其数学模型和特点,时序数据当然也不例外。这里以一段时序数据为例,介绍下时序数据的数学模型。

下列数据记录了一段时间内某集群里各机器上各端口的出入流量,每半小时记录一个观测值:

  • metric: 相关联的数据集合,类似于关系型数据库中的 table;
  • point: 一个时序数据点,类似于关系型数据库中的 row;
  • timestamp: 时间戳,表征时序数据产生的时间点;
  • tag: 维度列,用于描述设备/系统的属性,表明是哪个设备/模块产生的,一般不随着时间变化;
  • field: 指标列,用于描述设备/系统状态的变化,随时间平滑波动。

1.2 时序数据特点

  • 数据模式: 时序数据随时间增长,相同设备/系统的维度信息不变,指标平滑变化,这点从上面的Network表的数据变化可以看出。
  • 写入: 持续高并发写入,无更新操作:时序数据库面对的往往是百万甚至千万数量级终端设备的实时数据写入(如摩拜单车2017年全国车辆数为千万级),但数据大多表征设备状态,写入后不会更新。
  • 查询: 按不同维度对指标进行统计分析,且存在明显的冷热数据,一般只会频繁查询近期数据。

2. 时序数据库

2.1 时序数据库

时序数据库是管理时序数据的专业化数据库,并针对时序数据的特点对写入、存储、查询等流程进行了优化,从而解决时序数据处理难题:

  • 存储成本:

o 利用维度重复、时间递增、指标平滑变化等特性,合理选择编码压缩算法,提高数据压缩比;

o 通过预降精度,对历史数据做聚合,节省存储空间。

  • 高并发写入:

o 数据批量写入,降低网络开销;

o 数据先写入内存,再周期性的dump为不可变的文件存储,提高写入速度。

  • 低查询延时,高查询并发:

o 优化常见的查询模式,通过索引等技术降低查询延时;

o 通过缓存、routing等技术提高查询并发。

2.2 开源时序数据库对比

目前行业内比较流行的开源时序数据库产品有 InfluxDB、OpenTSDB、Prometheus、Graphite等,其产品特性对比如下图所示:

从上表可以看出,开源的时序数据库存在如下问题:

  • 没有free、易用的分布式版本(OpenTSDB支持分布式部署,但依赖系统过多,维护成本高);
  • 聚合能力普遍较弱,而时序数据大多需要来做统计分析;
  • 没有free的权限管理;
  • 没有针对时间序列的多维度对比分析工具。

四、历经每日万亿写入吞吐,腾讯云CTSDB技术架构

腾讯CTSDB(Cloud Time Series Database)是一种分布式、高性能的时序数据库,针对时序数据的高并发写入、存在明显的冷热数据、IoT用户场景等做了大量优化,同时也支持各行业的日志解析和存储。在腾讯内部支撑腾讯云等每日万亿写入吞吐的场景,经过严苛的压力打磨。其架构如下图所示:

1. CTSDB主要特点

  • 高性能:(具体性能数据参考后文测试部分)

o 支持批量写入、高并发查询,以及强大的分析聚合能力;

o 通过横向扩展,线性提升系统性能;

o 支持sharding、routing,加速查询。

  • 高可靠:

o 分布式系统,支持多副本;

o 机架感知,自动错开机架分配主从副本。

  • 易使用:

o 丰富的数据类型,REST接口,数据写入查询均使用json格式;

o 原生分布式,弹性可伸缩,数据自动均衡;

o 权限系统:支持用户名密码、机器白名单的权限系统。

  • 低成本:

o 支持列存储,高压缩比(0.1左右),降低存储成本;

o 支持数据预降精度:降低存储成本的同时,提高查询性能。

o 副本数可按需调整。

  • 兼容开源生态:

o 兼容Kibana/Logstash/Beat等组件,方便数据采集及可视化分析;

o 支持从MySQL、Kafka等开源生态同步数据,方便迁移。

2. 竞品性能对比测试

这里选用业界较为流行的InfluxDB来与CTSDB做性能对比测试。

2.1 写入性能测试

(1) CTSDB单节点集群与InfluxDB单机版写入性能对比

横坐标:并发数(写入线程数) ,纵坐标:QPS(单位:万次/s)

结论: CTSDB单节点写入性能最高在19w,InfluxDB在15w。

(2) CTSDB单节点集群与CTSDB双节点集群写入性能对比

横坐标:并发数(写入线程数) ,纵坐标:QPS(单位:万次/s)

结论:CTSDB单节点集群写入最高可达20w,双节点集群写入性能34w。

2.2 查询性能测试

(1) CTSDB单节点集群与InfluxDB单机版查询性能对比

横坐标:并发数(查询线程数) ,纵坐标:QPS(单位:次/s)

结论:

  • CTSDB查询性能整体比InfluxDB好很多,当并发数较高时(40),CTSDB查询性能比InfluxDB高出近4倍,在2w左右。
  • 在并发线程数达到50时,InfluxDB出现链接错误,拒绝查询请求;此时,CTSDB可正常查询。

(2) CTSDB单节点集群与双节点集群查询性能对比

横坐标:并发数(查询线程数) ,纵坐标:QPS(单位:次/s)

结论:在并发数较高的情况下,双节点集群查询性能较单节点集群有了大幅度提升,呈现了查询性能线性扩展的趋势。

关于我们

1. 我们的现状

作为腾讯唯一的时序数据库,CTSDB支撑了腾讯内部20多个核心业务(微信彩票、财付通、云监控、云数据库、云负载等)。其中,云监控系统记录了腾讯内部各种软硬件系统的实时状态,CTSDB承载了它所有的数据存储,在每秒千万级数据点的写入压力、每天20TB+数据量的写入场景下稳定运行,足以证明CTSDB可以稳定支撑物联网的海量数据场景。

2. 我们的未来

CTSDB已经在腾讯云正式开始公测,为时序数据处理提供技术服务,我们将在降低存储成本、提升易用性和丰富功能性等方面进一步优化CTSDB!

欢迎对时序数据库和分布式存储感兴趣的同学加入我们!

原创声明,本文系作者授权云+社区发表,未经许可,不得转载。

如有侵权,请联系 yunjia_community@tencent.com 删除。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏恒思考

流媒体第一篇-直播p2p设计

p2p的意思是让数据不都从一台服务器拉留,对于直播公司来说就是想办法少给cdn钱,对于cdn厂商来说降低峰值什么的。怎么p2p首先你要保证有人看你这个直播,看的...

2542
来自专栏杨建荣的学习笔记

从“悲剧”的几个运维场景谈谈运维开发的痛点

我在这个事情上栽了很多的跟头,而且会发现事情变得越来越不可控。就好比我的期望是6,达到的结果是2,反差越大,发现改进的空间很大,以至于我会陷入一个死循环,我会想...

1202
来自专栏PPV课数据科学社区

【学习】深度解析LinkedIn大数据平台(二):数据集成

第二部分:数据集成 请让我首先解释 一下“数据集成”是什么意思,还有为什么我觉得它很重要,之后我们再来看看它和日志有什么关系。 数据集成就是将数据组织起来,使...

3587
来自专栏美团技术团队

Hyperloop,让发布简洁高效

Hyperloop 是什么? Hyperloop 是服务于美团点评客户端的组件发版、持续集成、App 打包构建、资源调度等各个环节的发布调度系统。名称起源于美国...

3917
来自专栏熊二哥

架构设计深入学习02-概念架构与细化架构

胜兵先胜而后求战,败兵先战而后求胜—《孙子兵法》。 这部分有些内容比较陈旧,但原理和思路还是一致的。 ? 通常来说,概念架构满足"架构=组件+交互"且只关注高...

2218
来自专栏Bug生活2048

微信小程序版博客——开发汇总总结(附源码)

对于博客来说功能页面不是很多,且有些限制于后端服务(基于ghost博客提供的服务),相关样式可以参考截图或者直接访问我的小程序

2132
来自专栏编程

程序员提高编程能力万无一失的办法

那就是去读别人写的代码。读那些你常用的库、编程框架的源代码,读那些你景仰的大牛的源代码,读代码里的测试(测试本身就是一种有效的文档);读代码、改代码、运行代码。...

2579
来自专栏虚拟化云计算

几张图看一下Intel和NVIDIA显卡虚拟化

GPU全虚拟化的方式由于其性能和多虚拟机共享性方面的优势,一直是GPU厂家所努力支持的方向。本文通过几张架构图,看一下GPU全虚拟化中的Intel GVT-g和...

5415
来自专栏IT大咖说

一线工程师宝贵经验:架构的深入思考 From FunData

内容来源:之前作者写了一篇《FunData — 电竞大数据系统架构演进》的文章,传送门:http://t.cn/RdgKWGW 觉得没有深入写出一些深层次的东西...

1153
来自专栏数据的力量

【答疑解惑】做大数据过程中遇到的13个问题

1704

扫码关注云+社区

领取腾讯云代金券