本文作者 彭冬
微博广告基础架构团队负责人、技术专家,商业大数据平台及智能监控平台发起人,目前负责广告核心引擎基础架构、Hubble智能监控系统、商业基础数据平台(D+)等基础设施建设。关注计算广告、大数据、人工智能、高可用系统架构设计、区块链等方向。在加入微博之前,曾就职于百度负责大数据平台建设,曾担任趣点科技联合创始人兼CTO等职位。毕业于西北工业大学,曾在国内外知名期刊发表多篇学术论文,拥有9项发明专利。
什么是时序数据
在介绍时序数据库之前,我们先来看看什么是时序数据。时序数据就是基于时间排序的数
据,再通过时间坐标将这些数据连接起来,形成一个折线图,直观地展示一个指标在过去一段时间内的走势和规律,帮助定位数据异常点。
时序数据库就是用来存储这些时序数据的数据库。与传统数据库相比,时序数据库需要能
够长时间保存数据,且需要实时展示,这就要求时序数据库能做到持久化存储,以及数据读写的高性能。此外,对于一些复杂的场景,比如广告业务的多维度多指标,时序数据库还需要做到多维查询、指标聚合等。图 8-1 展示了某服务最近 6 小时的 QPS 走势。
图8-1 QPS走势图
时序数据库的特点
上面介绍的时序数据库的这些特点,决定了时序数据库具有以下特性。
表 8-1 显示了在同一个时间、不同维度下 QPS 的变化情况。其中地域和性别就是Dimension,北京、上海等就是地域维度的类别,QPS 就是 Metric,QPS 列的数据就是 QPS 指标每秒钟在地域和性别组合维度下的值。
表 8-1 时序数据库模型
时序数据库的对比
目前,市面上的时序数据库种类繁多,比较老牌的有 Graphite、RRD Tool 等,后起之秀有InfluxDB、OpenTSDB、Prometheus 等,还有一些虽然不能定位为时序数据库,但是可以轻松实现时序数据存储的功能,支持海量数据做实时聚合运算,且功能强大,比如 Druid、Elasticsearch、ClickHouse 等。表 8-2 对比了目前主流时序数据库的优缺点。
表 8-2 主流时序数据库的优缺点
————
本文新作《智能运维:从0搭建大规模分布式AIOps系统》。本书来自作者在智能运维岗位上一路打怪升级的数载经验、心得,既有切肤之痛,也不乏高屋建瓴,更有国内一线AIOps团队的酷炫打法,还有面向未来的高瞻远瞩与精辟阐析。互联网车轮滚滚前行,如若不想让自己的脚步放慢,请直击下方阅读原文,颠覆固有的思想,智能化自己的技能。
内容简介:《智能运维:从0搭建大规模分布式AIOps系统》结合大企业的智能运维实践,全面完整地介绍智能运维的技术体系,让读者更加了解运维技术的现状和发展。同时,帮助运维工程师在一定程度上了解机器学习的常见算法模型,以及如何将它们应用到运维工作中。《智能运维:从0搭建大规模分布式AIOps系统》共分4篇。第1篇运维发展史,重点阐述当前运维的发展现状及面临的技术挑战;第2篇智能运维基础设施,重点讲述大数据场景下的数据存储、大数据处理和分析的方法与经验,以及海量数据多维度多指标的处理分析技术;第3篇智能运维技术详解,重点关注在新时期大数据时代下智能化的运维技术,包括数据聚合与关联、数据异常点检测、故障诊断和分析、趋势预测算法;第4篇技术案例详解,为大家梳理了通过开源框架ELK快速构建智能监控系统的整体方案,还将分享微博平台和微博广告两个不同业务场景下智能监控系统的技术实践。《智能运维:从0搭建大规模分布式AIOps系统》适合运维、开发、架构、DevOps工程师及广大互联网技术爱好者研读和借鉴。