专栏首页企鹅号快讯简析OpenTSDB的用途是什么

简析OpenTSDB的用途是什么

OpenTSDB 是一种基于 HBase 编写的分布式、可扩展的时间序列数据库。官方文档这样描述:OpenTSDB is a distributed, scalable Time Series Database (TSDB) written on top of HBase;

翻译过来就是,基于Hbase的分布式的,可伸缩的时间序列数据库,和上面的意思基本相同。

主要用途,就是做监控系统;譬如收集大规模集群(包括网络设备、操作系统、应用程序)的监控数据并进行存储,查询。

存储到OpenTSDB的数据,是以metric为单位的,metric就是1个监控项,譬如服务器的话,会有CPU使用率、内存使用率这些metric;

OpenTSDB使用HBase作为存储,由于有良好的设计,因此对metric的数据存储支持到秒级别;

OpenTSDB支持数据永久存储,即保存的数据不会主动删除;并且原始数据会一直保存(有些监控系统会将较久之前的数据聚合之后保存)

OpenTSDB存储相关的概念

介绍这些概念的时候,我们先看一个实际的场景。

譬如假设我们采集1个服务器(hostname=qatest)的CPU使用率,发现该服务器在21:00的时候,CPU使用率达到99%

下面结合例子看看OpenTSDB存储的一些核心概念

1)Metric:即平时我们所说的监控项。譬如上面的CPU使用率

2)Tags:就是一些标签,在OpenTSDB里面,Tags由tagk和tagv组成,即tagk=takv。标签是用来描述Metric的,譬如上面为了标记是服务器A的CpuUsage,tags可为hostname=qatest

3)Value:一个Value表示一个metric的实际数值,譬如上面的99%

4)Timestamp:即时间戳,用来描述Value是什么时候的;譬如上面的21:00

5)Data Point:即某个Metric在某个时间点的数值。

Data Point包括以下部分:Metric、Tags、Value、Timestamp

上面描述的服务器在21:00时候的cpu使用率,就是1个DataPoint

保存到OpenTSDB的,就是无数个DataPoint。

Servers:就是服务器了,上面的C就是指Collector,可以理解为OpenTSDB的agent,通过Collector收集数据,推送数据;

TSD:TSD是对外通信的无状态的服务器,Collector可以通过TSD简单的RPC协议推送监控数据;另外TSD还提供了一个web UI页面供数据查询;另外也可以通过脚本查询监控数据,对监控数据做报警

HBase:TSD收到监控数据后,是通过AsyncHbase这个库来将数据写入到HBase;AsyncHbase是完全异步、非阻塞、线程安全的Hbase客户端,使用更少的线程、锁以及内存,可以提供更高的吞吐量,特别对于大量的写操作。

本文来自企鹅号 - 科技大咖汇媒体

我来说两句

0 条评论
登录 后参与评论

相关文章

  • 5 款最酷的 Linux 终端模拟器

    Xiki 首先我要推荐的第一个终端是 Xiki。 Xiki 是 Craig Muth 的智慧结晶,他是一个天才程序员,也是一个有趣的人(有趣在此处的意思是幽默,...

    企鹅号小编
  • 基本短语是浅层和深层parsing的重要接口

    白: 句法的作用,第一是把远距离相关的成分拉到一个滑动窗口里来,第二才是在同一个滑动窗口里有多选的话,考虑语序因素来进一步缩小范围。 我: 说得好。第一个作用一...

    企鹅号小编
  • 机器学习(三)——k-近邻算法基础

    机器学习(三) ——k-近邻算法基础 (原创内容,转载请注明来源,谢谢) 一、概述 k近邻算法(kNN),是监督学习的一种,主要用于分类,通过测量不同特征值之间...

    企鹅号小编
  • 机器学习(三) ——k-近邻算法基础

    机器学习(三)——k-近邻算法基础 (原创内容,转载请注明来源,谢谢) 一、概述 k近邻算法(kNN),是监督学习的一种,主要用于分类,通过...

    用户1327360
  • 机器学习(三)——k-近邻算法基础

    机器学习(三) ——k-近邻算法基础 (原创内容,转载请注明来源,谢谢) 一、概述 k近邻算法(kNN),是监督学习的一种,主要用于分类,通过测量不同特征值之间...

    企鹅号小编
  • Wordpress <= 4.6.1 使用语言文件任意代码执行 漏洞分析

    Author: p0wd3r (知道创宇404安全实验室) 0x00 漏洞概述 1.漏洞简介 WordPress是一个以PHP和MySQL为平台的自由开源的博...

    Seebug漏洞平台
  • 基于Scrapy的东方财富网爬虫

    标题中的英文首字母大写比较规范,但在python实际使用中均为小写。 2018年9月6日笔记 IDE(Intergrated development Env...

    潇洒坤
  • 动态加密?看我如何见招拆招爬取某点评全站内容!

    在前几天的文章中,我针某点评商家搜索页面的字体反爬给出了解决方案,但是还有一个问题,那就是当时给出的方法是下载对应的woff字体文件,然后建立加密字体与编码之间...

    刘早起
  • Android TV开发简介

    0.概述 智能电视近两年可谓发展迅猛,据艾瑞咨询数据显示,2015年国内智能电视终端销售量将达到3556.8万台,预计在2016年用户量突破一亿。不同于手机端群...

    QQ音乐技术团队
  • CrawlerSQL 设计

    调度服务,比如每个url的抓取周期。 抓取服务:调度会给url,抓取服务负责实际的抓取

    用户2936994

扫码关注云+社区

领取腾讯云代金券