Zabbix4.2新功能实践1-时间序列数据库TimescaleDB

Zabbix

发布于 2021-02-03 11:12:02

9350

发布于 2021-02-03 11:12:02

文章被收录于专栏：Zabbix中国官方

4月2号万众期待的Zabbix4.2终于发布了！新版本提供了很多特性，接下来几期主要介绍Zabbix4.2的一些新特性的使用。本次主要介绍TimescaleDB。

TimescaleDB介绍

TimescaleDB是基于PostgreSQL的时序数据库插件，完全继承了PostgreSQL的功能，对于复杂查询，各种类型(GIS,json,k-v,图像特征值,range,数组,复合类型,自定义类型…..)的支持非常丰富，非常适合工业化的时序数据库场景需求。具有以下特点：

基于时序优化
自动分片（按时间、空间自动分片(chunk)）
全SQL接口
支持垂直于横向扩展
支持时间维度、空间维度自动分区。空间维度指属性字段（例如传感器ID，用户ID等）
支持多个SERVER，多个CHUNK的并行查询。分区在TimescaleDB中被称为chunk。
自动调整CHUNK的大小
内部写优化（批量提交、内存索引、事务支持、数据倒灌）。内存索引，因为chunk size比较适中，所以索引基本上都不会被交换出去，写性能比较好。数据倒灌，因为有些传感器的数据可能写入延迟，导致需要写以前的chunk，timescaleDB允许这样的事情发生(可配置)。
复杂查询优化（根据查询条件自动选择chunk，最近值获取优化(最小化的扫描,类似递归收敛)，limit子句pushdown到不同的server,chunks，并行的聚合操作）
利用已有的PostgreSQL特性（支持GIS，JOIN等），方便的管理（流复制、PITR）
支持自动的按时间保留策略（自动删除过旧数据）

看介绍是很适合监控数据的存储。之前对于监控数据的存储，建议进行分区表操作，进行管理。Zabbix4.2支持TimescaleDB应该说是一个好消息，至于具体性能提升，还有待测试.

TimescaleDB安装

TimescaleDB基于PostgreSQL，因此我们需要先安装PostgreSQL，由于之前很少用，因此这里简单描述以下安装过程基本环境：

操作系统	Centos7.6.1810 x86_64
PostgreSQL版本	11.2
安装方式	yum

由于为测试环境，避免麻烦关闭防火墙，禁用seLinux，并启动chrony时间同步服务。添加PostgreSQL的yum源

yum install -y https://download.postgresql.org/pub/repos/yum/11/redhat/rhel-7-x86_64/pgdg-centos11-11-2.noarch.rpm

添加TimescaleDB的yum源

cat > /etc/yum.repos.d/timescale_timescaledb.repo <<EOL
[timescale_timescaledb]
name=timescale_timescaledb
baseurl=https://packagecloud.io/timescale/timescaledb/el/7/\$basearchrepo_gpgcheck=1gpgcheck=0enabled=1gpgkey=https://packagecloud.io/timescale/timescaledb/gpgkey
sslverify=1sslcacert=/etc/pki/tls/certs/ca-bundle.crt
metadata_expire=300EOL

安装包

yum update -y
yum install -y timescaledb-postgresql-11

初始化数据库

postgresql-11-setup initdb

启动PostgreSQL

systemctl start postgresql-11systemctl enable postgresql-11

启动之后，使用以下命令初始化postgresql配置文件

timescaledb-tune

初学者建议一切按照推荐数值，全部按Y同意即可完成配置。由于我的Zabbix Server和PostgreSQL为不同机器，因此需要开启PostgreSQL远程连接（默认关闭）修改PostgreSQL默认配置文件/var/lib/pgsql/11/data/postgresql.conf 修改listen地址为所有地址(即*)，默认监听127.0.0.1

listen_addresses = '*'

修改客户端认证配置文件:/var/lib/pgsql/11/data/pg_hba.conf 添加如下

host    all   all    0.0.0.0/0    md5

配置好之后，重启PostgreSQL使配置生效

systemctl restart postgresql-11

至此TimescaleDB配置安装完成

Zabbix使用TimescaleDB

目前只有Zabbix Server支持TimescaleDB，Zabbix Proxy不支持TimescaleDB。配置成功TimescaleDB之后，建立Zabbix相关用户，并导入Zabbix数据库

sudo -u postgres psql
create user zabbix with password 'zabbixpwd123';
create database zabbix owner zabbix;
grant all privileges on database zabbix to zabbix;

以上命令建立名为zabbix的用户，密码为zabbixpwd123，并建立了zabbix数据库，并授权于所有权限给zabbix用户。下载zabbix4.2源码，并解压,进入postgresql目录

tar zxvf zabbix-4.2.0.tar.gzcd zabbix-4.2.0/database/postgresql/

以此按照顺序，导入数据库

echo "CREATE EXTENSION IF NOT EXISTS timescaledb CASCADE;" | sudo -u postgres psql zabbix
cat schema.sql | sudo -u zabbix psql zabbix
cat images.sql | sudo -u zabbix psql zabbix
cat data.sql | sudo -u zabbix psql zabbix
cat timescaledb.sql | sudo -u zabbix psql zabbix

开启成功TimescaleDb

与平常不同，这里开启了TimescaleDB插件支持，并使用timescaledb.sql为历史和趋势数据创建了hypertable表.hypertable表是timescaledb抽象的一张表,让用户操作 hypertable 就像操作 postgres的普通表一样，在内部,timescaledb自动将hypertable 分割成块, timescaledb 会自动操作和管理 hypertable 的分区表，对于用户来说是透明的.create_hypertable有两个参数,第一个参数是表名，第二个参数是分区列,一般为 TIMESTAMPTZ类型.这里看到为历史数据的clock列。

SELECT create_hypertable('history', 'clock', chunk_time_interval => 86400, migrate_data => true);
SELECT create_hypertable('history_uint', 'clock', chunk_time_interval => 86400, migrate_data => true);
SELECT create_hypertable('history_log', 'clock', chunk_time_interval => 86400, migrate_data => true);
SELECT create_hypertable('history_text', 'clock', chunk_time_interval => 86400, migrate_data => true);
SELECT create_hypertable('history_str', 'clock', chunk_time_interval => 86400, migrate_data => true);
SELECT create_hypertable('trends', 'clock', chunk_time_interval => 86400, migrate_data => true);
SELECT create_hypertable('trends_uint', 'clock', chunk_time_interval => 86400, migrate_data => true);
UPDATE config SET db_extension='timescaledb',hk_history_global=1,hk_trends_global=1;

完成之后，在Zabbix Server里配置相关数据库连接参数即可，与支持postgresql的配置一致。