通过ETL工具实现TDengine数据库查询与数据迁移

TDengine 是一款开源、云原生的时序数据库，专为物联网、工业互联网、金融、IT 运维监控等场景设计并优化。它能让大量设备、数据采集器每天产生的高达 TB 甚至 PB 级的数据得到高效实时的处理，对业务的运行状态进行实时的监测、预警。

根据TDengine文档上的示例部署运行，TDengine查询速度非常快，因其底层特殊的数据结构，插入速度也非常快，几百万条数据的插入用小编的电脑测试了下，2s内左右。

但是TDengine也存在一些问题，TDengine因为是针对时序数据存储和查询场景的数据库一般用于物联网设备数据存储，因此相比于一般的数据库，其灵活性相对较差。所以在需要分析非时序的数据时，需要把数据进行处理并传输到其他数据库中通过BI来进行展示或者让其他业务系统进行关联。

但由于TDengine的生态相对较小，作为一个相对于年轻的开源项目，社区方面不是很丰富，会存在一些学习成本以及使用时存在的问题难以解决，而通过ETLCloud可以快速实现数据抽取。

下面我们介绍怎么样通过ETLCloud平台来解决TDengine与数仓以及其他数据库的对接问题，它将TDengine的操作封装成了相应的组件。

（ETLCloud TDengine数据处理组件）

ETLCloud通过实现自动化流程查询TDengine数据库

公司业务数据库的数据量非常庞大，查询起来非常的不方便，所以他们引入了时序数据库来解决这个问题。但慢慢地发现两个数据库之间的数据迁移以及数据同步都特别麻烦，配置或者说执行起来特别繁琐。而且多种类的数据库来回切换，难免会发生数据遗漏，不利于数据的有效整合，这是一个很严重的问题。因此Joe时常在想有没有一款工具/平台能解决当前的这个问题呢？

Joe选择了通过ETLCloud搭建一个自动化流程来实现对TDengine 数据库的查询，利用自动化流程来将数据迁移到其他数据库，Joe通过可视化界面配置了对TDengine 数据库的读写组件，并将数据经过运算后输出到mysql数据库（如下图所示）

流程概览

TDengine组件基本配置

TDengine组件请求配置

​ TDengine组件支持自定义SQL，使数据处理更加灵活多变

流程执行结果

数据预览

更多场景示例：

1.TDengine 数据库组件+数据转换系列组件+Orecal数据库组件：从时序数据库TDengine读取到数据，使用数据清洗转换组件，可以对数据做一些数据转换、脱敏、补全等转换操作，待确定好转换后的数据达到用户预期时，将转换好的数据同步到Orecal数据库。

2.TDengine 数据库组件+多流Join合并组件+Excel输出组件：添加多个TDengine输入组件，从不同的数据库表读取数据，使用多流Join合并组件将多个数据流进行处理，将其合并为一个数据流，使得数据更加集中以及完整。处理好数据后，添加Excel输出组件，配置存储路径，它会在指定存储路径创建一个Excel，自动将数据写入到Excel表中，方便做数据统计以及打印。