揭秘TDengine如何进行数据处理！

物联网平台里模块很多，但其中很重要的一块就是数据处理，包括采集、存储、查询、分析和计算，是整个物联网行业里面比较共性的部分，个性化程度不高。再仔细一看，大部分物联网平台，尤其是国内的，几乎无一例外的用的是Hadoop生态搭建的，用的是互联网行业流行的大数据架构。

TDengine专为物联网、车联网等时序空间大数据设计，其核心功能是时序数据库。但为减少大数据平台的研发和运维的复杂度，更进一步降低计算资源，TDengine还提供大数据处理所需要的消息队列、消息订阅、缓存、流式计算等功能。

TDengine通过总结物联网数据的特点，觉得采用Hadoop这些开源软件来处理物联网数据完全是大错特错。

物联网数据是结构化的，像HBase、Cassandra那样用Key-Value来存储，计算效率和存储效率大打折扣，应该采用结构化存储才行；

物联网数据的冷热程度是时间决定的，刚采集的数据是最热的，因此用简单的先进先出的内存管理就能很好的实现高效的缓存，根本就不需要Redis。

基于这样的设计，任何一台设备采集的数据在存储介质里可以是一块一块连续的存放的，而且按照时间排序。因此查询单个设备一个时间段的数据，查询性能就有数量级的提升。另外一方面，虽然不同设备由于网络的原因，到达服务器的时间无法控制，是完全乱序的，但对于同一个设备而言，数据点的时序是保证的。

TDengine迅速定位了自己要做的产品，那就是物联网大数据平台，要把时序数据库、缓存、消息订阅、流式计算等系列功能融合在一起，一站式的解决物联网大数据问题，这样才能将系统研发、维护的复杂度与成本大幅降低。