海量的气象数据，如何实现统一管理？

海量的气象数据，如何实现统一管理？

现阶段我国采用的一些技术主要包括分表技术、表分区技术、Look-through技术与应用分割技术。

分表技术是最早使用的海量数据存储技术，它可以弥补PC性能低和单个表数据量过大的缺点，可以较为直观地了解数据。

表分区技术就是将表根据一定的条件划分为多个分区，每个分区都是一个逻辑实体，用户可以像操作单表一样对表分区进行操作，在相应的分区建立不同的索引机制，选择不同的并行方式。

Look-through技术有效结合了分布式技术和分表技术，使得远程访问多个数据库成为可能，它降低了系统开发和管理的难度，同时也减少了软硬件的开销。

关系型数据库和共享文件系统

关系型数据库基于关系模型构建。它的底层模型与事务保障机制所具备的明确性，很好地解决了传统业务环境中的数据管理问题。

共享文件系统一般基于磁盘阵列构建，使用RAID技术保证其性能和可靠性，利用NFS、CIS等协议为用户提供服务。

NoSQL数据库

它是面向海量数据并行处理的数据库，具有高可靠、高性能、可伸缩的分布式存储架构。

NoSQL数据库可以解决数据的访问效率问题，通过分布式处理，可以使用更少的时间完成同样多的数据库操作。

NewSQL数据库

NewSQL是一种分布式的关系型数据库，它既支持典型的事务性SQL，又通过自身的构架解决了水平扩展的难题。

对于NewSQL数据库而言，它能够轻松地接入附加硬件资源，无需应用程序变更，无需调整数据模型。

气象数据多级存储及导存技术

根据管理特性和应用要求，气象数据的存储可以分为静态多级存储和动态多级存储。

静态多级存储主要分为采用高性能磁盘阵列构成的在线高端存储和采用大容量低端磁盘阵列构成的在线低端存储。

针对历史库中的文件数据，采用动态多级存储的方式实现其存储管理，通过迁移回迁实现这些数据在高端、低端和带库之间的流动存储。

end

中国气象数据网出品：

参考资料：《气象与大数据》

编辑：小据