大数据关键技术浅谈之大数据存储及管理

前边的两篇文章中，企通查为大家简单介绍了大数据关键技术中的前两步：大数据采集和预处理技术。对于经过集中预处理后的数据，后续通常需要利用存储器将其存储起来，并建立相应的数据库，方便后续进行管理和调用。

——

数据存储作为大数据的核心环节之一，可以理解为方便对既定数据内容进行归档、整理和共享的过程。自磁盘系统问世以来，数据存储已经走过了近百年的历程。

对于存储，计算机就像我们的大脑一样，两者都可以拥有短期记忆和长期记忆，例如大脑是通过前额叶皮层来处理短期记忆，而计算机则利用RAM（随机存取存储器）来处理短期记忆。大脑和计算机都需要在清醒的状态下处理并记住事务，并在工作一段时间后会感到疲倦。

大脑在睡眠时会将工作记忆转换为长期记忆，而计算机则在睡眠时将活动记忆转换为存储卷。计算机还会按类型来分配数据，就像大脑按语义、空间、情感或规程来分配记忆一样。

而在大数据时代，由于从多渠道获得的数据通常缺乏一致性，数据结构混杂，且数据不断增长，更何况任何机器都会有物理上的限制：内存容量、硬盘容量、处理器速度等。

这就导致对于单机系统来说，即使及时不断提升硬件配置也很难跟上数据增长的速度，我们需要在硬件限制和性能之间做取舍。

因此对于那些希望从比存储和使用成本更高的数据中获得价值的企业和组织来讲，有效的数据存储和管理变得比以往任何时候都更加重要。

——

大数据存储与管理的技术对整个大数据系统都至关重要，数据存储与管理的好坏直接影响了整个大数据系统的性能表现。

数据存储和管理如今并不止被定义为接收、存储、组织和维护组织创建的数据，更多时候它还意味着更多内容，包括但不限于：

•对数据进行分类；

•聚合、收集和解析数据的元数据；

•保护数据和元数据不受自然和人为中断的影响；

•在内部部署和地理上移动数据，以进行共享、归档、复制、数据保护、存储系统技术更新和迁移，并访问所需的分析引擎，从而对该数据进行更深入的研究；

•在进行一次或多次移动后，保持用户和应用程序对数据的透明访问；

•提供用户可定义的策略，这些策略可自动移动、复制和删除数据；

•部署人工智能和机器学习以优化和自动化大多数数据管理功能；

•搜索数据并提供可行的信息和见解；

•使数据符合个人识别信息法律和法规；

•将数据管理扩展到数百PB甚至EB的快速扩展数据。

——

根据数据存储和管理的内容范围，我们可以大致理解大数据存储及管理技术需要重点研究如何解决大数据的可存储、可表示、可处理、可靠性及有效传输等几个关键问题。

具体来讲需要解决的往往是以下几类问题：海量文件的存储与管理，海量小文件的传输、索引和管理，海量大文件的分块与存储，系统可扩展性与可靠性。

伴随着重点研究问题，在大数据存储和管理发展过程中，出现了几种较为有效的存储和管理大数据的方式：

1.不断加密

对于任何一个企业来说，任何类型的数据都可能是至关重要且私有的，只有能在自己掌控的范围内才可以说是安全的。然而，很多行业巨头容易成为黑客攻击的首要目标，许多公司会对此有危机感。

随着企业为保护资产而全面开展对于黑客的反击，加密技术成为了打击网络威胁的可行途径：

通过将所有内容转换为代码，使用加密信息，只有收件人可以解码。如果没有其他的要求，则加密保护数据传输，增强在数字传输中有效地到达正确人群的机会。

2. 仓库存储

有人说，大数据似乎就像一个永无休止的数据漩涡，极其难被管理。

因此，可以考虑将信息精简后统一集中到一个指定位置——数据仓库。

通过对数据的存储、校准、整合及输出，对数据进行集中分层次管理，在保证数据时效性、生态性的同时，还能够对数据完成不同程度的处理。

3. 备份服务 - 云端

设想一下，假如数据存储技术在物理层面就停滞不前，而大数据却依旧以现在的速度持续增长，迟早有一天我们会面临数据无处存储的窘境，所幸大数据存储和管理正在迅速脱离物理机器的范畴，并迅速进入数字领域。

由于云存储服务推动了数字化转型，使得云计算的应用越来越繁荣。数据可以随时随地进行访问，并在云存储服务上进行备份，这也意味着如果出现网络攻击，云端将数据从A迁移到B甚至到C的方式来确保数据安全。

数字经济时代，大数据管理不仅仅是数据存储架构的变革，更是大数据思维方式的转变升级。用好数据是企业数字化转型的关键。