盘点 | 2017 最“热”门的十大数据技术

原作者 Gil Press

编译 CDA 编译团队

本文为 CDA 数据分析师原创作品，转载需授权

随着大数据近年来的迅速发展，大数据分析已渗透到各行各业。当中哪些技术最具市场需求，最有发展潜力？根据 Forrester 公司发布的指数，这里列举出当今十大热门大数据技术。

1. 预测分析

指的是利用软件和硬件解决方案，使公司能够通过分析大数据源来收集、评估数据，同时优化、部署预测模型，从而提高业务水平或降低风险。

2. NoSQL 数据库

Key-value 型（ Redis ）数据库、文档型（MonogoDB ）数据库、图型（ Neo4j ）数据库。

3. 搜索和知识发现

支持信息的自动抽取，可以从多数据源（例如文件系统，数据库，流， API 和其他平台和应用程序）洞察结构化数据和非结构化数据。

4. 流式分析

软件可以对多个不同的实况数据源和以任何数据格式进行数据清洗、聚合和分析。

5. 内存数据结构

通过动态随机内存访问（ DRAM ）、 Flash 和 SSD 等分布式存储系统提供海量数据的低延时访问和处理。

6. 分布式存储系统

指存储节点大于一个、数据保存多副本以及高性能的计算网络。

7. 数据可视化

指的是从各种数据源传输数据（包括 Hadoop 上的海量数据以及实时和接近实时的分布式数据）。

8. 数据集成

通过亚马逊弹性 MR（EMR） 、 Hive 、 Pig 、 Spark 、 MapReduce 、 Couchbase 、 Hadoop 和 MongoDB 等软件进行业务数据整合。

9. 数据预处理

是指对大量数据源进行清洗、裁剪，清理并共享多样化数据来加快数据分析。

10. 数据校验

对分布式存储系统和数据库上的海量、高频率数据集进行数据校验，去除无效数据。

Forrester 的研究数据表明以上 10 项技术都预计将获得巨大的发展。此外，每项技术基于起发展水平都处于从产生到消亡中的一个特定发展阶段。上述前 8 个技术被认为处于增长阶段，后 2 个处于生存阶段。

Forrester 还对以上技术进入下一阶段所需的时间进行了预估。预测分析是唯一一个进入下一个发展阶段需要 10 年以上的。 上述技术中，从技术 2 到技术 8 预计在 3-5 年内进入下一阶段，而最后两项技术预计将在 1-3 年内从生存阶段转向增长阶段。

最后，Forrester 对每种技术的业务增值进行评估。 这不仅基于潜在影响，还基于对市场的反馈。

Forrester 提到：“如果该技术处于发展的早期阶段，其失败的可能性大于发展较为完善的技术。”从商业增值角度来看，上述前两项技术的商业增值较高，之后紧接着的两项技术为中等，其余为较低，毫无疑问这是因为其处于新兴状态且发展还不成熟。

ref：

https://www.forbes.com/sites/gilpress/2016/03/14/top-10-hot-big-data-technologies/#70af6d3465d7