盘点 | 2017 最“热”门的十大数据技术

原作者 Gil Press

编译 CDA 编译团队

本文为 CDA 数据分析师原创作品,转载需授权

随着大数据近年来的迅速发展,大数据分析已渗透到各行各业。当中哪些技术最具市场需求,最有发展潜力?根据 Forrester 公司发布的指数,这里列举出当今十大热门大数据技术。

1. 预测分析

指的是利用软件和硬件解决方案,使公司能够通过分析大数据源来收集、评估数据,同时优化、部署预测模型,从而提高业务水平或降低风险。

2. NoSQL 数据库

Key-value 型( Redis )数据库、文档型(MonogoDB )数据库、图型( Neo4j )数据库。

3. 搜索和知识发现

支持信息的自动抽取,可以从多数据源(例如文件系统,数据库,流, API 和其他平台和应用程序)洞察结构化数据和非结构化数据。

4. 流式分析

软件可以对多个不同的实况数据源和以任何数据格式进行数据清洗、聚合和分析。

5. 内存数据结构

通过动态随机内存访问( DRAM )、 Flash 和 SSD 等分布式存储系统提供海量数据的低延时访问和处理。

6. 分布式存储系统

指存储节点大于一个、数据保存多副本以及高性能的计算网络。

7. 数据可视化

指的是从各种数据源传输数据(包括 Hadoop 上的海量数据以及实时和接近实时的分布式数据)。

8. 数据集成

通过亚马逊弹性 MR(EMR) 、 Hive 、 Pig 、 Spark 、 MapReduce 、 Couchbase 、 Hadoop 和 MongoDB 等软件进行业务数据整合。

9. 数据预处理

是指对大量数据源进行清洗、裁剪,清理并共享多样化数据来加快数据分析。

10. 数据校验

对分布式存储系统和数据库上的海量、高频率数据集进行数据校验,去除无效数据。

Forrester 的研究数据表明以上 10 项技术都预计将获得巨大的发展。此外,每项技术基于起发展水平都处于从产生到消亡中的一个特定发展阶段。上述前 8 个技术被认为处于增长阶段,后 2 个处于生存阶段。

Forrester 还对以上技术进入下一阶段所需的时间进行了预估。预测分析是唯一一个进入下一个发展阶段需要 10 年以上的。 上述技术中,从技术 2 到技术 8 预计在 3-5 年内进入下一阶段,而最后两项技术预计将在 1-3 年内从生存阶段转向增长阶段。

最后,Forrester 对每种技术的业务增值进行评估。 这不仅基于潜在影响,还基于对市场的反馈。

Forrester 提到:“如果该技术处于发展的早期阶段,其失败的可能性大于发展较为完善的技术。”从商业增值角度来看,上述前两项技术的商业增值较高,之后紧接着的两项技术为中等,其余为较低,毫无疑问这是因为其处于新兴状态且发展还不成熟。

ref:

https://www.forbes.com/sites/gilpress/2016/03/14/top-10-hot-big-data-technologies/#70af6d3465d7

原文发布于微信公众号 - CDA数据分析师(cdacdacda)

原文发表时间:2017-03-18

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏大数据钻研

入门软件工程师所面临的5个挑战

如果你对编程和专业的软件开发感兴趣,那么,这里有5个新晋软件工程师所要面临的挑战。 5.代码疲劳 专业程序员要写的程序……很多。 作为入门级工程师,我每周至少编...

28080
来自专栏云计算D1net

企业如何更好地制定大数据策略

大数据策略会失败吗?是时候该讨论一下这个问题了。企业才刚刚掌握如何集成ERP(企业资源规划)及其他业务应用来消除业务流程中妨碍效率的孤岛。面向服务架构、软...

27350
来自专栏前沿技墅

微服务架构三十六计

31620
来自专栏互联网数据官iCDO

大数据项目产品选型的五个建议

原创作者:曾勇,Elastic工程师。 数据如今对企业来说可谓是头等大事。使用欺诈检测来降低财务风险或是建设推荐系统来改善用户体验,都需要数据来为企业解决这些日...

29660
来自专栏开源优测

软件测试从业手册

软件测试从业手册 本文将带你游览见识软件测试的风略,如果你已经从事软件测试工作了,那更应该看本文了。O(∩_∩)O哈哈~ 本文纯属个人观点,如你采纳用于任何场景...

34160
来自专栏腾讯大数据的专栏

CSDN专访腾讯蒋杰:深度揭秘腾讯大数据平台

腾讯业务产品线众多,拥有海量的活跃用户,每天线上产生的数据超乎想象,必然会成为数据大户,为了保证公司各业务产品能够使用更丰富优质的数据服务,腾讯的大数据平台做...

45650
来自专栏web前端教室

在公司里感觉学不到东西了怎么办?

在公司里工作到了现在,感觉学不到什么新东西了。有二种可能,一是公司业务你都掌握了,确实没什么搞头了;二是你在公司里负责的都是些初级的开发任务。 如果是第一种可能...

21370
来自专栏DevOps时代的专栏

2018年 DevOps 最新现状研究报告解读

2018年度的 DevOps 最新研究现状姗姗来迟,但最终还是来了,让我们来看一下这份报告今年会给我们带来那些启示。

31530
来自专栏携程技术中心

4月热招职位 | 开发/运维/测试/安全/产品/UED

13820
来自专栏喔家ArchiSelf

再谈<全栈架构师> 一文

在SDCC2016的架构师进阶之路主题,我分享了《老曹眼中的全栈架构师》话题,会后在csdn博客(http://blog.csdn.net/wi...

8720

扫码关注云+社区

领取腾讯云代金券