平台发展趋势

Hadoop从2006年项目成立开始,已经风风雨雨走过了10年,从最开始的HDFS和MapReduce两个组件到现在完整的生态链。展望未来,随着技术和业务的发展,下面这些趋势应该是所有设计和实现大数据平台的人需要认真考虑的。

  • Cloud First:云优先。服务端利用云的部署和扩展能力,保证数据访问高并发、高可用、高可靠。
  • —Stream Default:流优先。数据源端更多的是流数据,要求实时分析,进行秒级或分钟级计算。
  • —Pervasive Analytics:普适分析。将分析能力推至数据源端、管道和服务端,低时延反馈结果。
  • —Self Service:自服务。无须太多的人为干预和人力投入,使得数据合理放置,转换为适合分析的数据类型,方便APP开发等。

现在看着风光无限的组件或者平台,会不断地被后来者所替代。

上面是我在《大数据架构详解:从数据获取到深度学习》一书中总结,大数据趋势,现在看越来越成为现实了。

原文发布于微信公众号 - 大数据和云计算技术(jiezhu2007)

原文发表时间:2017-04-26

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏编程坑太多

『高级篇』docker容器来说微服务导学(一)

PS:整体把握微服务,清晰理解微服务的各种概念,如果开发微服务,技术栈之间的微服务通信,怎么样把一个服务运行在docker容器里,服务之间是如何建立连接的,多种...

1475
来自专栏CDA数据分析师

除了Hadoop,其他6个你必须知道的热门大数据技术

原文来自 Cabot Technology Solutions 编译 CDA 编译团队 本文为  CDA 数据分析师原创作品,转载需授权 你知道新的市场领导者和...

2578
来自专栏极客说

【极客说直播第二期回顾】新一代大数据技术:构建PB级云端数仓实践

在数据大爆炸时代,随着企业的业务数据体量的不断发展,半结构化以及无结构化数据越来越多,传统的数据仓库面临重大挑战。通过以Hadoop, Spark为代表的大数据...

6.7K14
来自专栏CSDN技术头条

大数据架构的未来

作者:Matt Kalan 原文:The Future of Big Data Architecture 译者:孙薇 本文讲述了大数据的相关问题,以及“大数据架...

2107
来自专栏灯塔大数据

深度|Google和Linkedin的老司机是如何管理海量数据的

Google的论文整体描述十分详细,可以作为理论来学习,LinkedIn已经开源了一个版本的系统,可以看成最佳实践。两者结合起来,还是很能拓展思路的。 标题有点...

52912
来自专栏大数据和云计算技术

云​大数据和计算技术周报(第47期)

“大数据” 三个字其实是个marketing语言,从技术角度看,包含范围很广,计算、存储、网络都涉及,知识点广、学习难度高。

1113
来自专栏大数据技术学习

大数据经典学习路线(及供参考)不容错过

熟练使用Linux,熟练安装Linux上的软件,了解熟悉负载均衡、高可靠等集群相关概念,搭建互联网高并发、高可靠的服务架构;

1330
来自专栏CSDN技术头条

那些年我们用过的流计算框架

数据时代,从数据中获取业务需要的信息才能创造价值,这类工作就需要计算框架来完成。传统的数据处理流程中,总是先收集数据,然后将数据放到DB中。当人们需要的时候通过...

1.1K8
来自专栏大数据文摘

18款顶级开源与商业流分析平台推荐与详解

3348
来自专栏新智元

谷歌强力推出数据集搜索!Dataset Search神器重磅来袭

还记得曾经的你,在做科研的时候,为了得到一份儿数据集,绞尽脑汁各种百度、各种google,但结果往往一无所获。从今儿起,再也不用担心这个问题了!

1301

扫码关注云+社区