国内首家!主导Apache Hadoop新版本发布的,是腾讯云这位小哥哥

2006年Apache Hadoop发布,2008年Hadoop成为Apache顶级项目。在那时,中国移动、百度、淘宝等都已经开始使用Hadoop技术。Hadoop现在早已成为Apache软件基金会的金牌项目之一。不仅如此,它还孕育了包括HBase、Hive、ZooKeeper等一系列知名Apache顶级项目,它们一开始都是以Apache Hadoop子项目的形式在社区运作、为开发者熟知的。

这次腾讯主导发布的Apache Hadoop2.8.4版本,涉及20多个大大小小的特性和优化,清单如下:

负责这一版本整体进度的Release Manager,是来自腾讯云产品部大数据及人工智能产品中心的专家研究员堵俊平,他同时也是Apache Hadoop社区PMC的成员。

Apache软件基金会推崇PMC制度,每个开源项目都是一个PMC,即项目管理委员会,可以自行决定技术发展方向和社区运作模式,但需要公开信息,并定期向Apache的董事会汇报,以便董事会监督。

成为PMC的成员可是非常不容易的事,必须要一步步“打怪升级”。要实现从一个普通的Developer到PMC Member的跨越,除了码代码以外,开源社区的组织能力也要强,是不是帅呆了?

堵 俊 平

腾讯T4大数据技术专家,曾任EMC,VMware资深研发工程师,Hortonworks美国YARN团队负责人。深耕云计算,大数据方向10余年,在多个社区均享有极高知名度,包括Apache Hadoop社区Committer & PMC,并领导hadoop 2.6、2.8等应用非常广泛的社区release。曾领导开发多个Hadoop在云平台上优化与拓展的项目与产品。目前在腾讯致力于领导腾讯云大数据及人工智能产品研发工作。

小编采访了一下这位男神,接下来就让他给大家讲一下,这次新版本发布过程中的小细节吧。

 Q  很多人可能听说过“开源”,但了解不多,您可以简单介绍一下吗?

 A  开源可以理解为“向公众开放源代码”。近几年来热度不减的大数据,就是由开源的软件来驱动整个产业生态的。这里就不得不提到一个里程碑式的开源产品——hadoop:从谷歌的三篇论文,到雅虎的hadoop,开启了如今的大数据时代。

过去的系统软件主要是由闭源软件来驱动的。虽然像操作系统涌现出Linux这样优秀的软件,但后面的数据库和应用服务器,仍然几乎都是从闭源产品去驱动的。

hadoop诞生后的这十年来,一直都是大数据生态的核心,它改变了以往的软件形式,成为了最主流的开源项目之一。现在基本上各家数据平台团队,都是在hadoop生态系统上小修小改,去支持大数据相关的业务系统,可以认为它是开源的一个标准吧。

 Q  与传统的闭源生态相比,开源有什么好处呢?

 A 首先是避免“重复发明轮子”的问题,不同的个人和团体可以在公开的代码平台上集体创作,而不是封闭起来做重复的事情。其次是用户不必被绑架在特定的软件平台上,随时可以迁移应用和数据。最后是核心知识产权,比如以前的IOE,不只是没有“中国芯”的问题,上面的应用软件和系统软件可能随时面临被人封锁的危险,而开源就不会有这个问题,它完全公开透明。另外,开源也鼓励公司规划长线的技术投资,而不只是短线的利益操作。

 Q  腾讯这次主导阿帕奇社区hadoop新版本的发布,在国内算是首次吗?

 A 对,以前都是由微软、Hortonworks和Cloudera等国外大数据厂家轮流坐庄,而这个版本是第一次完全由国内的公司来支持的。从技术号召力或者对整个开源社区的影响力来说,可以鼓励国内的开发者和公司更积极地参与开源项目贡献,勇于承担更大的责任,更多地回馈开源社区。

 Q  给整个社会也带来了哪些积极的影响呢?

 A 首先,大数据软件属于基础技术,这次平台是由腾讯做技术主导的,在国内算是一个突破。其次,对于开发者社区来说,也是比较可靠的一个社区、最热门的项目。

最后,对于普通人来说,也是可以从中受益的。因为基础平台能力的提高,也伴随着数据处理能力的提高,可以让大家的生活更方便。大数据时代到来之前,可能没有那么多面向数据的业务,比如地图业务、O2O业务、智能推荐系统等等。包括现在极具话题性的AI人工智能,如果没有大数据平台的进步,也是发展不起来的。

 Q  之前是有技术难关的限制吗?

 A 过去十年,中国的互联网公司发展很快,大家都以追求业务为主,在技术或开源方面做得不够,这是我们相较西方的短板。国内很多公司其实也尝试过开源,但它只有开源的代码,没有开源的社区,也就是自己觉得某个产品做得不错,就把源代码开放出来而已。

源代码的开放和开源社区是两回事,区别就是你这个开源的代码,其它第三方(尤其是你的生态合作伙伴)有没有能力来参与。

现在整个大数据的热潮,其实就是被几款开源的核心软件所推动的。中国的这些大公司在具备了经济实力之后,也开始以开源为手段想要构造一个更好的生态。这可能需要一个过程,但大家已经慢慢意识到这些基础软件跟开源结合的重要性了。

原文发布于微信公众号 - 腾讯开源(tencentopen)

原文发表时间:2018-06-12

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏CSDN技术头条

独家揭秘RISELab实验室

UC Berkeley大学的AMPLab曾是大数据领域世界顶尖的实验室之一,六年来推出了多项主要的科技创新技术,比如Apache Spark、Apache Me...

28460
来自专栏云计算

吃火锅,秒懂云计算!

科技让生活更智能,当今云计算,大数据 箭步般无声息的来到我们身边今天小编就以一种轻松有趣的方式给各位老板解释一下什么是云计算 ? 用火锅解释云计算最形象不过了 ...

52980
来自专栏CDA数据分析师

译文|大数据如何使企业受益?

本文由CDA数据分析研究院翻译,转载必须获得本站、原作者、译者的同意,拒绝任何不表明译者及来源的转载! 一、对大数据的阐释 大数据有巨大的潜力可使任何行业的企业...

20170
来自专栏Java架构师进阶

什么样的架构师才是真正的架构师?

  很多的创业公司,一人身兼数职的情形还是很常见的。至少,我是经历过的,一个人包办了所有的开发过程,连测试我都做了,绝对的一条龙,但是经常踩钢丝、骑独轮车总会有...

10340
来自专栏悦思悦读

大数据技术在舆情服务领域的应用

曾经担任翰云时代科技有限公司总裁,NOKIA位置服务部门大中国区产品总监,甲骨文(Oracle)顾问咨询服务部中国区实施总监,Sun公司ISV工程部高级经理,北...

27240
来自专栏java学习

互联网工作就是“程序猿”?别闹了

也许在大部分人的眼里,提到IT、计算机或者互联网从业者,想到的都是“程序员”、“技术宅”等title,但其实互联网行业的职业类型很多,每一个方向都有自己的工作职...

10100
来自专栏韩伟的专栏

需求变化的根源是什么?

在不按时算薪的行业里,软件开发应该是加班最多的一个行业。码农,是很多程序员用以自嘲的称谓。长时间的加班,大量的BUG,无穷无尽的特性,永远都在做的重构,伴随着程...

37230
来自专栏Java架构

什么是架构师?一 什么是架构师 二 架构师的职责三 架构师的误区四 架构师的基本素质五 架构师需要掌握的技术体系

很多的创业公司,一人身兼数职的情形还是很常见的。至少,我是经历过的,一个人包办了所有的开发过程,连测试我都做了,绝对的一条龙,但是经常踩钢丝、骑独轮车总会有失足...

11620
来自专栏数据的力量

【用户运营】我看过的最好的关于用户运营文章:用户运营的定义、演变和方法论

73050
来自专栏数据猿

【案例】某大型国有商业银行信用卡中心——电子渠道实时反欺诈监控交易系统

数据猿导读 面对猖獗的金融欺诈,如何借助人工智能、大数据技术,在新型模式下,高效、准确地应对金融行业中从线下到线上,从单点到海量并发,从人工到自动化程序化各方面...

88860

扫码关注云+社区

领取腾讯云代金券