专栏首页飞总聊IT大数据凉凉了?Apache将一众大数据开源项目束之高阁!

大数据凉凉了?Apache将一众大数据开源项目束之高阁!

这两天Apache基金会,这个因为大数据而成名的开源基金会连续不断的宣布将一系列的项目束之高阁报废,也就是所谓的进入Apache Attic。这些项目的PMC委员会会解散。

这些项目里,最著名的应该当属Mesos这个从UC Berkeley的AMP Lab出来的项目,其主要目的是为了实现一个数据中心的操作系统。Mesos和另外一个著名的项目Docker都有过一时的风光,但是在短短两年内就被谷歌新鲜出炉的Kubernetes给打败了。

Mesos最初被Twitter采用了,好像被Twitter采用的技术命都不太好。比如说Storm这个流处理引擎,也基本上完蛋了。至于UC Berkeley Lab出品的东西,就看命了。Mesos项目完蛋了,Spark却混的越来越好。

容器和资源管理以前是谷歌大杀器,谷歌虽然写了大数据三驾马车,但是对内部的数据中心资源管理,那是不动丝毫声色的隐瞒了很久,即使后来被大家知道了,也在很多很多年以后才最终发了论文。

当然,不可否认,大数据三驾马车的谷歌实现版,比外面开源的Hadoop要强太多了,而Hadoop某种程度上一直都处在凑合用的状态下。那些有点志向的项目,比如Spark或者Presto很多时候都扮演着若即若离的角色,对Hadoop整个Stack也不够忠诚。

这次进Attic的项目里,和Hadoop相关的有一堆,比如说Apex,Chukwa,Crunch,Eagle,Falcon,Hama,Tajo,Twill,Metron,Sentry等等。

讲真话,大部分项目早就死不死活不活的状态了。但是这些古老的尸体里还流淌着Hadoop圈子里斗争激烈的事实。

比如说如今已经合并,曾经的Cloudera和Hortonworks在各方面展开竞争,Sentry和Ranger是两个对HIVE Metadata Store进行细粒度权限管理的开源项目,也是这两家公司竞争的产物。

当然,竞争方面Cloudera实在还是比Hortonworks厉害一些,这也是为什么合并以后的公司还是叫做Cloudera。但是Hortonworks的Ranger却比Sentry更受开源社区的力挺。现在很多公司还是在基于Ranger提供企业级的权限管理,比如说Starburst。

Starburst这公司是做Presto的商业化的。当然Presto社区分裂,三个创始人从Facebook离职,之后又经过了一年的竞业等待后加入Starburst。之后Facebook手握版权,强制Starburst改名,于是现在有了Trino。

Ranger我之前看过一些,因为前面有个项目需要用到。社区也不是很活跃,代码也有点老了。很多需要更新的地方。但是不管怎么样,起码还活着。

回过头去看,我们发现,在Hadoop刚成立不久的前几年,进入Apache基金会,搞个开源项目是一件非常容易的事情。Apache基金会里面良莠不齐的搜集了很多项目,其中很大一部分说是垃圾也不为过。

而时至今日,大数据也好Hadoop也好,剩下来的东西已经很少很少了。真正的赢家大家多少也能看出来。很有意思的是,Spark这公司,从一开始就和Hadoop圈子若即若离的。HDFS现在就剩个壳。HIVE还有人用但是Pig基本只能古董店见了。

HBase可能还算是活的不错的古老的项目。其他的Presto和Apache真没什么关系。至于Flink,以前德国人搞的时候就感觉喜忧参半,进了阿里以后,就一入阿里深似海了。

哎,热热闹闹的大数据圈啊,如今还热热闹闹吗?最像大数据的大数据公司Databricks,现在也一天到晚叫着说自己是个AI公司。

本文分享自微信公众号 - 飞总聊IT(feiitworld),作者:努力赚钱的小作者

原文出处及转载信息见文内详细说明,如有侵权,请联系 yunjia_community@tencent.com 删除。

原始发表时间:2021-04-15

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

我来说两句

0 条评论
登录 后参与评论

相关文章

  • 看了这么多大佬的面经,想来应该回馈一波

    牛客网
  • 211渣硕,海投200+Java岗,面50家侥幸过了7家!!!

      211渣硕,电气专业转JAVA后台,看书很少多数是在刷面经,能找到工作实属侥幸,现献上自己的面经,希望能帮助到别人

    秃顶的Java程序员
  • 黄了。Google中国版搜索

    据The Intercept消息,Google决定关闭该项目的整体数据来源,内部投注的资源也转移到其他发展中国家——如印度、印尼和巴西。

    量子位
  • 大数据和云计算技术周报(第50期):NoSQL特辑

    本期有 Redis、分布式、HBase、impala与hive、protobuf、Phoenix。 希望大家会喜欢!欢迎喜欢的同学打赏、转发支持社区!

    大数据和云计算技术
  • 十三朝古都西安

    地理位置从东南沿海,走到中部,然后到达西南,今天来到了历史文化浓厚的西北城市,历史曾至少有13个朝代在此建都:西安,自己没有去过,只是曾经坐火车路过一次,也很期...

    皮大大
  • Google I/O 大会 你需要知道的一切

    今年的开场动画一改以往纯动画的Style,加入了很多实物影像。动画从个人电脑的发展、到手机的变迁到近年来火热的VR眼睛的历史脉络进行倒计时满满的怀旧感。最后1秒...

    陈宇明
  • 爱情36技之记忆永存

    关注“一猿小讲”公众号的伙伴们都清楚,Java 那小子带着心爱的 Python 菇凉,去了一趟浪漫的土耳其,然后一起又去了东京和巴黎,接着 Python 菇凉自...

    一猿小讲
  • 新文创新实验 云南与腾讯发布新文旅IP战略合作计划 | 数字文旅周报15期(5.20-5.26)

    ? 新文创新实验 云南与腾讯发布新文旅IP战略合作计划 5月21日下午,主题为“智慧旅游 让生活更美好”的2019云南国际智慧旅游大会在昆明召开。 云南省...

    腾讯文旅
  • 985末流本科生的实习春招总结

      楼主背景 华五某校 软件学院 无大型上线项目 无竞赛经历 无获奖经历 成绩中流 整个春招大概持续一个半月 3.11-4.25 预计会收到一两个offer(大...

    牛客网

扫码关注云+社区

领取腾讯云代金券