大数据凉凉了？Apache将一众大数据开源项目束之高阁！

这两天Apache基金会，这个因为大数据而成名的开源基金会连续不断的宣布将一系列的项目束之高阁报废，也就是所谓的进入Apache Attic。这些项目的PMC委员会会解散。

这些项目里，最著名的应该当属Mesos这个从UC Berkeley的AMP Lab出来的项目，其主要目的是为了实现一个数据中心的操作系统。Mesos和另外一个著名的项目Docker都有过一时的风光，但是在短短两年内就被谷歌新鲜出炉的Kubernetes给打败了。

Mesos最初被Twitter采用了，好像被Twitter采用的技术命都不太好。比如说Storm这个流处理引擎，也基本上完蛋了。至于UC Berkeley Lab出品的东西，就看命了。Mesos项目完蛋了，Spark却混的越来越好。

容器和资源管理以前是谷歌大杀器，谷歌虽然写了大数据三驾马车，但是对内部的数据中心资源管理，那是不动丝毫声色的隐瞒了很久，即使后来被大家知道了，也在很多很多年以后才最终发了论文。

当然，不可否认，大数据三驾马车的谷歌实现版，比外面开源的Hadoop要强太多了，而Hadoop某种程度上一直都处在凑合用的状态下。那些有点志向的项目，比如Spark或者Presto很多时候都扮演着若即若离的角色，对Hadoop整个Stack也不够忠诚。

这次进Attic的项目里，和Hadoop相关的有一堆，比如说Apex，Chukwa，Crunch，Eagle，Falcon，Hama，Tajo，Twill，Metron，Sentry等等。

讲真话，大部分项目早就死不死活不活的状态了。但是这些古老的尸体里还流淌着Hadoop圈子里斗争激烈的事实。

比如说如今已经合并，曾经的Cloudera和Hortonworks在各方面展开竞争，Sentry和Ranger是两个对HIVE Metadata Store进行细粒度权限管理的开源项目，也是这两家公司竞争的产物。

当然，竞争方面Cloudera实在还是比Hortonworks厉害一些，这也是为什么合并以后的公司还是叫做Cloudera。但是Hortonworks的Ranger却比Sentry更受开源社区的力挺。现在很多公司还是在基于Ranger提供企业级的权限管理，比如说Starburst。

Starburst这公司是做Presto的商业化的。当然Presto社区分裂，三个创始人从Facebook离职，之后又经过了一年的竞业等待后加入Starburst。之后Facebook手握版权，强制Starburst改名，于是现在有了Trino。

Ranger我之前看过一些，因为前面有个项目需要用到。社区也不是很活跃，代码也有点老了。很多需要更新的地方。但是不管怎么样，起码还活着。

回过头去看，我们发现，在Hadoop刚成立不久的前几年，进入Apache基金会，搞个开源项目是一件非常容易的事情。Apache基金会里面良莠不齐的搜集了很多项目，其中很大一部分说是垃圾也不为过。

而时至今日，大数据也好Hadoop也好，剩下来的东西已经很少很少了。真正的赢家大家多少也能看出来。很有意思的是，Spark这公司，从一开始就和Hadoop圈子若即若离的。HDFS现在就剩个壳。HIVE还有人用但是Pig基本只能古董店见了。

HBase可能还算是活的不错的古老的项目。其他的Presto和Apache真没什么关系。至于Flink，以前德国人搞的时候就感觉喜忧参半，进了阿里以后，就一入阿里深似海了。

哎，热热闹闹的大数据圈啊，如今还热热闹闹吗？最像大数据的大数据公司Databricks，现在也一天到晚叫着说自己是个AI公司。