大数据那些事(31):母亲Stratosphere

这篇文章我想先做个投票调查，如下。

初次见到教授的时候是2009年。教授离开了IBM在德国拿到了教职。美国刚经历了经济危机，教授在从欧洲去罗德岛开SIGMOD的途中拜访了微软，给了一个讲座，讲述他未来要做的事情。

那个时候教授非常的意气风发。那个时候工业界刚刚经历了一场大撕逼。未来的图灵奖得主携其兄弟徒子徒孙们，和当红的Google进行了一场大撕逼。MapReduce a Step Backward的博文到今天去看，依然是平地一声雷。

那个时候连Jeff Dean也出来迎战了。还上了ACM的杂志。那个时候还没有大数据这个名词。

在MapReduce的光环下，整个研究圈子里大致有三类人。第一类人是揣着明白装糊涂。开始了他们最擅长的灌水。在MapReduce的假设下，用Hadoop把曾经都解决过的各行各业的问题用MapReduce再解决一遍。掀起了一大批基金和论文的高潮。第二类人被狗狗的光环刷成了MapReduce教的信徒。或者是真信徒，或者是假信徒，浑水摸鱼。我其实一直都不知道Jeff Dean知道不知道MapReduce其实问题多多。但是也可以理解，你想，我和狗的智商的距离比我和Jeff Dean的智商的距离还近，我怎么能理解他呢？

第三类人，其实也不是很少，或者是低调的在做事情，比如说在憋大招的那个写Spark的未来的斯坦福教授。或者在高调的叫着，比如说著名的Michael Carey。教授是后者，上来就宣扬自己的理念，觉得MapReduce不行，各种问题。要结合数据库的多年研究，MapReduce里面的精髓等等来研发一个特别牛逼的系统。这个系统也有了一个名字，叫做Stratosphere。

这个系统其实是非常有意思的系统。但是就技术层面，我就不多展开讲了，推荐一篇这个系统集大成者的论文：The Stratosphere platform for big data analytics。

09年的Sigmod，除了这场撕逼的延续外，另外一件大事就是SAP HANA正式对外宣布了。那年的keynotes可谓非常的牛逼。5年后再看的话。

这以后我经常能见到教授，会议上。教授的团队做了不少工作，发了不少论文，有些挺好看挺精彩。我想他估计和老前辈Michael Carey一样的困惑。为什么好端端的一个系统却不能大红大紫呢？我们知道，那些年里憋大招的有很多，短平快的卖给傻子的有HadoopDB。努力干活的，红起来的只有Spark。

我们从小被教育，失败是成功之母。但是大数据分析告诉我们，这个母亲大部分的时候难产而死。例外总是有的。我很佩服那些能够从失败里面吸取经验教训并敢于推倒重来的人们，教授也是一个。

2014年的杭州VLDB，有两件大事，第一是宣布HANA的老教授回来做了一个总结性的报告，大获全胜。第二是教授回来做了个keynotes，宣布了Stratosphere的儿子的到来。它有一个名字，叫Flink。