大数据那些事(27):虐狗节特奉之生不逢时生无可恋生不如死的MegaStore

作为一个在虐狗节还奋笔疾书的公众号写手来说，最重要的是各位汪们不是汪的读者们的打赏。这篇文章就看大家怎么想啦。

今天不但是虐狗节还是世界癫痫日，还有，更大的新闻是Google宣布Spanner作为一个公有云的服务正式开始提供了。所谓几家欢喜几家愁，这永远都是真理。

我想Spanner大名鼎鼎，大家都知道，但是作为服务了狗狗家10余年的MegaStore，因为其出身不够正统，听说过的人就很有限了吧。很多时候我一直在想，到底是个人成就了公司还是公司成就了个人。每次看到Jeff Dean我就会觉得我和他比智商不如和狗去比智商。只是Jeff Dean以外的Google

家其他人是不是不存在同样聪明的人了呢？很难说。可能有，但是被打击了。

但是智者千虑必有一失，Jeff Dean也老马失蹄过。这是他公开说的，他非常的遗憾他没有设计好BigTable的transaction model。既然有遗憾，就会有人来填补。这来填补的人就是MegaStore了。 MegaStore是一个Google里面运行了很多年的系统，论文发表在2011年的CIDR上。在database里面一般好论文发SIGMOD或者VLDB。CIDR多半有未完成的意思。我想那些作者们在发论文的时候自信心应该比较低。但是这个系统其实是蛮伟大的系统。

简单一点来说就是MegaStore在BigTable上包了一层，通过对数据进行partition，加上了作为第一个开始来使用某个特殊的Paxes来做数据中心之间的复制，从而保证了很好的scabality以及在单个partition内的ACID。是不是听起来很熟悉。没错，好像是个Spanner的简化版本。而且也的确是个Spanner的简化版本。

这篇paper的技术我就不讲了，最主要的是我强在Analytics，自己并无大规模数据平台Transaction的开发经验，所以我也讲不清楚。大家有兴趣的可以去读读。我觉得还是相当不错的一篇论文了。

更重要的一点，这个系统在Google里面运行很多年，很多的application都喜欢了，但是这个系统和Jeff Dean确实没有半毛钱关系了。然后嘛，spanner最开始是要做BigTable V2的，后来reset以后就做成现在的大杀器了。大杀器基本上就是把BigTable和这个东西做了整合，最后形成了现在的Spanner，加上了一些原子钟GPS之类没什么用的黑科技。当然我们的Jeff Dean就又一次有名了。Spanner的作者里面包含了几个很重要的MegaStore的人，但是在我个人看来MegaStore的核心思想才是Spanner这个系统的两点。而BigTable那些东西我觉得对于Spanner来说就不是这样重要了。

所以如果要我选的话，这个系统里面应该有若干人比Jeff Dean更需要获得荣誉，只是他们也都淹没在一群群的人里面了。这种感觉作为MegaStore的作者应该不好。Spanner上线也就意味着MegaStore这个项目其实就慢慢停止了。对内很多的项目就从MegaStore挪到了外面来。

MegaStore以Google Cloud DB的方式查不多2012年就开始对外卖了。在内部Spanner不断抢占客户的时候，Public Cloud几乎是这个Team最后的稻草了。当然这个东西并未被努力宣传过。这个team里面人才据说也流失严重。今天Google正式宣布让Spanner对外开始卖了。那么我的理解是未来若干时间以后MegaStore作为一个项目会最终在Google内部被解散了。

亲手杀掉自己的亲儿子去开发自己的干儿子，那些最初的MegaStore开发者，不知道心底里到底怎么想呢？

另外我想问一句，诸位到底有多少人听说过MegaStore呢？又有多少人知道Spanner呢？可见Google对于不同系统的宣传力度本身也是不同的。我个人觉得MegaStore里面的某些实现确实非常的有跨时代的意义。其实际贡献被长期低估了。