大数据那些事(36):后记

任何事物总有结束的时候。大数据这个系列到这里我就打算结束了。从最初开始写这个系列到现在也小半年了。时间之长远远超出了自己原来的预算。大约一个月之前的时候我开始考虑应该在什么时候结束这个系列了，后来的决定是把我并不是很擅长但是当前又比较热门的streaming写完。所以在写完Flink之后基本上也就告一段落了。

写这个系列最大的收获就是纸上得来终觉浅，自己做了多年的东西写起来既不费力气也很顺手。自己没怎么做过的东西即使很多基本概念都懂，写起来也显得很肤浅。但是我也必须接受自己就是一个普通的人，能力有限，精力有限，知道的东西就这么多。

有读者留言觉得这个系列前面的读起来感觉好，后面的就不行了。我并不想否认，创作有周期性。写一个主题写得久了，人也就觉得疲倦了。而且限于我本人的知识体系的不完整性，肯定有擅长和不擅长的地方，所以也就请大家见谅了。

大数据发展了这么多年，虽然现在还是说不清楚大数据到底是什么，但是实实在在的在大数据的概念下技术有了一些突破性的发展，随便举几个例子比如说像GFS这样的大规模的文件系统，分布式一致性协议的工业化应用，对大规模计算的监控和失败的自动重试，基于LSM Tree的存储结构等等，没有这些东西的发展可能也就没有今天大数据基础框架的百花齐放的状态。

然而我们也必须承认，大数据的很多东西的发展，尤其是计算平台上的东西，做着做着其实又回到了传统分布式数据库或者数据仓库的那些东西，本质上来讲换汤不换药的东西把轮子用新的工具再造一遍的现象普遍存在。看起来很多东西对我依旧眼熟。

有一些东西我没有写在大数据这个系列了，比如说分布式一致性协议相关的，图数据库的东西，Spanner以及它们的克隆版们。这里没有写要么是我确实不擅长又不愿意花时间去学习，要么就是不懂，要么就是懒了。无论如何，本来就打算凑到36结束，好不容易凑到了，就不再继续了。以后有时间有状态可以单独开文章写。

我也没有去写国内的大数据的情况。最主要的原因有两个，其一是我对国内的现状了解有限。大数据来说也就对阿里的情况多少道听途说知道一点，腾讯百度就不清楚了。而阿里里面做大数据的人很多又是我的前同事们，夸着前同事不能让人信服，黑前同事太不厚道。至于其他的企业我更是不了解，虽然知道我的前同事有在小米混得非常的好早就财富自由的个别消息。其二是国内水深，我坦白的和大家交代我不知道什么可以写什么不能写，万一这个告我一下那个告我一把的，担待不起。

好几个出版社前后都联系过我，现在的这些稿子拿出来出版显然是差太多。如果时间允许条件合适我会把这些文章再重新整理一下出本书，也算是对我这小半年来辛辛苦苦码字的纪念。

这里认识了很多了，最需要感谢的是那些不管我文章写得好差都坚持打赏的粉丝们。你们的坚持打赏是我一直坚持写到现在最大的动力。我不缺这点钱，但是这份心意很难得。其次是很多给我留言提供了宝贵意见和建议的人们，你们的留言让我学到了很多。还要感谢不遗余力的转载我文章的人，尤其在我这个系列的前期，读者数量少得可怜，各位的转载是我早期能坚持写下去的动力。最后感谢所有的粉丝们，无论是沉寂的活跃的，广大粉丝是我坚持写公众号的最大动力。从来没有主动拉粉，今天拉一圈吧。如果这个系列结束能凑齐一万粉就好了，现在只有8000，难度很大。

今年二月份升职换了岗位，对我来说，就意味着可以用来写公众号的时间减少了。写这个大数据系列写得非常的辛苦，这种辛苦大概在写到一半多的时候到达了顶峰。各种滋味确实不是几句话说得清楚。所谓行百里者半于九十，这让我想起了2009年在罗德岛的时候，曾经的未来图灵奖得主Michael Stonebraker在纪念关系数据库诞生30周年的特别活动上的那个演讲。那次演讲讲述了他觉得现在这个研究圈子里的问题，做一个系统从能发论文，到真实的能够在生产中用出来，期间最后那10迈的距离非常的艰难，差不多要50%以上的努力。我听过这个道理无数次，只有这次自己写这个系列的时候体会最深刻。

无论如何，这个系列有很多的问题，既不能做到面面俱到，也有很多的错误，但是对我而言的确是一个重要的里程碑。非常感谢各位的捧场。