大数据那些事(36):后记

任何事物总有结束的时候。大数据这个系列到这里我就打算结束了。从最初开始写这个系列到现在也小半年了。时间之长远远超出了自己原来的预算。大约一个月之前的时候我开始考虑应该在什么时候结束这个系列了,后来的决定是把我并不是很擅长但是当前又比较热门的streaming写完。所以在写完Flink之后基本上也就告一段落了。

写这个系列最大的收获就是纸上得来终觉浅,自己做了多年的东西写起来既不费力气也很顺手。自己没怎么做过的东西即使很多基本概念都懂,写起来也显得很肤浅。但是我也必须接受自己就是一个普通的人,能力有限,精力有限,知道的东西就这么多。

有读者留言觉得这个系列前面的读起来感觉好,后面的就不行了。我并不想否认,创作有周期性。写一个主题写得久了,人也就觉得疲倦了。而且限于我本人的知识体系的不完整性,肯定有擅长和不擅长的地方,所以也就请大家见谅了。

大数据发展了这么多年,虽然现在还是说不清楚大数据到底是什么,但是实实在在的在大数据的概念下技术有了一些突破性的发展,随便举几个例子比如说像GFS这样的大规模的文件系统,分布式一致性协议的工业化应用,对大规模计算的监控和失败的自动重试,基于LSM Tree的存储结构等等,没有这些东西的发展可能也就没有今天大数据基础框架的百花齐放的状态。

然而我们也必须承认,大数据的很多东西的发展,尤其是计算平台上的东西,做着做着其实又回到了传统分布式数据库或者数据仓库的那些东西,本质上来讲换汤不换药的东西把轮子用新的工具再造一遍的现象普遍存在。看起来很多东西对我依旧眼熟。

有一些东西我没有写在大数据这个系列了,比如说分布式一致性协议相关的,图数据库的东西,Spanner以及它们的克隆版们。这里没有写要么是我确实不擅长又不愿意花时间去学习,要么就是不懂,要么就是懒了。无论如何,本来就打算凑到36结束,好不容易凑到了,就不再继续了。以后有时间有状态可以单独开文章写。

我也没有去写国内的大数据的情况。最主要的原因有两个,其一是我对国内的现状了解有限。大数据来说也就对阿里的情况多少道听途说知道一点,腾讯百度就不清楚了。而阿里里面做大数据的人很多又是我的前同事们,夸着前同事不能让人信服,黑前同事太不厚道。至于其他的企业我更是不了解,虽然知道我的前同事有在小米混得非常的好早就财富自由的个别消息。其二是国内水深,我坦白的和大家交代我不知道什么可以写什么不能写,万一这个告我一下那个告我一把的,担待不起。

好几个出版社前后都联系过我,现在的这些稿子拿出来出版显然是差太多。如果时间允许条件合适我会把这些文章再重新整理一下出本书,也算是对我这小半年来辛辛苦苦码字的纪念。

这里认识了很多了,最需要感谢的是那些不管我文章写得好差都坚持打赏的粉丝们。你们的坚持打赏是我一直坚持写到现在最大的动力。我不缺这点钱,但是这份心意很难得。其次是很多给我留言提供了宝贵意见和建议的人们,你们的留言让我学到了很多。还要感谢不遗余力的转载我文章的人,尤其在我这个系列的前期,读者数量少得可怜,各位的转载是我早期能坚持写下去的动力。最后感谢所有的粉丝们,无论是沉寂的活跃的,广大粉丝是我坚持写公众号的最大动力。从来没有主动拉粉,今天拉一圈吧。如果这个系列结束能凑齐一万粉就好了,现在只有8000,难度很大。

今年二月份升职换了岗位,对我来说,就意味着可以用来写公众号的时间减少了。写这个大数据系列写得非常的辛苦,这种辛苦大概在写到一半多的时候到达了顶峰。各种滋味确实不是几句话说得清楚。所谓行百里者半于九十,这让我想起了2009年在罗德岛的时候,曾经的未来图灵奖得主Michael Stonebraker在纪念关系数据库诞生30周年的特别活动上的那个演讲。那次演讲讲述了他觉得现在这个研究圈子里的问题,做一个系统从能发论文,到真实的能够在生产中用出来,期间最后那10迈的距离非常的艰难,差不多要50%以上的努力。我听过这个道理无数次,只有这次自己写这个系列的时候体会最深刻。

无论如何,这个系列有很多的问题,既不能做到面面俱到,也有很多的错误,但是对我而言的确是一个重要的里程碑。非常感谢各位的捧场。

原文发布于微信公众号 - 飞总聊IT(feiitworld)

原文发表时间:2017-04-11

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏云计算D1net

一切虚拟化:软件服务是如何吞噬物质世界的?

马克·安德森(Marc Andreesen)曾在2011年说过一句话:“软件正在吞噬世界。”这句话已经变得家喻户晓,但我认为这个论断只在一种情况下成立:有利于软...

28990
来自专栏MasiMaro 的技术博文

毕业两年的反思

到今年6月份,已经毕业两年了,在这两年中换过一家公司,从银行外包到安全行业,经历过加班,也经历过无所事事,心中有些感慨和想法与大家分享

14420
来自专栏达摩兵的技术空间

腾出时间来瞎搞

腾不出时间学习的人,迟早会腾出时间来伤悲; 腾不出时间思考的人,迟早会腾出时间来后悔; ...

10660
来自专栏WeTest质量开放平台团队的专栏

腾讯WeTest压力测试—预约进行时

随着手游的技术革新和玩家喜好的挖掘,多人实时对战类手游自去年年中的出现,《王者荣耀》《全民超神》《CF手游》等游戏已经分别占据了手游界的一席之地。而伴随着此类游...

16820
来自专栏腾讯大讲堂的专栏

“喂,你要不要让自己试试看?”

12830
来自专栏IT大咖说

增长黑客国内落地实践

摘要 Growthhacking 更像是专门为初创企业设立的 marketing 部门,与现在火爆的 lean startups 其实是相通的。growth h...

36260
来自专栏AI科技大本营的专栏

资讯 | 你肯定不知道今晚微软还有个开发者大会

今晚,微软 Build 2017 大会将在西雅图开幕。 Win10、语音助手、混合现实……你更关心哪一个的出场? 我们简单来盘点一下三个值得关注的产品: 1...

360100
来自专栏腾讯云技术沙龙

常青:小程序音视频技术实现以及在相关行业的实际应用

我演讲的内容是小程序音视频背后的一些技术支持。先讲一些术语,解释一些术语的概念,最后再说这些技术怎么去用起来,但是我觉得这比较容易陷入到大家都开始睡着的阶段。所...

804100
来自专栏Java帮帮-微信公众号-技术文章全总结

如何提高你的能力,给年轻程序员的几条建议【大牛经验】

一转眼工作已有8年,前两天公司一位初入职场的同事希望我给一些建议与经验。我觉得这个话题很有价值,这里以个人的想法与经历写成此文,希望给年轻的开发者们一些启发。

9720
来自专栏企鹅号快讯

微信小程序游戏其实一般,我也就站在寒风里玩了一个小时

NAUGHTY Tech —2018,祝大家狗年大吉吧— 2017 年 12 月 28 日火了一个游戏。你需要做的,就是通过按住屏幕的时间长短来控制一枚跳棋从一...

33890

扫码关注云+社区

领取腾讯云代金券