专栏首页飞总聊IT大数据那些事(36):后记

大数据那些事(36):后记

任何事物总有结束的时候。大数据这个系列到这里我就打算结束了。从最初开始写这个系列到现在也小半年了。时间之长远远超出了自己原来的预算。大约一个月之前的时候我开始考虑应该在什么时候结束这个系列了,后来的决定是把我并不是很擅长但是当前又比较热门的streaming写完。所以在写完Flink之后基本上也就告一段落了。

写这个系列最大的收获就是纸上得来终觉浅,自己做了多年的东西写起来既不费力气也很顺手。自己没怎么做过的东西即使很多基本概念都懂,写起来也显得很肤浅。但是我也必须接受自己就是一个普通的人,能力有限,精力有限,知道的东西就这么多。

有读者留言觉得这个系列前面的读起来感觉好,后面的就不行了。我并不想否认,创作有周期性。写一个主题写得久了,人也就觉得疲倦了。而且限于我本人的知识体系的不完整性,肯定有擅长和不擅长的地方,所以也就请大家见谅了。

大数据发展了这么多年,虽然现在还是说不清楚大数据到底是什么,但是实实在在的在大数据的概念下技术有了一些突破性的发展,随便举几个例子比如说像GFS这样的大规模的文件系统,分布式一致性协议的工业化应用,对大规模计算的监控和失败的自动重试,基于LSM Tree的存储结构等等,没有这些东西的发展可能也就没有今天大数据基础框架的百花齐放的状态。

然而我们也必须承认,大数据的很多东西的发展,尤其是计算平台上的东西,做着做着其实又回到了传统分布式数据库或者数据仓库的那些东西,本质上来讲换汤不换药的东西把轮子用新的工具再造一遍的现象普遍存在。看起来很多东西对我依旧眼熟。

有一些东西我没有写在大数据这个系列了,比如说分布式一致性协议相关的,图数据库的东西,Spanner以及它们的克隆版们。这里没有写要么是我确实不擅长又不愿意花时间去学习,要么就是不懂,要么就是懒了。无论如何,本来就打算凑到36结束,好不容易凑到了,就不再继续了。以后有时间有状态可以单独开文章写。

我也没有去写国内的大数据的情况。最主要的原因有两个,其一是我对国内的现状了解有限。大数据来说也就对阿里的情况多少道听途说知道一点,腾讯百度就不清楚了。而阿里里面做大数据的人很多又是我的前同事们,夸着前同事不能让人信服,黑前同事太不厚道。至于其他的企业我更是不了解,虽然知道我的前同事有在小米混得非常的好早就财富自由的个别消息。其二是国内水深,我坦白的和大家交代我不知道什么可以写什么不能写,万一这个告我一下那个告我一把的,担待不起。

好几个出版社前后都联系过我,现在的这些稿子拿出来出版显然是差太多。如果时间允许条件合适我会把这些文章再重新整理一下出本书,也算是对我这小半年来辛辛苦苦码字的纪念。

这里认识了很多了,最需要感谢的是那些不管我文章写得好差都坚持打赏的粉丝们。你们的坚持打赏是我一直坚持写到现在最大的动力。我不缺这点钱,但是这份心意很难得。其次是很多给我留言提供了宝贵意见和建议的人们,你们的留言让我学到了很多。还要感谢不遗余力的转载我文章的人,尤其在我这个系列的前期,读者数量少得可怜,各位的转载是我早期能坚持写下去的动力。最后感谢所有的粉丝们,无论是沉寂的活跃的,广大粉丝是我坚持写公众号的最大动力。从来没有主动拉粉,今天拉一圈吧。如果这个系列结束能凑齐一万粉就好了,现在只有8000,难度很大。

今年二月份升职换了岗位,对我来说,就意味着可以用来写公众号的时间减少了。写这个大数据系列写得非常的辛苦,这种辛苦大概在写到一半多的时候到达了顶峰。各种滋味确实不是几句话说得清楚。所谓行百里者半于九十,这让我想起了2009年在罗德岛的时候,曾经的未来图灵奖得主Michael Stonebraker在纪念关系数据库诞生30周年的特别活动上的那个演讲。那次演讲讲述了他觉得现在这个研究圈子里的问题,做一个系统从能发论文,到真实的能够在生产中用出来,期间最后那10迈的距离非常的艰难,差不多要50%以上的努力。我听过这个道理无数次,只有这次自己写这个系列的时候体会最深刻。

无论如何,这个系列有很多的问题,既不能做到面面俱到,也有很多的错误,但是对我而言的确是一个重要的里程碑。非常感谢各位的捧场。

本文分享自微信公众号 - 飞总聊IT(feiitworld),作者:飞总

原文出处及转载信息见文内详细说明,如有侵权,请联系 yunjia_community@tencent.com 删除。

原始发表时间:2017-04-11

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

我来说两句

0 条评论
登录 后参与评论

相关文章

  • 大数据到底是什么

    最近这段时间有很多人问我,大数据到底是什么。当然实际上问题没有那么直接。更多的问题是,飞总啊你看我亲戚家的那个企业是不是可以上个大数据啊,用起来就能发财了。或者...

    用户1564362
  • 有钱没命花的保罗和扛不住八个明星出轨的新浪

    这几天在国内飞了好几个城市,非常的繁忙,也没有时间更新公众号。我想如果我生活工作在国内,是很难把飞总聊IT的公众号做到这么大,写了那么多文章的,国内的工作节奏是...

    用户1564362
  • 元数据的生死时速

    公司经营分析会提到家庭市场的重要性,我就问负责家庭模型的同事:去年做的家庭结构标签用得怎么样?然后同事给我拉出了下面这张表。

    用户1564362
  • 互联网视频直播点播平台EasyDSS如何集成流媒体平台调取登录及上传接口?

    当我们从网络摄像头上接收视频时,首先要了解协议(RTSP/RTMP/HTTP),然后是解码格式(MKV,RMVB),之后才是将视频(H264)和音频(AAC)格...

    EasyNVR
  • Linux命令(52)——ipcrm命令

    ipcrm命令用于删除指定ID的IPC(Inter-Process Communication,进程间通信)对象,包括消息队列(message queue)、共...

    Dabelv
  • Laravel+Layer 图片上传功能整理

    版权声明:本文为博主原创文章,未经博主允许不得转载。 https://blog.csdn.net/u011415782/article/de...

    泥豆芽儿 MT
  • 小结React(二):组件知多少

    React 16.8中正式发布了React Hooks,主要是想解决如何复用一个有状态的组件的问题。实际上React Hooks就是一系列特殊的函数,可以让本来...

    前端林子
  • python MultipartEncoder传输zip文件实例

    需求:对方提供处理文件的接口,本地将待处理文件压缩后,通过http post multipart方式上传,等待处理完成后从相应连接下载结果

    砸漏
  • 给年轻程序员的建议

    偶尔的,我会被人问道:如何成为一名优秀的程序员,更或者,如何成为一名程序员。每次人们问起,我都力图给出不同的答案。因此,我的答案是各种各样的。下面就是我...

    用户2192970
  • shell编程,脚本执行方式知多少?

    shell编程的时候,往往不会把所有功能都写在一个脚本中,这样不太好维护,需要多个脚本文件协同工作。那么问题来了,在一个脚本中怎么调用其他的脚本呢?有三种方式,...

    用户5521279

扫码关注云+社区

领取腾讯云代金券