专栏首页飞总聊IT一湖数据,几度春秋

一湖数据,几度春秋

2017年底的一场reorg,让微软的Azure Data Lake(数据湖)队伍拆的七零八落,Raghu Ramakrishnan也黯然神伤,被reorg成了吉祥物。

很多人可能不知道Raghu这个人,也有很多人知道这个人。Raghu是威斯康辛大学的教授,数据库研究领域的一座大山,经济危机前后去了Yahoo领导研究院工作,之后因为Yahoo生存危机取消研究院又跑来微软讨生活。

Azure的数据湖,可谓是Raghu的杰作。这个故事说来话长。微软的必应搜索引擎的开发过程中需要大数据平台,所以必应自研了一个叫做Cosmos的系统,内部非常的知名。大概是2012年的一次内部展示,当时的微软CEO Steve Ballmer(SB)看到这个神奇的东西,觉得微软大有前途,问手下的人,什么时候可以把这个玩意卖给沃尔玛?众皆哗然。

一年后SB进行了微软历史上颇为著名的一次全公司重组。这次重组把微软的大数据平台:基于Hadoop的HDInsight和当时在必应的Cosmos都交到了Raghu的手里。SB满心期待Raghu可以把这些东西整理一番,卖给沃尔玛。

Raghu接手Cosmos的时候,我还在哪里。我对Raghu的印象是闻名不如见面,个中滋味只能意会,不好多说。Raghu上台的同时,也把原来做Store的领导给赶回了研究院,并把原来做前端的一个印度兄弟提拔成了存储的领导。

之后Raghu就画了一张大饼,砍掉老的存储换一个新的,新的要和HDFS兼容,以便能够跑起来HDInsight。要拿Azure底层存储作为基础,以便和Azure兼容。资源分配要改成Yarn,而不是用自己内部那套自己开发的。

于此同时,内部的Scope编程语言则进行大范围的改造,使得一方面长的像SQL一方面具备连接这个存储系统和外部服务的能力。这个东西最后以U-SQL的方式发布了。

Raghu的如意算盘可能只有他最清楚了。但是基本上的想法还是HDInsight这个东西凑合着用,如果要完全发挥系统功能和性能,就要迁移到U-SQL上来。Lock-in的方式,更利于长期赚钱。

为了推行这个系统,新官上任的几把火烧的也是厉害。一阵清洗之后,原来一波中国人去了阿里,一波美国人去了Salesforce,组织内部大体上换上了自己人。

系统几次延期后终于在2016年和大家见面,之后又卖了一年多。结果是只忽悠了沃尔玛一个大客户。如此看来SB当年卖Cosmos给沃尔玛的愿望确实是实现了。但是其他用户没怎么买账过。

去Salesforce的人在Salesforce折腾了几年,最近听到的说法是一次Reorg,这些人里面的老大成了吉祥物。没看到做出什么惊艳的东西来。

去阿里巴巴的那群人,接管了原来叫做ODPS后来改名MaxCompute的平台--一个类似Cosmos的阿里巴巴的自研内部平台。经过一系列的一朝天子一朝臣的清理之后,掌握权力的新的组织做出了MaxCompute V2。在阿里内部可谓是成功。

但是MaxCompute对外销售,似乎遇到了这个Azure Data Lake一样的问题,叫好不叫好不知道,叫坐大家多少都是知道的。

最近老有人问我,如果Data Lake那波人不瞎折腾,直接拿Cosmos去卖,是不是就会成功了。这个问题我想了很久,最后我觉得,卖Cosmos一样会死的难看。

原因在于,一个封闭的系统里面,有一种开发工具,有很明显的优势。一方面,团队只需要优化一个工具,开发成本低,另外一方面,团队和其他业务团队有了很强的议价能力,先做哪个业务团队需要的功能再做哪个团队需要的功能,在只有一个分析工具的前提下,工具开发团队具有决定性的优势。

然而,一个集团内部,可以强推一个工具,对外服务却不行。被开源世界百花齐放熏陶的用户,必然不会接受自己没有自由选择工具的权利。所以这类系统,对是上帝一般的外部客户,就没有吸引力了。我实在想不明白,谁愿意为了用Data Lake还专门要学个U-SQL呢?

平台是需要打通各种工具和这个平台的衔接,而不是通过卡死工具来卡死平台的使用方式和议价能力。

这世界不缺一个已经失败的微软数据湖,也不缺可能会失败的其他产品。

本文分享自微信公众号 - 飞总聊IT(feiitworld),作者:飞总

原文出处及转载信息见文内详细说明,如有侵权,请联系 yunjia_community@tencent.com 删除。

原始发表时间:2018-05-08

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

我来说两句

0 条评论
登录 后参与评论

相关文章

  • 微软的数据湖也凉凉了

    昨天坐飞机,就听到微软的朋友说微软的数据湖完蛋了,队伍解散了,那个曾经领导了这个项目的印度人Raghu成了名副其实的光杆司令。在飞机上心情拔凉拔凉的。当然飞机上...

    用户1564362
  • 如何迅速年薪百万(2):扫一屋与扫天下

    过五关斩六将,经过一番艰苦奋斗,在众多面试者中拔得一筹,拿到了梦寐以求公司的录用合同,无论是对即将毕业的莘莘学子,还是职场奋斗多年的老兵,无疑都是非常可喜...

    用户1564362
  • Oracle创始人Larry Ellison扬言要遏制中国,去IOE迫在眉睫

    伴随贸易战的进行,美国对中国的各种货物不断增加关税,美国的很多企业股票也在崩盘的厉害。这场反人类的贸易战越打越久,股市越跌越猛,不知道是不是熊市的到来。

    用户1564362
  • 【leetcode刷题】T116-二叉树的锯齿形层次遍历

    https://leetcode-cn.com/problems/binary-tree-zigzag-level-order-traversal/

    木又AI帮
  • Thinking--AOP思想在前端中的应用

    AOP(Aspect Oriented Programming),面向切面编程。其从主关注点中分离出横切关注点是面向侧面的程序设计的核心概念。分离关注点使得解决...

    奋飛
  • 项目经验不重样!3个基于 SpringBoot 的图片识别处理系统送给你!

    最近看了太多读者小伙伴的简历,发现各种商城/秒杀系统/在线教育系统真的是挺多的。推荐一下昨晚找的几个还不错的基于 Java 的图片识别处理系统。

    Guide哥
  • Java equals 和 hashCode 的这几个问题可以说明白吗?

    上一篇文章 如何妙用Spring 数据绑定机制,灵魂追问 环节留下了一个有关 equals 和 hashcode 问题 。基础面试经常会碰到与之相关的问题,这不...

    黄泽杰
  • Java equals 和 hashCode 的这几个问题可以说明白吗?

    上一篇文章 如何妙用Spring 数据绑定机制,灵魂追问 环节留下了一个有关 equals 和 hashcode 问题 。基础面试经常会碰到与之相关的问题,这不...

    用户4172423
  • jupyter notebook 多行输出实例

    很多时候在一个cell中,我们不只有一个print,但默认只有一个print,所以我们进行多行输出,加入代码

    砸漏
  • 全面分析前端的网络请求方式

    这种交互的的缺陷是显而易见的,任何和服务器的交互都需要刷新页面,用户体验非常差,Ajax的出现解决了这个问题。Ajax全称Asynchronous JavaSc...

    Fundebug

扫码关注云+社区

领取腾讯云代金券