专栏首页数据猿在大数据时代,每家公司都要有大数据部门吗?

在大数据时代,每家公司都要有大数据部门吗?

<数据猿导读>

在大数据时代,每家公司都要有自己的大数据部门吗? 结论也不能下的太武断。如果这个问题换做是:在电气时代,每家公司都要有个发电厂吗?是不是会更好回答一些

来源:数据猿 作者:桑文锋

如果这个问题换做是:在电气时代,每家公司都要有个发电厂吗?是不是会更好回答一些?

事实上每一种重大技术的出现,都会对产业产生大的变化。在蒸汽时代,采矿机采用蒸汽机后,会带来生产效率的极大提升,而轮船加上蒸汽机,再也不需要靠风才能航海了。在电气时代,电灯代替了蜡烛,电报代替了快马送信,而报纸也被广播和电视所侵蚀。

可以说是 现有产业加上新技术,形成了新产业 。

我们回过头来看这两次工业革命,生产蒸汽机的企业只有少量几家,而发电的企业在美国也只有通用电气和西屋电气。并不是每家企业都要从事这些基础设施的研发和生产,更多的是对新技术加以应用,发挥新技术带来的价值。

在 IT 领域,软件刚出来时,可以说是计算和存储完全混杂在一起。有人尝试将计算硬件进行分离,歪打正着成就了 Intel。有人尝试将存储系统分离,因而有了 Oracle。

Intel 和 Oracle 固然伟大,但它们的价值更多的还在于有广大的企业采用了这些新的技术,在具体的行业中,产生了更大的价值。

同样,云计算这种理念固然是好,但如果每家企业都建立自己的云计算中心,从资金和人力投入上,一定是不划算的,更严重的问题是做不到最优。相反,有了 AWS 和阿里云这样的云计算提供商,让中小企业更便捷的进行创新应用。

回到题目中的问题, 在大数据时代,每家公司都要有自己的大数据部门吗? 结论也不能下的太武断。

早在 2008 年,云计算的概念刚刚兴起,百度内部出现了两拨势力。一拨要从零开始打造自己的大数据底层技术,把 MapReduce、GFS、BigTable 这些组件都要实现一遍,结果花了两三年时间,也没能稳定运行。

而另外一拨势力,直接采纳开源的 Hadoop 生态,很快在公司内应用起来。而我当时做的日志统计平台,也是采用了 Hadoop。但百度的数据规模毕竟太大了,所需的集群规模,开源版本根本撑不住,于是不得不改写 Hadoop,这样就和开源的版本渐行渐远,等到后来再也合不到一起了。

曾经有一年多的时间,我们部门新设计和实现和底层的存储及计算系统,结果发现开源的版本也差不多实现到了同样效果。虽然许多内部的人觉得我们怎么总重复造轮子,但我明白还是需求使然,你面临的需求相对领先,但也没有领先到像 Google 那样提早 5 年。

但对于小公司来说,则完全没必要从零开始做,还是要尽量用开源的产品。

整个 Hadoop 生态,要比我 2008 年刚用的时候,要成熟很多。那个时候我们去拿开源的版本,编译部署,一个新手可能两周都不一定能正常的运转起来。而现在下载一个 Cloudera 发行版,两个小时就可以正常跑任务了。

与此同时,又面临了新的问题,因为大数据平台牵涉到数据的采集、传输、建模存储、查询分析、可视化等多个环节,而开源领域只是一些组件,于是各家公司都在纷纷打造自己的大数据平台,这就像 Oracle 之前,各家都在打造自己的存储系统。这显然不是一件性价比高的事情。

有市场需求,就会有满足相应需求的公司诞生,于是就诞生了一堆提供大数据服务的公司。

由于这一新领域还处于早期,这些创业公司所能提供的服务并不会特别的完善,要么是以项目制的方式运转,要么是提供专门应用场景的服务。

这样,对于一些企业来说,这些创业公司提供的服务,似乎自己也能实现,那何不干脆自己做?

这创业一年多以来,我看到了太多的公司在打造自己的数据平台,但做的还不够完善。不管是技术实力还是人力投入上,都有点力不从心。如果选用了这些第三方数据服务,那岂不饭碗被抢了?

可我要说的是,饭碗早晚都会被抢,只是时间早晚的问题。这里只需要问一个问题:我所做的数据平台,是不是其他公司也是类似的需求?如果是的话,那肯定也有其他公司做着类似的事情,做的东西会大同小异。

那么,就会出现专门的公司,来解决这种通用的需求。因为这些公司专注于解决这一块问题,所以会更加专业,并且舍得投入。而对于需求公司来说,除非自己转型去专门做大数据平台,不然在投入上,肯定不是一件性价比很高的事情。与其如此,不如及早侧重于自己的核心业务,关注应用需求本身。

那对于企业来说,在大数据时代,应该怎么做呢?我的建议是三点:

首先,要拥抱大数据技术

新的重大技术出现,都带有颠覆性。一不小心,就会被革命。但也不是说企业已有的业务不用搞了,都来搞大数据吧。

在大数据这件事上,还是要从需求出发,而不是从大数据出发。

有人会问我,我有了一些数据,给我讲讲怎么能发挥更大的价值。坦率来说,许多时候不了解业务场景,很难提出建设性的意见的。

相反,我们要先看在企业满足客户需求的时候,还有哪些重大问题没有解决好,如果采用了大数据技术,是不是可以更好的解决?如果有这样的点,那非常好,就勇于去尝试。如果没有,那就继续学习大数据的知识,再等待这样的场景出现。

其次,企业要有懂大数据的人

这种人不一定是全职的,但至少是可以将企业的业务和大数据技术结合起来的人。这种人不一定对大数据技术本身很懂,但善于使用新技术。

如果企业现在还没有,并且还没招到。可以去培养一个头脑灵活,乐于学习新技术的人。如果抛开大数据系统的实现挑战,理解大数据的应用场景,那难度会降低不少。

最后,要善于利用第三方服务

能用第三方服务解决的,就尽快去尝试。在竞争激烈的情况下,通过采用新技术,获得技术红利,跑的更快。就像爱迪生当年发明白炽灯后,那些更早将白炽灯用于工厂的企业家,更有可能提升工人的工作效率。

原创作者:桑文锋,神策数据创始人&CEO,前百度大数据部技术经理;神策数据(Sensors Data)是一家专业的大数据分析服务公司,致力于通过大数据技术帮助客户实现数据驱动,提升用户体验。

这篇文章的内容,主要参考了吴军的新书《智能时代》。对大数据和机器智能感兴趣的读者,强烈推荐这本书。

注:本文由 神策数据 投稿数据猿发布。

欢迎更多大数据企业、爱好者投稿数据猿,来稿请直接投递至:tougao@datayuan.cn

来源:数据猿

本文分享自微信公众号 - 数据猿(datayuancn),作者:桑文锋

原文出处及转载信息见文内详细说明,如有侵权,请联系 yunjia_community@tencent.com 删除。

原始发表时间:2016-09-13

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

我来说两句

0 条评论
登录 后参与评论

相关文章

  • 投稿 | 大数据服务还是那个大数据服务吗?

    <数据猿导读> 目前“人工智能”无疑是最流行的词之一,“大数据”是自2012年以来的流行词之一,现在大大小小的企业服务、论坛上都充斥着有关大数据、人工智能的内容...

    数据猿
  • 大数据24小时 | 谷歌一心赶超微软亚马逊,中国大举收购德企英媒表示很慌张!

    <数据猿导读> 谷歌拟1亿美元收购云服务公司Orbitera,欲缩小与微软亚马逊的差距;英媒就中国大举收购德企发声,担心数据安全或受影响;苹果首个数据中心尘埃落...

    数据猿
  • 从概念到全面落地,大数据发展处于重要转折期

    数据猿导读 根据中国信息通信研究院发布的《中国大数据产业分析报告》显示,我国2016年的大数据核心产业规模达到168亿元,增长率达45%。 ? 这段时间顺丰和菜...

    数据猿
  • 数据清理的最全指南

    https://www.toutiao.com/i6670031809427800587/

    加米谷大数据
  • 中科点击:大数据解决方案重在应用场景挖掘

    互联网移动互联网的高速发展,数据信息的爆炸式增长,将我们带到一个全新的大数据时代,一时间,“大数据”变成一个高大上的词汇,围绕“大数据”衍生出来的东西也越来越多...

    拼命三郎
  • 大数据时代,各个行业CIO们怎么看?

      近日来,有幸和国内不同行业的CIO(医疗、教育、互联网、金融等)交流了大数据的看法,听了听他们一线用户对于大数据的理解,总体来看他们对于大数据本身充满了积...

    腾讯研究院
  • 这10大行业的痛点,如何用大数据解决

    大数据已经成为过去几年中大部分行业的游戏规则,行业领袖,学者和其他知名的利益相关者都同意这一点,随着大数据继续渗透到我们的日常生活中,围绕大数据的炒作正在转向实...

    钱塘数据
  • 中润普达—大数据和人工智能产业发展,离不开中文认知技术的突破

    作者:中润普达 中文语义识别技术的突破将推动人工智能产业化,从而形成可持续的大数据生态圈。 11月24日在北京召开的“2017互联网+智慧中国年会”上,中润普...

    钱塘数据
  • 深度|大数据服务及未来:人工智能+大数据生态模式

    2012年大数据是个流行词,没想到4年过后,在一些大数据论坛上还有人会说“如果我有大数据,我会怎样怎样……。”好吧,如果还停留在如果上,就不该随便上论坛演讲,讲...

    灯塔大数据
  • 投稿 | 大数据服务还是那个大数据服务吗?

    <数据猿导读> 目前“人工智能”无疑是最流行的词之一,“大数据”是自2012年以来的流行词之一,现在大大小小的企业服务、论坛上都充斥着有关大数据、人工智能的内容...

    数据猿

扫码关注云+社区

领取腾讯云代金券