专栏首页PPV课数据科学社区比大数据本身更重要的是大数据的自动化分析和管理

比大数据本身更重要的是大数据的自动化分析和管理

如今所有人都在谈论大数据,但事实上,关于它很多的言论都太过夸张。就业数据显示,大数据似乎很为企业招聘者所需要。然而,更多的数据表明,企业并不知道要利用这些大数据专业人才做些什么。

然而,比大数据本身更重要的是大数据的分析和管理。而这一潮流正让服务器自动化配置系统工具大量涌现。Puppet等就是支撑“DevOps”潮流的背后力量。

正如Dice.com数据所展示的那样,Puppet是一种潮流,因为它给企业提供了一种更加简便的方式来管理一定规模的IT基础设施。这些基础设施要不被叫做“大数据”,要不被叫做听起来很傻的“服务器运营维护”。

Puppet在幕后操纵一切

专注于科技人才的Dice.com在追踪科技专业就业市场的起伏方面,可谓是一个精准的晴雨表。这可不是通过Google搜索引擎还是什么其他的软因素来测定它的,因为Dice已经追踪了约8万个每天在Dice.com上贴出的职业。然后它每年都会根据各职位在公开招聘上出现的次数来确定前十个“杀手锏”工作技能。

根据最新的Dice报告,Puppet是如今的幕后操纵者。下面让我们看一看“发展最快的工作技能”的Dice表格。

在这些数据里,有两样是极其突出的:

不管大数据及其相关技术有多么热门,IT管理这个老市场风采依旧。

Puppet使得大数据成为现实。潜藏在所有数据后的都是服务器,而服务器都需要被管理。Puppet使管理一定规模的服务器更加简便,并且它和Bigtop一样,已经是Hadtoop相关管理工具中的“一把手”了。

DevOps的赞成者Sean Carolan在Twitter上指出:不管公司是否公开将自己定义为“大数据”运营商,他们都开始意识到“要么自动化要么死”。“在这样一个软件分发不停的时代,这种自动化根本不会停止。”虽然如今Puppet与Chef,Ansible和Salt之间有着激烈的竞争,但它已经成为了市场领导者。

Puppet Lab的CEO Luke Kanies(也是Puppet的创始人)对数据的解释时说道:

Puppet所在的领域——自动化——和其他的领域是不一样的,这很难比较。所有的公司都一直在做数据库,所以NoSQL既被这个传统帮助着,也被这个传统阻碍着。不管愿不愿意,从根本上来说,他们是一个可以互相替换的产业。

有了Puppet,我们就弥补了这一缺陷。许多使用Puppet的人都不必再人工地干一些诸如编写自定义脚本这样的事儿,他们可以使用具有更广市场和更好生态系统的自动化技术。他们不用终止任何程序,也不用丢弃任何现存的技能,所以从人文角度来看,这也是更加简便的。再说IT管理市场越发的胶着,所有企业都知道这些问题非解决不可了——Puppet能满足你基本的需要,而不是作为一个更好的方法来取代你以前的习惯。

Kanies列举了Puppet会更加火爆的几大理由。但它真的能做的比大数据还大吗?

Puppet与大数据之间的较量

自动配置管理市场正处于发展初期,来势汹汹,它还有大量的发展空间。Puppet高居Dice.com榜榜首只不过表明了它的发展基数小而已。

再说了,事实上Dice.com的数据也没和Indeed.com提供的就业数据完全一致。

Indeed.com追踪了来自1000多家网站的职位信息,包括Dice.com。所以在分析就业趋势方面,Indeed.com拥有更全的数据库。Indeed.com的数据表明,在公开招聘方面,大数据和Hadoop的规模要比Puppet大得多:

即便在相对增长方面——这也正是Dice.com在意的——也是Hadoop和NoSQL遥遥领先。

然而,这也不是全部的现状。举个例子来说,Hadoop也不是一个单独的网站。它是一个技术系统,接收从Hive(一种便于查询和管理大型数据集合的分布式存储系统)到Hbase(一种键-值数据存储系统)到Pig(一个分析大数据集的平台)到一系列一直在进化、扩张的所有科技数据。

其实“NoSQL”也一样,只不过数据库之间的差别要比相似点明显不少。一个文档数据库就和一个键-值数据存储区很不一样。发布一个通用的“NoSQL”数据库作业其实意味着企业根本不知道他们需要什么。广而言之,所有需要“大数据”专业知识的人都和这些企业一样茫然。

Puppet让大数据不再是空谈

和大数据共事的企业未必知道他们成功的秘诀是什么。正如我以前所写的,Gartner在这方面的数据非常明确:所有人都知道他们需要用“大数据”来干些事情,但是怎么做或者做什么仍然是个谜。

不出意外,真正采用大数据的企业总在媒体炒作之后才开始,这和451 Research的分析师Michael Coté在这个有关大数据存储使用的图表中所做的详细说明惊人地一致:

虽然公司仍在探索大数据区域,他们也逐渐发现更有效地管理基础设施是多么必要。Puppet就是帮助你“如何”管理基础设施的工具——或者说,最最关键的就是这个“如何”。

实际上,只要你明白基本所有和大数据有关的公开招聘都或多或少有些哗众取宠,那么你就很容易认为Dice.com和Indeed.com之间明显的数据差异是合理的。各个组织都不知道他们到底需要什么,只知道他们得用大数据做一些有意义的事,所以他们也只是试着雇佣这方面的人才。

然而,当他们在寻找Puppet专长的人才时,同时也会知道他们到底需要什么——即帮助配置和管理一大群服务器的工具。虽然那些服务器最终也会被叫做“大数据”,但无论他们有什么时髦的名字,他们都需要被管理。

本文分享自微信公众号 - PPV课数据科学社区(ppvke123)

原文出处及转载信息见文内详细说明,如有侵权,请联系 yunjia_community@tencent.com 删除。

原始发表时间:2014-09-26

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

我来说两句

0 条评论
登录 后参与评论

相关文章

  • 【重量级干货】大数据攻略案例分析及结论

    我们将迎来一个“大数据时代”。与变化相始终的中国企业,距离这场革命还有多远?而追上领先者又需要多快的步伐? 怎样才能用起来大数据?障碍如何解决?中国企业家研究院...

    小莹莹
  • 【案例】大数据攻略案例分析及结论

    我们将迎来一个“大数据时代”。与变化相始终的中国企业,距离这场 革命还有多远?而追上领先者又需要多快的步伐? 研究结论 怎样才能用起来大数据?障碍如何解决?中国...

    小莹莹
  • 对于打算入门数据分析的菜鸟来说,你想提醒他们什么?

    “面对大数据时代趋势和与之相对的高薪,越来越多没有怎么学过计算机和统计学的外门人士也想跃跃欲试踏进数据科学的领域,请问大家伙儿有没有点建议想提醒新人呢。比如一路...

    小莹莹
  • 四大银行(工建农中)大数据进展如何?

    中国建设银行 中国建设银行信息技术管理部资深经理林磊明 ▼ ? ▼ 1、银行压力越来越大 从十二五走到十三五期间,银行业面临的各方面的压力越来越大,从我们的年报...

    钱塘数据
  • 【揭秘】中国四大银行的大数据应用已到了哪个阶段?

    对于大数据给企业带来的价值,已经毋庸置疑。在国内,银行业应该是IT建设更为领先的行业之一。特别中、农、工、建四大银行,更是走在整个银行业的前面。那么,他们对于大...

    华章科技
  • 数据产品经理最佳实践-数据战略规划

    到目前为止,取得这样的成果,我总结了一条经验:就是预先要把事情想清楚,把战略目的、步骤,尤其是出了问题如何应对,一步步一层层都想清楚;要有系统地想,这不是一个人...

    数据饕餮
  • 一个大数据从业者的职业选择分享

    进几年A(人工智能)B(大数据)C(云计算)发展火热,由于笔者在一二线互联网行业从事过大数据相关工作,因此决定在大数据领域对自己的所见所闻,来对...

    1480
  • 福特发布自动驾驶汽车数据集 迄今为止最为全面

    据外媒报道,福特近日在官网上线了一个语料库Ford Autonomous Vehicle Dataset(福特自动驾驶汽车数据集),该数据集包含了2017~20...

    数据猿
  • 系列篇|事件相机-数据集与仿真器

    在研究中,为了比较不同算法的优劣,研究人员不能用自己采集的数据,这样和别的方法比较没有太大的意义。所以公开的数据集是评价这些方法的通用数据。而仿真器,是按照事件...

    3D视觉工坊
  • se(3)-TrackNet: 数据驱动的动态6D物体姿态跟踪, 基于合成域的图片残差校准

    标题:se(3)-TrackNet: Data-driven 6D Pose Trackingby Calibrating Image Residuals in...

    3D视觉工坊

扫码关注云+社区

领取腾讯云代金券