化繁为简 部署Hadoop有妙招

作为大数据技术的典范,Hadoop一直为采用大数据的企业祝福并诅咒着。Hadoop功能强大,却非常复杂,这使得很多企业都宁愿等待更容易的东西问世,再推出大数据项目。

等待已经结束。Hadoop在稳步前进,来自诸如Hortonworks和Cloudera等厂商显著的易用性增强,使得Hadoop的学习曲线已经减少了一半。企业正越来越多拥抱大数据和Hadoop,目的是从基本的ETL工作负载迁移到先进的数据分析。

但更多人不知道的是,企业使用Hadoop处理大数据的诀窍,其实就是从小处着手。

小?这似乎是与Hadoop关系不大的一个词。但它完全符合大数据的现实。我们往往谈论Hadoop在PB级和ZB级数据的优势,但大部分企业其实并不具备PB级规模的问题。至少,他们现在还不清楚怎么去管理这种级别的问题。

相反,大数据咨询公司NewVantage Partners的一项调查显示,企业首先关注的是掌握新类型的非结构化数据。Gartner证实了这一点,它指出:“许多组织发现大数据的多样性比大体量或实时性的挑战更大。”

因此,聪明的Hadoop厂商正在修正他们的策略,帮助企业从小规模部署着手,并从那里成长。Hortonworks企业战略副总裁Shaun Connolly在接受记者采访时表示:

“我们已经看到可重复的采用模式,从侧重于一个新的数据类型开始,并建立或增强有针对性的应用程序,围绕新的数据类型。这些新的应用程序通常由一个业务线驱动,并从以下新类型之一的数据开始:社交媒体,点击流,服务器日志,传感器和机器数据,地理定位数据和文件(文本,视频,音频等)。

“最终部署更多的应用和新的数据类型导致更广泛的现代化数据架构。但成功的客户开始从特定类型的数据释放价值,然后冲洗,并从那里重复他们的旅程。”

对于证明Hadoop的价值,从小的、可衡量的项目启动,这是一个伟大的方式,不强迫企业在前期就吞下整个大象。这是一个聪明的策略,让强大的技术可以很容易地被采纳。

这样一来,Hadoop正在变成人们真正想要谈论的“房间里的大象”。虽然更多的人都在谈论大数据,但实际推出重要的大数据项目的组织要少得多,Gartner强调,只有8%的企业已实际部署大数据项目,尽管64%的企业宣称他们打算这么做。这些公司看重的是Hadoop大数据项目带来的实质性增长,可实现的商业价值,而不是Hadoop的炒作。

事实上,今天大多数大数据项目,往往以现有用例的增量改进为重点,例如,更好地了解客户的需求,使流程更加高效,进一步降低成本,或更好地检测风险。对于所有的关于大大改变一个企业的业务的谈论,大部分的大数据以及由此延伸的大多数的Hadoop的部署,重点是逐步改进,而不是彻底改变的项目。

这是有道理的。企业首先小步骤地采用Hadoop实施可以实现的项目,然后掌握该技术,然后再做大。

在2014年,我们将看到Hadoop被加速采用。Hortonworks的Connolly和Cloudera的Mike Olson都看到了他们的业务在2013年获得迅速的发展,且最后两个季度的发展节奏更快。这样的加速度反映了他们对营销信息的改善,已围绕企业如何更容易地从Hadoop真正获得价值,同时也表明,企业从Hadoop获得价值的门槛已经降低。

最后再次重复,Hadoop越专注于小规模部署,最终用于大规模部署的可能性越大。

原文发布于微信公众号 - 云计算D1net(D1Net02)

原文发表时间:2014-02-20

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏机器人网

工业机器人与哪些高科技含量的技术有关?

工业机器人是目前广泛应用机器人设备,在汽车制造业、造船、钢铁、电力设备等行业运用广泛,近年来随着技术发展,工业机器人技术日新月异,那么到底工业机器涉及到哪些高科...

13140
来自专栏机器人网

台灯or花瓶?No,它是万能的Patin机器人

位于东京的设计工作室Flower Robotics正在设想一个美好的未来:像台灯和花盆之类的普通家用摆设会突然焕发生机在家里四处走动。而就在今年初,这家公司便...

31690
来自专栏一名叫大蕉的程序员

学习别跟我谈兴趣 No.88

许岑老师说:学习别跟我谈什么兴趣,成年人学习不需要兴趣。 听了很多人在吐槽,现在所做的东西有多么不开心,有多么不喜欢,但还是每天两点一线,每天都一模一样机械地去...

35980
来自专栏飞总聊IT

自建轮子与抱团取暖

一项技术的发展,有自建轮子和抱团取暖两种选择,前者自己从头搭起,后者大家一起合作搞个开源社区。这两者到底哪个比哪个更好,一直都是说不清楚的问题。当然还有拿来主义...

9730
来自专栏小石不识月

2018年物联网六大趋势

回首 2017,看看我们去年对物联网(IoT,Internet of Things)所作出的预测是否已经成真,同时也展望展望未来。我发现,这其中有几个引人注目的...

439120
来自专栏我是攻城师

Hadoop之父Doug Cutting眼中大数据技术的未来

30770
来自专栏CSDN技术头条

提供基于 Spark 的云服务,大数据软件公司 Databricks 获得 6000 万美元 C 轮融资

近日,大数据软件公司 Databricks 获得 6000 万美元 C 轮融资,由New Enterprise Associates 领投,Andreessen...

19880
来自专栏AI科技评论

业界 | 任正非谈人工智能应用:不要遍地智能化,否则满盘皆输

AI科技评论按:近日华为心声社区公众号发布了任正非在人工智能应用GTS研讨会上的讲话,AI科技评论获悉GTS是“华为全球技术服部”(Global Technic...

39080
来自专栏ThoughtWorks

把“墙”推倒 - 扁平组织中的自主和责任 | MD脑洞

销售:“研发总是不跟我们销售知会一下就擅自把东西发给客户,人家客户问起来,我们都不知道发生了什么,这弄得我们很被动。”

11330
来自专栏大数据钻研

作为一个新手程序员该如何成长?

大纲 找一种你喜欢用到工作中的语言 修复问题 (公开)发布工作 写博客 保持健康心态的小技巧 引言 “哦,天那。相比其他开发者,我又笨又没准备。老板会知道我是多...

37470

扫码关注云+社区

领取腾讯云代金券