浅论Hadoop应用工作思路

随着企业对大数据越来越重视,hadoop应用达到了前所未有的高度。今天聊聊hadoop应用的工作思路,我想了下以下几方面,和大家一起讨论:

首先最重要的是建立一支以开发人员为主的团队。

Hadoop虽然很火,但是还是在初级阶段,开源的东西存在业务不完全匹配,成熟度低等诸多问题。所以不管是什么公司,什么部门,应该建设一支以开发人员为主的团队。立足于能读懂开源代码,能修改bug,可以根据自己的场景进行适度匹配。

团队建立之后,以团队技能成熟度模型为指导,牵引团队技能逐渐成熟,达到事成人爽。关于团队成熟度,以前写过一篇博文《开源软件使用3个level》。

活都是人干出来的,好的团队,事情能干成,差的团队也能把事情干砸,所以各个公司的老板,经理再打算部署hadoop时,先应该把团队建设放首位。

第二,确立工作总体思路。基于自己公司的当前现状,业务的需求,每个阶段都应该确立工作的指导思路。是自立更生为主,还是应用为主。指导思路确定,工作工作才能有条不紊的开展。不同阶段的,思路应该是不一样,不要抱残守缺。IT行业变化很快,工作思路也应该根据客观条件的变化积极转变。

第三,重视知识管理。Hadoop技术发展很快,各种开源软件日新月异,知识爆炸很厉害。所以追踪开源发展,各种技术的学习天天有。整个团队要重视知识管理,知识技能可以得到继承。团队成员的流失和新加入,应该不会明显影响整个团队成熟度。

第四,创建自己的bendchmark。每种业务对应不同的场景,所以hadoop应用团队开展工作的第一件事情,就是建立适合自己业务的bendchmark。最好的不一定好,合适的才是最好。

第五,选型应该坚持one fit a branch。没有一个包打天下的组件和解决方案。各种组件应该组合思路,各取所长。

原文发布于微信公众号 - 大数据和云计算技术(jiezhu2007)

原文发表时间:2014-11-09

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏数据科学与人工智能

人工智能做招聘是一种什么体验?

早在你意识到之前,人工智能就已经遍布我们的周围。人工智能的快速发展,改变了人们生活的方方面面,从智能家居到日常工作到政治经济各个领域,处处都有人工智能的影子。过...

3375
来自专栏云计算D1net

有效管理政府云的三个好处

云环境已经开始成熟,而一些政府部门未能控制蔓延并建立有效的管理实践,因此将错失这个巨大的机会。虽然将面临IT团队不可避免出现的挑战,但政府IT团队必须制定一项全...

30711
来自专栏人称T客

2014IT趋势:BYOD迎来元年 企业移动化驶入快车道

过去这一两年来,员工自带设备(BringYour Own Device,BYOD)上班的趋势越演越烈,随着2014年到来,国内外市场研究机构依然把移动设备列入必...

3204
来自专栏新智元

李立军:用“串珍珠理论”做中国人工智能产业投资 | 新智元智库专家访谈

【新智元导读】2016年4月9日下午,新智元记者参加了由慈星股份与阿优文化共同举办的主题为“智童道合”的服务机器人产业战略及新品发布会。开心果机器人公司CEO马...

3965
来自专栏人称T客

中美SaaS有什么差异?AI是不是存在泡沫?

T客汇官网:tikehui 撰文 |卿云 中美SaaS差异 中国SaaS出海应注意什么? Dropbox Lan:中国SaaS公司出海还是挺少见的。我觉得几点...

3235
来自专栏腾讯研究院的专栏

腾讯发布社会责任报告:要做互联网上的亚马逊河

  6月26日,腾讯发布了以“为连接而来”为主题的2013—2014年企业社会责任报告,自2008年以来,这是腾讯对外发布的第四份企业社会责任报告。   过去的...

2088
来自专栏罗超频道

邓正平:智能硬件大众化任务交给京东

智能硬件正当时,2014年所有科技圈行业会议几乎都设立了智能硬件展馆,虎嗅F&M创新节也不例外。与京东独家合作的智能生活馆内,空调、灯光、空气净化器、健康设备,...

2656
来自专栏灯塔大数据

洞察|大数据渗透到各行各业,融入教育或将取代高考

大数据的研究应用,到底与普通老百姓有多大关系?普通人能享受到多少大数据带来的便捷服务?在11月17日-18日的2016全球大数据应用研究论坛的分论坛上,“大咖...

3295
来自专栏钱塘大数据

世界已进入第四次产业革命——大数据时代

导读:如今,我们正在见证又一次产业革命的爆发——以大数据为主导的第四次产业革命。它与前三次产业革命一样,第四次产业革命将大幅提高生产力,促进经济的快速发展,同时...

2657
来自专栏人称T客

CIO的沟通方式如何影响企业的成功?

T客汇官网:tikehui.com 原作者:Christopher C.Barron 编译 | 李哲 ? 一个典型的日常工作场景:电话响了,屏幕上显示出来电人...

3256

扫码关注云+社区