浅论Hadoop应用工作思路

随着企业对大数据越来越重视,hadoop应用达到了前所未有的高度。今天聊聊hadoop应用的工作思路,我想了下以下几方面,和大家一起讨论:

首先最重要的是建立一支以开发人员为主的团队。

Hadoop虽然很火,但是还是在初级阶段,开源的东西存在业务不完全匹配,成熟度低等诸多问题。所以不管是什么公司,什么部门,应该建设一支以开发人员为主的团队。立足于能读懂开源代码,能修改bug,可以根据自己的场景进行适度匹配。

团队建立之后,以团队技能成熟度模型为指导,牵引团队技能逐渐成熟,达到事成人爽。关于团队成熟度,以前写过一篇博文《开源软件使用3个level》。

活都是人干出来的,好的团队,事情能干成,差的团队也能把事情干砸,所以各个公司的老板,经理再打算部署hadoop时,先应该把团队建设放首位。

第二,确立工作总体思路。基于自己公司的当前现状,业务的需求,每个阶段都应该确立工作的指导思路。是自立更生为主,还是应用为主。指导思路确定,工作工作才能有条不紊的开展。不同阶段的,思路应该是不一样,不要抱残守缺。IT行业变化很快,工作思路也应该根据客观条件的变化积极转变。

第三,重视知识管理。Hadoop技术发展很快,各种开源软件日新月异,知识爆炸很厉害。所以追踪开源发展,各种技术的学习天天有。整个团队要重视知识管理,知识技能可以得到继承。团队成员的流失和新加入,应该不会明显影响整个团队成熟度。

第四,创建自己的bendchmark。每种业务对应不同的场景,所以hadoop应用团队开展工作的第一件事情,就是建立适合自己业务的bendchmark。最好的不一定好,合适的才是最好。

第五,选型应该坚持one fit a branch。没有一个包打天下的组件和解决方案。各种组件应该组合思路,各取所长。

原文发布于微信公众号 - 大数据和云计算技术(jiezhu2007)

原文发表时间:2014-11-09

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏Sign

关于ARkit

又到了要推送的时候,总觉得昨天刚刚推送过文章一样…… 聊一下ios11里的一些AR吧。 这个公众号的文章推送一般都有一个月左右的滞后期,也就是说推送的内容一般都...

3228
来自专栏PPV课数据科学社区

【推荐】如何玩数据?就这样玩数据

在网站运营、网络推广等方面都需要数据分析作为支撑,所谓兵马未动,数据先行,因此数据分析是我们做网络推广必须要掌握的技能。 1、没有明确分析数据的目的:...

2845
来自专栏鹅厂网事

IDC网络优化项目管理浅谈

"鹅厂网事"由深圳市腾讯计算机系统有限公司技术工程事业群网络平台部运营,我们希望与业界各位志同道合的伙伴交流切磋最新的网络、服务器行业动态信息,同时分享腾讯在网...

2555
来自专栏互联网数据官iCDO

营销KPI指标那么多,如何进行有效的选择?

引言:本文的目的是帮助你科学地设置数字营销KPI,让各方都可以在重要的事情上达成一致。我们将会讨论如何进行KPI的谈判以及关联RACE模型。

2505
来自专栏数据的力量

做优秀产品经理的七个小窍门

1093
来自专栏大数据文摘

机器学习是如何改善企业生产力的?(内附机器智能版图)

2485
来自专栏程序你好

如何通过设计思维创造更好的软件系统?

对我们大多数人来说,“设计”这个词是对经典的思考。建筑风格的吸引力或漂亮汽车的吸引力,从美学的角度来看,汽车或家庭可能设计得很好,但它们可能不太适合自己的工作。

1262
来自专栏孟永辉

“内容+用户”生态体系或是内容变现最好方式

54211
来自专栏程序员笔记

游戏测试

2033
来自专栏PPV课数据科学社区

【学习】DT时代:看IT运维高手如何“玩”数据分析

正如马云所言,我们身处在一个数据为王的时代,世界正从IT走向DT。在移动互联、云计算和大数据的穹顶之下,未来的IT运维管理被赋予了更多的信息挖掘和数据分析的重任...

3475

扫码关注云+社区

领取腾讯云代金券