浅论Hadoop应用工作思路

随着企业对大数据越来越重视,hadoop应用达到了前所未有的高度。今天聊聊hadoop应用的工作思路,我想了下以下几方面,和大家一起讨论:

首先最重要的是建立一支以开发人员为主的团队。

Hadoop虽然很火,但是还是在初级阶段,开源的东西存在业务不完全匹配,成熟度低等诸多问题。所以不管是什么公司,什么部门,应该建设一支以开发人员为主的团队。立足于能读懂开源代码,能修改bug,可以根据自己的场景进行适度匹配。

团队建立之后,以团队技能成熟度模型为指导,牵引团队技能逐渐成熟,达到事成人爽。关于团队成熟度,以前写过一篇博文《开源软件使用3个level》。

活都是人干出来的,好的团队,事情能干成,差的团队也能把事情干砸,所以各个公司的老板,经理再打算部署hadoop时,先应该把团队建设放首位。

第二,确立工作总体思路。基于自己公司的当前现状,业务的需求,每个阶段都应该确立工作的指导思路。是自立更生为主,还是应用为主。指导思路确定,工作工作才能有条不紊的开展。不同阶段的,思路应该是不一样,不要抱残守缺。IT行业变化很快,工作思路也应该根据客观条件的变化积极转变。

第三,重视知识管理。Hadoop技术发展很快,各种开源软件日新月异,知识爆炸很厉害。所以追踪开源发展,各种技术的学习天天有。整个团队要重视知识管理,知识技能可以得到继承。团队成员的流失和新加入,应该不会明显影响整个团队成熟度。

第四,创建自己的bendchmark。每种业务对应不同的场景,所以hadoop应用团队开展工作的第一件事情,就是建立适合自己业务的bendchmark。最好的不一定好,合适的才是最好。

第五,选型应该坚持one fit a branch。没有一个包打天下的组件和解决方案。各种组件应该组合思路,各取所长。

原文发布于微信公众号 - 大数据和云计算技术(jiezhu2007)

原文发表时间:2014-11-09

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏PPV课数据科学社区

【学习】DT时代:看IT运维高手如何“玩”数据分析

正如马云所言,我们身处在一个数据为王的时代,世界正从IT走向DT。在移动互联、云计算和大数据的穹顶之下,未来的IT运维管理被赋予了更多的信息挖掘和数据分析的重任...

3085
来自专栏大数据文摘

机器学习是如何改善企业生产力的?(内附机器智能版图)

2315
来自专栏CSDN技术头条

大数据即服务(BDaaS):大数据行业的下一个热门

我们有软件即服务(SaaS)、平台即服务(PaaS)和数据即服务(DaaS),现在把它们全部揉杂在一起,再将所涉及的数据量大幅增加,就有了大数据即服务(BDaa...

2029
来自专栏程序员互动联盟

「大学生学编程系列」第四篇:如何让自己变得有项目经验?

很多初学者学完基础之后,觉得自己学的还可以就开始投简历,然后百分95以上的公司都有项目经验的要求,难道千千万万的初学者都自带项目经验,实际情况肯定不是这样,那么...

7152
来自专栏机器之心

业界 | 微软收购GitHub引研究者担忧,Nature发文讨论各方态度

很多研究者与开发者担心 GitHub 在线平台将变得不那么开放,但其他研究者表示收购可能让它变得更加实用。

1130
来自专栏程序你好

如何通过设计思维创造更好的软件系统?

对我们大多数人来说,“设计”这个词是对经典的思考。建筑风格的吸引力或漂亮汽车的吸引力,从美学的角度来看,汽车或家庭可能设计得很好,但它们可能不太适合自己的工作。

1082
来自专栏大数据挖掘DT机器学习

【总结】梦想与前行-一名数据人的自白

前段时间看微博话题讨论有些迷茫,有些已经被同行确认无疑的观点竟被反复强调,比如”数据挖掘/分析要懂业务”、”产品是数据价值变现的一条有效渠道”,观点没错,但听多...

2814
来自专栏华章科技

互联网大数据背后的秘密 分析创造商业价值

今天很多是创业公司或者BAT公司,大家把时间花在下面,美国做了一个研究,大部分数据分析师和科学家花很多的时间,只有10%时间创造很多的价值。那么势必我们会产生更...

1261
来自专栏PPV课数据科学社区

【推荐】如何玩数据?就这样玩数据

在网站运营、网络推广等方面都需要数据分析作为支撑,所谓兵马未动,数据先行,因此数据分析是我们做网络推广必须要掌握的技能。 1、没有明确分析数据的目的:...

2735
来自专栏程序员笔记

游戏测试

1733

扫码关注云+社区