学hadoop需要什么基础

最近一段时间一直在接触关于hadoop方面的内容,从刚接触时的一片空白,到现在也能够说清楚一些问题。这中间到底经历过什么只怕也就是只有经过的人才会体会到吧。前几天看到有个人问“学hadoop需要什么基础”,这个问题好像至今还没好好细想过,可能是因为身边有大神在带着我学习hadoop的缘故,也就没想过这样的一个简单的问题。

我们目前在用的hadoop版本并不是原生态的版本,我们在用的是国内的一款商业发行版,叫DKhadoop。大快搜索推出的一款原生态开发的Hadoop集成生态环境。从使用的效果上看DKhadoop与开源环境是可以做到完全兼容的。准备过段时间抽个空,试着写一下以DKhadoop为切入点关于学习hadoop需要掌握什么基础。

【DKhadoop基础技术架构图】

关于学hadoop需要什么基础这样的问题,看到一篇关于介绍学习原生hadoop的分享,个人觉得还是很不错的一篇文章。这里也分享给大家,供参考之用。

关于学习hadoop需要具备什么基础知识,首先应该从整体了解hadoop,包括hadoop是什么,能够帮助我们解决什么问题,以及hadoop的使用场景等。在有了整体上的了解后,就可以开始系统的学习hadoop。当然,若是能够结合一些实践性的东西学习会更有助于理解hadoop。

学习hadoop需要什么基础:

Linux:

① 需要能够熟练操作linux常用命令以及网络配置;

② 熟悉用户以及权限管理操作;

③ 需要熟悉软件包以及系统命令管理;

④ 还需要学习一下shell编程。

Java:

⑤ 需要具备一定的javase基础知识;

⑥ 如果懂java web及各种框架知识那就更好了。

虚拟机:

⑦ 需要掌握虚拟机;

⑧ 需要安装linux操作系统

⑨ 需要配置虚拟机网络

除了上述这几个方面,我们还需要了解hadoop的单机模式、伪分布模式和分布式模式的搭建方式。了解MapReduce分布式计算框架、Yarn集群资源管理和调度平台、hdfs分布式文件系统、hive数据仓库、HBase实时分布式数据库、Flume日志收集工具、sqoop数据库ETL工具、zookeeper分布式协作服务、Mahout数据挖掘库等。

原创声明,本文系作者授权云+社区发表,未经许可,不得转载。

如有侵权,请联系 yunjia_community@tencent.com 删除。

编辑于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏云计算D1net

轻松几步搭建你的私有云

私有云增加了IT的灵活性,帮助前端用户实现自助式服务。许多企业通往私有云的过程是从虚拟化起步的。从这种角度看,私有云主要是额外增加了一层灵活性,让用户可以自行部...

67750
来自专栏互联网数据官iCDO

Apple Store A/B测试真的难吗?一招教你学会大多数人都不会的本领!

作者:吕东昊 审校:Sarah 本文长度为2343字,预估阅读时间7分钟。 导读:本文作者将向大家介绍A/B测试的方法。 只要数字营销的概念依然存在,那么就需...

39880
来自专栏Java架构

Java后端技术栈,到底如何深入学习?

Java,是现阶段中国互联网公司中,覆盖度最广的研发语言。有不少朋友问,如何深入学习Java后端技术栈,今天分享一个,互联网牛人整理出来的Java深入学习路线图...

13860
来自专栏BestSDK

解密个推SDK如何完成百亿级覆盖量推送

精彩内容 作为推送行业领导者,截止目前个推SDK累计安装覆盖量达100亿(含海外),接入应用超过43万,独立终端覆盖超过10亿 (含海外)。个推系统每天会产生大...

33360
来自专栏杨建荣的学习笔记

自动化平台开发小结(六)

最近几天还在不断的改进平台里的事情,而翻了下之前写过的文章,发现从起步到现在也有一个多月了。如果不是看看自己总结的文章,好像啥也没干。 在此期间,我设立了两个里...

36650
来自专栏Golang语言社区

大数据架构下对于业务监控的几点思考

许俊是极光的第一位严格意义上的大数据工程师,目前是大数据平台的负责人,见证了极光大数据平台从0到1,迅速发展到现在规模的历程。他给开发者带来的是大数据架构下对于...

57560
来自专栏ThoughtWorks

如约而至|2018年5月期技术雷达正式发布!

ThoughtWorks每年都会出品两期技术雷达,这是一份关于技术趋势的报告,由 ThoughtWorks 技术战略委员会(TAB)经由多番正式讨论给出,它以独...

12210
来自专栏SDNLAB

JUNOS DEVOPS尤便捷 更精彩

一、 新一轮IT变革来临(DEVOPS) 如今IT发展风起云涌如火如荼,各领域技术百花齐放,各山头厂商占地为王。纵观整个IT江湖,虽拥有众多的昙花一现和太多的不...

34980
来自专栏云市场·精选汇

小程序为何这么火?

自小程序推出一年多以来,小程序已上线数量已经超过58万个,小程序数量还有逐渐增长的趋势。

15820
来自专栏企鹅号快讯

Inceptor5.1-批处理分析数据库的进阶

Transwarp Inceptor是针对于批量处理及分析的数据库,被广泛应用于数据仓库和数据集市的构建。Inceptor基于Hadoop和Spark技术平台打...

47350

扫码关注云+社区

领取腾讯云代金券