学习hadoop需要什么基础

“学习hadoop需要什么基础”这已经不是一个新鲜的话题了,随便上网搜索一下就能找出成百上千篇的文章在讲学习hadoop需要掌握的基础。再直接的一点的问题就是——学Hadoop难吗?用一句特别让人无语的话回答就是:难不会,会不难!

学习hadoop需要什么基础

趁着学校放假的时间,写了一些hadoop学习分享的文章。刚开始写的几篇稍微有点乱,其中有一篇就是在说学习hadoop需要什么样基础的。所谓的难不会,会不难,必然也是建立你现在的基础之上的。假定你连基础的计算机基础都没有,那可能真的就是“难不会”了。如果你是有一个良好的计算机基础的,比如,虚拟机的配置你会、拥有JAVA基础和Linux操作基础,那学习hadoop对你来可能就是“会不难”哦!

学习hadoop需要什么基础

当你看了很多介绍“学习hadoop需要什么基础”的文章后,你一定会得出一个结论,那就是学习hadoop所必须的三个基础技能:JAVA基础、Linux基础、虚拟机基础(上面已经说过了)。所有的文章在说完这个三个基础之后,好像在告诉我们所有人,你只要有这个三个基础就一定能够学好hadoop,从此走上人生巅峰······其实,也不尽然,只有当你真正接触了hadoop,你才会发现真正的问题所在。

接触过hadoop的人都知道,单独搭建hadoo里每个组建都需要运行环境、修改配置文件、测试等过程。如果仅仅是安装一下运行环境就行了,那你就大错特错了,几乎每个组件都是坑,这些坑几乎是不可能让初学者有一个愉快的学习过程的。Hadoop虽然起源于国外,但国内发行版本也蛮多,但是都没有去解决环境搭建的问题。如果说他们没有关注到运行环境搭建繁琐这样的问题话,我肯定是不相信的。真的不知道是他们现在的技术解决不了这个问题,还是不想去花费时间去解决?

今年3月初的时候,一个做程序开发的朋友给了一个国产发行版DKHadoop,是大快搜索开源的发行版hadoop。这款hadoop版本终于解决了运行环境搭建繁琐的问题,它将开源社区里多种常用的组件包括:HDFS,Hbase,Storm,Spark,Flume,Kafka,Mahout,ES等都集成到一个平台里,只需简单的一键安装就能完成,需要调用的时候直接调用即可,终于让我觉得不用在像以前拿样再去安装调试等等。

学习hadoop需要什么基础

所以,我觉得学习hadoop需要的不仅仅是JAVA、虚拟机、Linux这三个方面的基础,选择的hadoop版本也是很重要。我们学习hadoop的重点是想要去开发一些东西,而不是为了学习运行环境的安装,这样会让人觉得有点本末倒置!

正在学习hadoop或者准备学习hadoop的朋友,个人还是比较推荐DKHadoop这套发行版,毕竟对新手而言算是很友好的了。我在用的是标准本三节点dkhadoop版本(放心,是免费的),虽然是免费的,但权限都是开放的。所以,对于新手或者个人研究而言已经够用了。需要dkhadoop安装包的,可以留言给我,可以打包发你!

原创声明,本文系作者授权云+社区发表,未经许可,不得转载。

如有侵权,请联系 yunjia_community@tencent.com 删除。

编辑于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏即时通讯技术

达达O2O后台架构演进实践:从0到4000高并发请求背后的努力

达达创立于2014年5月,业务覆盖全国37个城市,拥有130万注册众包配送员,日均配送百万单,是全国领先的最后三公里物流配送平台。 达达的业务模式与滴滴以及Ub...

27830
来自专栏腾讯数据库技术

腾讯新一代企业级云数据库CynosDB(NewCDB)

NewCDB是在CDB十年技术和产品沉淀的基础上诞生的,腾讯云数据库产品在继承中不断完成突破。

7.7K60
来自专栏EAWorld

微服务的4个设计原则和19个解决方案

微服务架构现在是谈到企业应用架构时必聊的话题,微服务之所以火热也是因为相对之前的应用开发方式有很多优点,如更灵活、更能适应现在需求快速变更的大环境。 本文将介绍...

51770
来自专栏云计算D1net

如何防止云计算迁移的回旋效应

最近的调查研究表明,多达50%的企业表示希望将业务从云计算迁移回数据中心,虽然这种回旋效应有很多原因,但缺乏数据一致性是最主要的原因之一。 ? 最近的调查研究表...

35650
来自专栏闻道于事

Onenet学习笔记

中国移动物联网开放平台:https://open.iot.10086.cn/ 一、平台概述 简介 ---- OneNET是中国移动物联网有限公司响应“大众创新、...

1.7K100
来自专栏知晓程序

微信新出的「功能直达」效果如何?我们采访了两家头部小程序

21650
来自专栏杨建荣的学习笔记

几类历史数据沉淀的方案过渡

从数据层面来理解,数据可以分为几个维度,比如流水型数据,状态型数据库,配置型数据。流水型数据的依赖最低,基本就是时间维度的扩展,所以从数据的安全角度来说,如果丢...

39560
来自专栏智能计算时代

2017年终奉献:微服务最佳实践

关键需求 最大限度地提高团队的自主性:创建一个团队可以完成更多工作而不必与其他团队协调的环境。 优化开发速度:硬件便宜,人不是。 使团队能够轻松快捷地构建强大的...

31850
来自专栏EAWorld

企业级BPM之微服务架构演进

BPM平台在各行业的IT架构中都是重要的基础支撑平台,十二五期间,企业级BPM作为SOA体系下的关键组件,经历了一个加速建设的过程。我们也有幸参与了一些行业的流...

65890
来自专栏美图数据技术团队

美图大数据平台架构实践

如今大数据在各行业的应用越来越广泛:运营基于数据关注运营效果,产品基于数据分析关注转化率情况,开发基于数据衡量系统优化效果等。美图公司有美拍、美图秀秀、美颜相机...

36230

扫码关注云+社区

领取腾讯云代金券