前往小程序,Get更优阅读体验!
立即前往
首页
学习
活动
专区
工具
TVP
发布
社区首页 >专栏 >15G的Hadoop基础入门干货大放送!从教程到工具包再到电子书,让你零基础也能学会!

15G的Hadoop基础入门干货大放送!从教程到工具包再到电子书,让你零基础也能学会!

作者头像
养码场
发布2018-08-13 14:19:18
3070
发布2018-08-13 14:19:18
举报
文章被收录于专栏:养码场养码场

昨天,总在投资风口的朱啸虎分享了雕爷的文章--“来,喝了这碗区块链解毒汤!”,并附上了转发语:雕爷这篇文章还是赞的。

场主好奇打开了这篇文章。

里面有段话,让场主印象深刻:

区块链这事儿牛逼吗?牛逼!伟大吗?肯定伟大!

但同样牛逼和伟大,和区块链不分彼此,甚至排在丫前面的,还有A、人工智能;B、3D打印;C、火星移民;D、核能微型化;E、人类永生技术;F、AR、VR……等等十几种以上的前瞻性技术。

甚至考虑到区块链的本质,不是底层技术的突破,而是一套建筑在现有技术上的方法论——做个比喻,CPU是底层晶体管技术的突破,TCP/IP协议是个类似方法论的东西,互联网的实现,这俩东西都不可或缺,但论先来后到、皮之不存毛将焉附的关系,晶体管排名得在TCP/IP的前边。

所以这么一看,区块链也没伟大到“吓尿的程度”嘛。

倒是挺客观的。

哎、不说区块链了,三点钟是真的无眠啊。

近期,养码场社群蛮多Java、安卓群友都在说想学习Hadoop大数据,马云也说了:“未来最大的资源就是数据,不参与大数据十年后一定会后悔!”

之前,场主在知乎上看到一幅图,是大数据技术运用中每个组件的大概功能介绍。

关于上述图片的详细解析:

  • Hadoop与Spark的区别

蓝色部分,是Hadoop生态系统组件;黄色部分是Spark生态组件。

虽然他们是两种不同的大数据处理框架,但它们不是互斥的,Spark与hadoop 中的MapReduce是一种相互共生的关系。Hadoop提供了Spark许多没有的功能,比如分布式文件系统,而Spark 提供了实时内存计算,速度非常快。

有一点大家要注意,Spark并不是一定要依附于Hadoop才能生存,除了Hadoop的HDFS,还可以基于其他的云平台,当然啦,大家一致认为Spark与Hadoop配合默契最好摆了。

  • 技术趋势

Spark在崛起,Hadoop和Storm中的一些组件在消退。

大家在学习使用相关技术的时候,记得与时俱进掌握好新的趋势、新的替代技术,以保持自己的职业竞争力。

HSQL未来可能会被Spark SQL替代,现在很多企业都是HIVE SQL和Spark SQL两种工具共存,当Spark SQL逐步成熟的时候,就有可能替换HSQL。

MapReduce也有可能被Spark 替换,趋势是这样,但目前Spark还不够成熟稳定,还有比较长的路要走。

Hadoop中的算法库Mahout正被Spark中的算法库MLib所替代,为了不落后,大家注意去学习Mlib算法库。

Storm会被Spark Streaming替换吗?虽然,Storm不是Hadoop生态中的一员,但由于Spark和Hadoop天衣无缝的结合,Spark在逐步的走向成熟和稳定,其生态组件也在逐步的完善,是冉冉升起的新星。

Storm会逐步被挤压而走向衰退。

不过,现在公司内部几乎所有的项目搭建都离不开Hadoop生态圈。

说完趋势,给大家送上

Hadoop

学习干货资料!

15G

从包装包到工具包

从电子书到视频

通过自学,让你真正搞懂Hadoop生态架构,做到独立搭建和设计大型商业项目!

Hadoop 入 门

学习Hadoop的前提,要掌握Linux基础操作,和至少一门基础开发语言。

除了视频外,还附上了文字版的讲解!

安 装 包

不仅仅有Hadoop,还详细讲解了Storm、Spark、推荐算法、聚类算法、神经网络与深度学习的内容!

真的很全了!

本文参与 腾讯云自媒体分享计划,分享自微信公众号。
原始发表:2018-02-25,如有侵权请联系 cloudcommunity@tencent.com 删除

本文分享自 养码场 微信公众号,前往查看

如有侵权,请联系 cloudcommunity@tencent.com 删除。

本文参与 腾讯云自媒体分享计划  ,欢迎热爱写作的你一起参与!

评论
登录后参与评论
0 条评论
热度
最新
推荐阅读
相关产品与服务
云 HDFS
云 HDFS(Cloud HDFS,CHDFS)为您提供标准 HDFS 访问协议,您无需更改现有代码,即可使用高可用、高可靠、多维度安全、分层命名空间的分布式文件系统。 只需几分钟,您就可以在云端创建和挂载 CHDFS,来实现您大数据存储需求。随着业务需求的变化,您可以实时扩展或缩减存储资源,CHDFS 存储空间无上限,满足您海量大数据存储与分析业务需求。此外,通过 CHDFS,您可以实现计算与存储分离,极大发挥计算资源灵活性,同时实现存储数据永久保存,降低您大数据分析资源成本。
领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档