专栏首页养码场15G的Hadoop基础入门干货大放送!从教程到工具包再到电子书,让你零基础也能学会!

15G的Hadoop基础入门干货大放送!从教程到工具包再到电子书,让你零基础也能学会!

昨天,总在投资风口的朱啸虎分享了雕爷的文章--“来,喝了这碗区块链解毒汤!”,并附上了转发语:雕爷这篇文章还是赞的。

场主好奇打开了这篇文章。

里面有段话,让场主印象深刻:

区块链这事儿牛逼吗?牛逼!伟大吗?肯定伟大!

但同样牛逼和伟大,和区块链不分彼此,甚至排在丫前面的,还有A、人工智能;B、3D打印;C、火星移民;D、核能微型化;E、人类永生技术;F、AR、VR……等等十几种以上的前瞻性技术。

甚至考虑到区块链的本质,不是底层技术的突破,而是一套建筑在现有技术上的方法论——做个比喻,CPU是底层晶体管技术的突破,TCP/IP协议是个类似方法论的东西,互联网的实现,这俩东西都不可或缺,但论先来后到、皮之不存毛将焉附的关系,晶体管排名得在TCP/IP的前边。

所以这么一看,区块链也没伟大到“吓尿的程度”嘛。

倒是挺客观的。

哎、不说区块链了,三点钟是真的无眠啊。

近期,养码场社群蛮多Java、安卓群友都在说想学习Hadoop大数据,马云也说了:“未来最大的资源就是数据,不参与大数据十年后一定会后悔!”

之前,场主在知乎上看到一幅图,是大数据技术运用中每个组件的大概功能介绍。

关于上述图片的详细解析:

  • Hadoop与Spark的区别

蓝色部分,是Hadoop生态系统组件;黄色部分是Spark生态组件。

虽然他们是两种不同的大数据处理框架,但它们不是互斥的,Spark与hadoop 中的MapReduce是一种相互共生的关系。Hadoop提供了Spark许多没有的功能,比如分布式文件系统,而Spark 提供了实时内存计算,速度非常快。

有一点大家要注意,Spark并不是一定要依附于Hadoop才能生存,除了Hadoop的HDFS,还可以基于其他的云平台,当然啦,大家一致认为Spark与Hadoop配合默契最好摆了。

  • 技术趋势

Spark在崛起,Hadoop和Storm中的一些组件在消退。

大家在学习使用相关技术的时候,记得与时俱进掌握好新的趋势、新的替代技术,以保持自己的职业竞争力。

HSQL未来可能会被Spark SQL替代,现在很多企业都是HIVE SQL和Spark SQL两种工具共存,当Spark SQL逐步成熟的时候,就有可能替换HSQL。

MapReduce也有可能被Spark 替换,趋势是这样,但目前Spark还不够成熟稳定,还有比较长的路要走。

Hadoop中的算法库Mahout正被Spark中的算法库MLib所替代,为了不落后,大家注意去学习Mlib算法库。

Storm会被Spark Streaming替换吗?虽然,Storm不是Hadoop生态中的一员,但由于Spark和Hadoop天衣无缝的结合,Spark在逐步的走向成熟和稳定,其生态组件也在逐步的完善,是冉冉升起的新星。

Storm会逐步被挤压而走向衰退。

不过,现在公司内部几乎所有的项目搭建都离不开Hadoop生态圈。

说完趋势,给大家送上

Hadoop

学习干货资料!

15G

从包装包到工具包

从电子书到视频

通过自学,让你真正搞懂Hadoop生态架构,做到独立搭建和设计大型商业项目!

Hadoop 入 门

学习Hadoop的前提,要掌握Linux基础操作,和至少一门基础开发语言。

除了视频外,还附上了文字版的讲解!

安 装 包

不仅仅有Hadoop,还详细讲解了Storm、Spark、推荐算法、聚类算法、神经网络与深度学习的内容!

真的很全了!

本文分享自微信公众号 - 养码场(yangmachang0),作者:场主

原文出处及转载信息见文内详细说明,如有侵权,请联系 yunjia_community@tencent.com 删除。

原始发表时间:2018-02-25

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

我来说两句

0 条评论
登录 后参与评论

相关文章

  • 限时领取!史上最全Hadoop视频教程,Day1到Day8,冲击月薪50k!

    随着技术快速更迭,“技术过时”成为程序员心里的一大隐患,谁也不想辛辛苦苦地学好了技术后却发现无用武之地,简直有种写好的代码被别人篡改了的心情……

    养码场
  • 程序员离区块链风口最近的一批人,颠覆正在涌动!送上网评最高的15本区块链必读书籍!

    作为一个程序猿,吃的是草,挤的是奶,加班熬夜常有,升职加薪却不常有,都说科技是第一生产力,程序猿却很少有机会从中分一杯羹。但这种情况,有了“区块链”就不一样了,...

    养码场
  • 区块链这么好,为什么还是有人选择离开?

    360搜索入局区块链,原创图片认证成切入口! 7月30日,360搜索原创图片认证平台——图刻正式上线,标志着360搜索以数字资产的确权、分发和维权为切入点...

    养码场
  • Spark是否可以完全取代Hadoop

    谈到大数据,相信大家对Hadoop和Apache Spark这两个名字并不陌生。然而,最近业界有一些人正在大张旗鼓的宣扬Hadoop将死,Spark将立。他们究...

    企鹅号小编
  • Storm与Spark、Hadoop三种框架对比

    Storm与Spark、Hadoop这三种框架,各有各的优点,每个框架都有自己的最佳应用场景。所以,在不同的应用场景下,应该选择不同的框架。

    用户2292346
  • 别再比较Hadoop和Spark了,那不是设计人员的初衷

    对Hadoop与Spark孰优孰劣这个问题,最准确的观点就是,设计人员旨在让Hadoop和Spark在同一个团队里面协同运行。 直接比较Hadoop和Spark...

    CDA数据分析师
  • Hadoop和Spark的异同

    解决问题的层面不一样 Hadoop实质上是解决大数据大到无法在一台计算机上进行存储、无法在要求的时间内进行处理的问题,是一个分布式数据基础设施。 HDFS,它将...

    企鹅号小编
  • 这几个月读过的书

    哒呵呵
  • 项目实战 DeepLabV1,V2,V3 Google三大语义分割算法源码解析

    算法和工程是算法工程师不可缺少的两种能力,之前我介绍了DeepLab V1,V2, V3,但总是感觉少了点什么?只有Paper,没有源码那不相当于是纸上谈兵了,...

    BBuf
  • HackerOne平台2016年最具竞争力的漏洞悬赏项目

    互联网充斥着漏洞,这是不足为奇的事。从程序员开始写代码起,他们就必定会犯错。而只要他们犯错,犯罪分子、政府、黑客分子就都能对这些漏洞无所不用其极。 谷歌、Fac...

    FB客服

扫码关注云+社区

领取腾讯云代金券