迟到的端午节福利之大数据入门

前段时间木可大大发布过两篇大数据相关文章,有不少小伙伴在后台留言希望老柯能写些更加偏实战的大数据相关技术文章,由于最近单位事情比较多,老柯没有太多精力去写相关文章。但是,为了更多小伙伴能学到更多实战性的技术,我选取了一个视频教程希望能帮到大家。

1

大数据概述

本章将从几则故事说起,让大家明白大数据是与我们的生活息息相关的,并不是遥不可及的,还会介绍大数据的特性,以及大数据对我们带来的技术变革,大数据处理过程中涉及到的技术

2

初始Hadoop

本章节将带领大家认识Hadoop以及Hadoop生态系统、Hadoop的发展史、Hadoop的优缺点、Hadoop的三个核心组件、Hadoop发行版的选择以及Hadoop在企业中的案例分享,为后续深入讲解Hadoop打下坚实的基础

3

分布式文件系统HDFS

本章将从Hadoop的设计目标、架构及副本的脚本带大家详细剖析,快速搭建单节点伪分布式HDFS的实验环境,并讲解使用hdfs shell以及Java API的方式操作HDFS文件系统,并详细分析HDFS文件的读写流程,使得大家对Hadoop分布式文件系统HDFS有深刻的认识以及使用

4

分布式资源调度YAEN

本章将从YARN的产生背景、YARN的架构及执行流程的角度带大家认知Hadoop的资源调度框架YARN,快速搭建单节点伪分布式YARN的实验环境并掌握如何提交一个官方自带的MapReduce作业提交到YARN上运行

5

分布式计算框架MapReduce

本章将从架构、优缺点、编程模型等角度带大家认识Hadoop的分布式计算框架MapReduce,掌握MapReduce应用程序的开发,学会配置JobHistory Server

6

Haddop项目实战

本章将通过对某网主站的访问日志进行分析的项目实战,来将前面几个章节讲解的知识点串联起来,综合使用Hadoop的技术进行离线统计分析

7

Hadoop分布式集群搭建

本章将带领大家搭建一个三个节点的分布式Hadoop集群环境,让大家对于Hadoop集群的安装有更深入的认识,并将项目实战案例运行在分布式集群环境中

8

Hadoop集成Spring的使用

本章将带领大家使用Java社区中最流行的Spring框架来整合Hadoop的使用

9

前沿技术拓展:Spark/Flink/Beam

本章将带领大家认识当前大数据领域中非常火爆的三个框架:Spark、Flink以及Beam,并使用这三个框架完成词频统计分析操作,为大家以后更加深入的学习这几个框架打下坚实的基础

10

Hadoop3.x新特性

本章将带来大家学习Hadoop3.x版本的一些新特性,实时跟上Hadoop社区的发展

原文发布于微信公众号 - 木可大大(mukedd)

原文发表时间:2018-06-19

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏钱塘大数据

一图简述大数据技术生态圈

1、HBase   是一个高可靠性、高性能、面向列、可伸缩的分布式存储系统,利用HBase技术可在廉价PC Server上搭建起大规模结构化数据集群。像Face...

32980
来自专栏Java学习123

《Hadoop基础教程》之初识Hadoop

31350
来自专栏大数据时代

大数据学习路线是什么,小白学大数据学习路线

大数据这个话题热度一直高居不下,不仅是国家政策的扶持,也是科技顺应时代的发展。想要学习大数据,我们该怎么做呢?大数据学习路线是什么?先带大家了解一下大数据的特征...

17230
来自专栏IT派

关于大数据分析系统 Hadoop,这里有13个开源工具送给你

Hadoop是由Apache基金会开发的一个大数据分布式系统基础架构,最早版本是2003年原Yahoo!DougCutting根据Google发布的学术论文研究...

12720
来自专栏编程

一文读懂Apache Spark

摘要:Apache Spark快速、灵活、开发友好,是大型SQL、批处理、流处理和机器学习的主要平台。 从2009年在加州大学伯克利分校(u.c Berkele...

31200
来自专栏大数据挖掘DT机器学习

大数据架构师基础:hadoop家族,Cloudera系列产品介绍

大数据我们都知道hadoop,可是还会各种各样的技术进入我们的视野:Spark,Storm,impala,让我们都反映不过来。为了能够更好的架构大数据项目,这...

52950
来自专栏about云

Cloudera 系列1:Cloudera 入门指南

问题导读 1.Cloudera 提供了那些产品和工具? 2.Cloudera Navigator的作用是什么? Cloudera 提供一个可扩展、灵活、...

48760
来自专栏挖掘大数据

大数据初学者该如何快速入门?

很多人都知道大数据很火,就业很好,薪资很高,想往大数据方向发展。但该学哪些技术,学习路线是什么样的呢?用不用参加大数据培训呢?如果自己很迷茫,为了这些原因想往大...

1.8K60
来自专栏蓝天

HDFS Federation

Federation翻译成中文是联盟或联邦的意思,网上有很多介绍HDFS Federation的文章,官网上的Federation.html也做了专门的介绍...

13420
来自专栏Albert陈凯

Apache Spark常见的三大误解

最近几年关于Apache Spark框架的声音是越来越多,而且慢慢地成为大数据领域的主流系统。最近几年Apache Spark和Apache Hadoop的Go...

36160

扫码关注云+社区

领取腾讯云代金券