【教程】Hadoop HDFS 实践

1. 教程内容

1)目标

主要帮您解决以下几个问题:

  • HDFS 是用来解决什么问题的?怎么解决的?
  • 如何在命令行下操作 HDFS ?
  • 如何使用 java api 来操作 HDFS ?
  • 了解了基本思路和操作方法后,想知道 HDFS 读写数据的具体流程是怎么样的

并提供了实践环境,如果您不喜欢自己搭建hadoop环境,可以直接下载使用本环境

学习并实践完成后,可以对 HDFS 有比较清晰的认识,并可以进行熟练操作,为后续学习 hadoop 体系打好基础

2)理论部分

  • HDFS 基本原理
  • 文件读取、写入机制
  • 元数据管理思路

3)实践部分

  • 安装实践环境
  • Shell 命令行操作方式
  • Java api 操作方式

2. 下载方式

原文发布于微信公众号 - 性能与架构(yogoup)

原文发表时间:2017-03-23

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏云计算D1net

基于大数据分析系统Hadoop的13个开源工具

Hadoop是由Apache基金会开发的一个大数据分布式系统基础架构,最早版本是2003年原Yahoo! Doug Cutting根据Google发布的学...

39760
来自专栏大数据挖掘DT机器学习

大数据架构师基础:hadoop家族,Cloudera系列产品介绍

大数据我们都知道hadoop,可是还会各种各样的技术进入我们的视野:Spark,Storm,impala,让我们都反映不过来。为了能够更好的架构大数据项目,这...

51750
来自专栏蓝天

HDFS Federation

Federation翻译成中文是联盟或联邦的意思,网上有很多介绍HDFS Federation的文章,官网上的Federation.html也做了专门的介绍...

12920
来自专栏CSDN技术头条

Spark Streaming vs. Kafka Stream 哪个更适合你?

译者注:本文介绍了两大常用的流式处理框架,Spark Streaming和Kafka Stream,并对他们各自的特点做了详细说明,以帮助读者在不同的场景下对框...

75160
来自专栏IT派

关于大数据分析系统 Hadoop,这里有13个开源工具送给你

Hadoop是由Apache基金会开发的一个大数据分布式系统基础架构,最早版本是2003年原Yahoo!DougCutting根据Google发布的学术论文研究...

12420
来自专栏Python爬虫与算法进阶

Spark教程(三) Spark 学习资源

基本上把上面两个网站撸完,Scala就差不多了。scala还是和Python挺像的。

12610
来自专栏鸿的学习笔记

hadoop生态系统到底谁最强?

当你打开linkedin时,你会看到数百种不同的东西。例如,您的个人资料属性,您的朋友列表,您的技能,为您推荐的群组,朋友建议,为您推荐的公司,谁查看过您的个人...

14840
来自专栏祝威廉

为什么用Yarn来做Docker容器调度引擎

Mesos 其实我不是非常熟悉,所以有些内容可能会有失偏颇,带有个人喜好。大家也还是需要有自己的鉴别能力

20130
来自专栏大数据技术学习

一步一步学习大数据:Hadoop 生态系统与场景

到底是业务推动了技术的发展,还是技术推动了业务的发展,这个话题放在什么时候都会惹来一些争议。

9300
来自专栏CSDN技术头条

MongoDB + Spark: 完整的大数据解决方案

Spark介绍 按照官方的定义,Spark 是一个通用,快速,适用于大规模数据的处理引擎。 通用性:我们可以使用Spark SQL来执行常规分析, Spark ...

67990

扫码关注云+社区

领取腾讯云代金券