史上最快! 10小时大数据入门实战(三)-分布式文件系统HDFSHDFS Shell 操作Java 操作 HDFS 开发环境搭建

HDFS 环境搭建

HDFS 伪分布式环境搭建

CentOS 环境安装步骤

MacOS安装环境

安装jdk

jdk安装路径

/usr/libexec/java_home -V:列出所有版本的JAVA_HOME

设置 JAVA_HOME

  • 添加java_home到.bash_profile文件中
export JAVA_HOME=$(/usr/libexec/java_home)
export PATH=$JAVA_HOME/bin:$PATH
export CLASS_PATH=$JAVA_HOME/lib 

Mac OS X ssh设置

输入命令ssh localhost,可能遇到如下问题

原因是没打开远程登录,进入系统设置->共享->远程登录打开就好

这时你再ssh localhost一下

  • 下载 Hadoop
  • 解压到soft目录

官方指南

  • 编辑 hadoop-env.sh 文件

Hadoop也可以在伪分布模式下的单节点上运行,其中每个Hadoop守护进程都在单独的Java进程中运行

具体更改

新建一个临时文件目录

编辑 hdfs/core-site.xml 文件

配置 datanode 节点数 启动 hdfs

查看进程

访问http://localhost:50070/

表示HDFS已经安装成功

存活节点

步骤小结

关闭

HDFS Shell 操作

官网指南

先启动 HDFS

配置 hadoop 环境变量

成功

指令集

dfs fs 无差异

上传一个 txt 文件

创建文件夹

多层次文件夹

遍历所有文件夹

删除文件/文件夹

所上传的文件

Java 操作 HDFS 开发环境搭建

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏乐沙弥的世界

Percona XtraDB Cluster集群线程模型

Percona XtraDB集群创建一组线程来为其操作提供服务,这些线程与现有的MySQL线程无关。有三个主要线程组:

870
来自专栏北京马哥教育

Redis 代理服务Twemproxy

1、twemproxy explore 当我们有大量 Redis 或 Memcached 的时候,通常只能通过客户端的一些数据分配算法(比如一致性哈希),来实...

3307
来自专栏Linyb极客之路

分布式定时任务调度框架之elastic-job简介

7333
来自专栏阿杜的世界

【转】分布式协调服务ZooKeeper工作原理ZooKeeper是什么整体结构工作流程

大数据处理框架Hadoop、Redis分布式服务Codis、淘宝的分布式消息中间件MetaMQ ……他们都使用ZooKeeper做为基础部件,可以看出ZooKe...

973
来自专栏lonelydawn的前端猿区

基于java swing的设备管理系统

一.系统介绍 一个简易的设备管理系统,包含了管理员登录注册、设备录入、设备状态管理功能,具体状态有购买时、正在运行、正在修理和已报废。 二.开发环境 开发环境:...

3207
来自专栏木子昭的博客

Markdown批量发布到Github

1463
来自专栏程序员互动联盟

【专业技术】arm中的7种执行模式

嵌入式设备已经越来越与我们的日常生活密切相关了,由此带来了ARM的高速发展。就拿我们的手机来说吧,几乎所有的手机都是ARM体系的。这里大致介绍下ARM 的7种执...

3959
来自专栏Jack-Cui

基于IMX6的GPIO驱动程序

Linux内核版本:linux-3.0.35 开发板: IMX6S MY-IMX6-EK200 编译环境:Ubuntu12 主要内容:IMX6S的...

3388
来自专栏闵开慧

hadoop图解

gateway机器是跳板机,提交job到云梯的,在gateway机器上只要配置hadoop-site.xml即可,配置文件中主要是指定jobtracker的地...

40410
来自专栏散尽浮华

nginx应用总结(1)--基础认识和应用配置

在linux系统下使用nginx作为web应用服务,用来提升网站访问速度的经验已五年多了,今天在此对nginx的使用做一简单总结。 一、nginx服务简介 Ng...

4696

扫码关注云+社区

领取腾讯云代金券