史上最快! 10小时大数据入门实战(三)-分布式文件系统HDFSHDFS Shell 操作Java 操作 HDFS 开发环境搭建

HDFS 环境搭建

HDFS 伪分布式环境搭建

CentOS 环境安装步骤

MacOS安装环境

安装jdk

jdk安装路径

/usr/libexec/java_home -V:列出所有版本的JAVA_HOME

设置 JAVA_HOME

  • 添加java_home到.bash_profile文件中
export JAVA_HOME=$(/usr/libexec/java_home)
export PATH=$JAVA_HOME/bin:$PATH
export CLASS_PATH=$JAVA_HOME/lib 

Mac OS X ssh设置

输入命令ssh localhost,可能遇到如下问题

原因是没打开远程登录,进入系统设置->共享->远程登录打开就好

这时你再ssh localhost一下

  • 下载 Hadoop
  • 解压到soft目录

官方指南

  • 编辑 hadoop-env.sh 文件

Hadoop也可以在伪分布模式下的单节点上运行,其中每个Hadoop守护进程都在单独的Java进程中运行

具体更改

新建一个临时文件目录

编辑 hdfs/core-site.xml 文件

配置 datanode 节点数 启动 hdfs

查看进程

访问http://localhost:50070/

表示HDFS已经安装成功

存活节点

步骤小结

关闭

HDFS Shell 操作

官网指南

先启动 HDFS

配置 hadoop 环境变量

成功

指令集

dfs fs 无差异

上传一个 txt 文件

创建文件夹

多层次文件夹

遍历所有文件夹

删除文件/文件夹

所上传的文件

Java 操作 HDFS 开发环境搭建

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏落花落雨不落叶

canvas画简单电路图

60911
来自专栏张善友的专栏

Mix 10 上的asp.net mvc 2的相关Session

Beyond File | New Company: From Cheesy Sample to Social Platform Scott Hansel...

2547
来自专栏java 成神之路

使用 NIO 实现 echo 服务器

4607
来自专栏我和未来有约会

Kit 3D 更新

Kit3D is a 3D graphics engine written for Microsoft Silverlight. Kit3D was inita...

2526
来自专栏C#

DotNet加密方式解析--非对称加密

    新年新气象,也希望新年可以挣大钱。不管今年年底会不会跟去年一样,满怀抱负却又壮志未酬。(不过没事,我已为各位卜上一卦,卦象显示各位都能挣钱...)...

4858
来自专栏跟着阿笨一起玩NET

c#实现打印功能

2702
来自专栏张善友的专栏

Miguel de Icaza 细说 Mix 07大会上的Silverlight和DLR

Mono之父Miguel de Icaza 详细报道微软Mix 07大会上的Silverlight和DLR ,上面还谈到了Mono and Silverligh...

2707
来自专栏我和未来有约会

Silverlight第三方控件专题

这里我收集整理了目前网上silverlight第三方控件的专题,若果有所遗漏请告知我一下。 名称 简介 截图 telerik 商 RadC...

4005
来自专栏闻道于事

js登录滑动验证,不滑动无法登陆

js的判断这里是根据滑块的位置进行判断,应该是用一个flag判断 <%@ page language="java" contentType="text/html...

6768
来自专栏Ceph对象存储方案

Luminous版本PG 分布调优

Luminous版本开始新增的balancer模块在PG分布优化方面效果非常明显,操作也非常简便,强烈推荐各位在集群上线之前进行这一操作,能够极大的提升整个集群...

3105

扫码关注云+社区