史上最快! 10小时大数据入门实战(三)-分布式文件系统HDFSHDFS Shell 操作Java 操作 HDFS 开发环境搭建

HDFS 环境搭建

HDFS 伪分布式环境搭建

CentOS 环境安装步骤

MacOS安装环境

安装jdk

jdk安装路径

/usr/libexec/java_home -V:列出所有版本的JAVA_HOME

设置 JAVA_HOME

  • 添加java_home到.bash_profile文件中
export JAVA_HOME=$(/usr/libexec/java_home)
export PATH=$JAVA_HOME/bin:$PATH
export CLASS_PATH=$JAVA_HOME/lib 

Mac OS X ssh设置

输入命令ssh localhost,可能遇到如下问题

原因是没打开远程登录,进入系统设置->共享->远程登录打开就好

这时你再ssh localhost一下

  • 下载 Hadoop
  • 解压到soft目录

官方指南

  • 编辑 hadoop-env.sh 文件

Hadoop也可以在伪分布模式下的单节点上运行,其中每个Hadoop守护进程都在单独的Java进程中运行

具体更改

新建一个临时文件目录

编辑 hdfs/core-site.xml 文件

配置 datanode 节点数 启动 hdfs

查看进程

访问http://localhost:50070/

表示HDFS已经安装成功

存活节点

步骤小结

关闭

HDFS Shell 操作

官网指南

先启动 HDFS

配置 hadoop 环境变量

成功

指令集

dfs fs 无差异

上传一个 txt 文件

创建文件夹

多层次文件夹

遍历所有文件夹

删除文件/文件夹

所上传的文件

Java 操作 HDFS 开发环境搭建

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏容器云生态

Ansible基本配置以及使用示例

##Ansible基本使用以及模块详解 准备条件:注意:前提是ansible已经正常安装,并且可以使用 1.在ansible主机上创建ssh公私钥对 ansib...

2099
来自专栏Ken的杂谈

CentOS 7 下RabbitMQ 3.7 安装与配置

https://ken.io/note/centos7-erlang-install

1284
来自专栏bdcn

Supervisord安装配置笔记 原

想要了解怎么配置需要管理的进程,只要打开 supervisord.conf 就可以了,里面有很详细的注释信息。

864
来自专栏守候书阁

.gitignore文件规则不起效的解决办法

在一个项目里面,多少会有一些文件是不需要上传到git上面的,比如node的依赖模块node_modules,这个文件夹超过10000个文件,大小也超过80M。所...

521
来自专栏岑志军的专栏

gitk安装

1174
来自专栏Python爬虫与数据挖掘

在Navicat中如何新建连接数据库及相关报错解决方法

前几天给大家分享了如何安装Navicat,没有来得及上车的小伙伴可以戳这篇文章:手把手教你安装Navicat——靠谱的Navicat安装教程。今天给大家分享一下...

451
来自专栏阮一峰的网络日志

Linux的五个查找命令

在Linux中,有很多方法可以做到这一点。国外网站LinuxHaxor总结了五条命令,你可以看看自己知道几条。大多数程序员,可能经常使用其中的2到3条,对这5条...

681
来自专栏世界第一语言是java

docker部署redis,清空redis缓存

1431
来自专栏Linux驱动

第4阶段——制作根文件系统之编译配置安装busybox(3)

在上一节分析出制作一个最小的根文件系统至少需要: (1)/dev/console(终端控制台, 提供标准输入、标准输出以及标准错误) /dev/null  (为...

1745
来自专栏我的博客

ssh连接 服务器提示 failed to open a secure file transfer session解决办法

1、使用ssh连接服务器,上传文件出现 failed to open a secure file transfer session错误提示 解决办法: (修改前...

2826

扫码关注云+社区