Hadoop学习笔记——Hadoop常用命令

Hadoop下有一些常用的命令,通过这些命令可以很方便操作Hadoop上的文件。

1、查看指定目录下的内容

语法:

hadoop fs -ls 文件目录

2、打开某个已存在的文件

语法:

hadoop fs -cat 文件地址 [ | more]

[]表示的是可选命令

3、将本地文件存到Hadoop

语法:

hadoop fs -put 本地文件地址 Hadoop目录

4、将Hadoop上的文件下载到本地文件夹内

语法:

hadoop fs -get Hadoop目录 本地文件目录

5、删除Hadoop上指定的文件

语法:

hadoop fs -rm Hadoop文件地址

6、删除Hadoop上指定的文件夹

语法:

hadoop fs -rmr Hadoop文件目录

7、在Hadoop指定目录下新建一个空目录

语法:

hadoop fs -mkdir Hadoop目录

8、在Hadoop指定目录下新建一个空文件

语法:

hadoop fs -touchz Hadoop文件

9、将Hadoop上某个文件重命名

语法:

hadoop fs -mv Hadoop原文件地址 Hadoop新文件地址

10、将正在运行的Hadoop作业kill掉

语法:

hadoop job -kill job-id       

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏大数据

Zzreal的大数据笔记-SparkDay01

Spark 一、Spark概述 1、什么是Spark Spark是一种快速、通用、可扩展的大数据分析引擎。它集批处理、实时流处理、交互式查询和图计算于一体,避免...

208100
来自专栏Hadoop实操

如何使用Spark Streaming读取HBase的数据并写入到HDFS

Spark Streaming是在2013年被添加到Apache Spark中的,作为核心Spark API的扩展它允许用户实时地处理来自于Kafka、Flum...

1.2K40
来自专栏叁金大数据

Hadoop基础(二)

我们知道在HDFS中我们的文件按数据块进行存储,那么当我们写入或者读取一个文件的时候HDFS到底进行了哪些操作呢?

11410
来自专栏个人分享

Spark运行流程概述

76830
来自专栏Albert陈凯

hadoop安装可能遇到的问题Incompatible namespaceIDs

如果大家在安装的时候遇到问题,或者按步骤安装完后却不能运行Hadoop,那么建议仔细查看日志信息,Hadoop记录了详尽的日志信息,日志文件保存在logs文件夹...

35280
来自专栏Hadoop实操

如何使用Cloudera Manager启用HDFS的HA

在HDFS集群中NameNode存在单点故障(SPOF),对于只有一个NameNode的集群,如果NameNode机器出现意外,将导致整个集群无法使用。为了解决...

1.6K40
来自专栏祝威廉

Spark 多个Stage执行是串行执行的么?

这里的话,我们构建了两个输入(input1,input2),input2带有一个reduceByKey,所以会产生一次Shuffle,接着进行Join,会产生第...

11840
来自专栏Hadoop实操

如何使用Cloudera Manager禁用HDFS HA

前面Fayson写过《如何使用Cloudera Manager启用HDFS的HA》。本篇文章主要讲述如何使用Cloudera Manager禁用HDFS HA。

39850
来自专栏数据科学与人工智能

【Spark研究】Spark之工作原理

基本概念 理解Spark的运行模式涉及一系列概念: (1)Cluster Manager:在集群上获取资源的外部服务。目前有三种类型:1. Standalone...

47750
来自专栏分布式系统和大数据处理

使用Spark读取Hive中的数据

在默认情况下,Hive使用MapReduce来对数据进行操作和运算,即将HQL语句翻译成MapReduce作业执行。而MapReduce的执行速度是比较慢的,一...

3.4K60

扫码关注云+社区

领取腾讯云代金券