Hadoop常用命令

HDFS基本命令: hadoop fs -cmd cmd: 具体的操作,基本上与UNIX的命令行相同 args:参数 HDFS资源URI格式: scheme://authority/path scheme:协议名,file或hdfs authority:namenode主机名 path:路径 示例:hdfs://localhost:9000/user/chunk/test.txt 假设已经在core-site.xml里配置了 fs.default.name=hdfs://localhost:9000,则仅使用/user/chunk/test.txt即可。 hdfs默认工作目录为 /user/$USER,$USER是当前的登录用户名。 HDFS命令示例: hadoop fs -mkdir /user/trunk hadoop fs -ls /user hadoop fs -lsr /user (递归的) hadoop fs -put test.txt /user/trunk hadoop fs -put test.txt . (复制到hdfs当前目录下,首先要创建当前目录) hadoop fs -get /user/trunk/test.txt . (复制到本地当前目录下) hadoop fs -cat /user/trunk/test.txt hadoop fs -tail /user/trunk/test.txt (查看最后1000字节) hadoop fs -rm /user/trunk/test.txt hadoop fs -help ls (查看ls命令的帮助文档)

hadoop fs -cat '/user/hive/warehouse/ci_cuser_20141231141853691/_SUCCESS'; hadoop fs -cat '/user/hive/warehouse/ci_cuser_20141231141853691/*'>CI_CUSERE_20141231141853691.csv && echo $?

~/.bash_profile:每个用户都可使用该文件输入专用于自己使用的shell信息,当用户登录时,该 文件仅仅执行一次!默认情况下,他设置一些环境变量,执行用户的.bashrc文件.

hadoop fs -cat '$1$2/*'>$3.csv mv $3.csv/home/ocdc/coc

String command = "cd "+ ciFtpInfo.getFtpPath() + " && " +hadoopPath+ "hadoop fs -cat '/user/hive/warehouse/"+listName+"/*' > " +listTableName+".csv;";

'/home/ocdc/spark-1.2.0-oc-bin-2.3.0-cdh5.1.3/bin/beeline -u jdbc:hive2://10.1.251.98:10000 -n ocdc -p asiainfo

tar zxvf 文件名.tar.gz cp 文件名1 文件名2 (复制文件)

管理员常用命令:

hadoop job –list  #列出正在运行的Job

hadoop job –kill <job_id> #kill job

hadoop fsck / #检查HDFS块状态,是否损坏

hadoop fsck / -delete #检查HDFS块状态,删除损坏块

hadoop dfsadmin –report #检查HDFS状态,包括DN信息

hadoop dfsadmin –safemode enter | leave

hadoop distcp hdfs://a:8020/xxx hdfs://b:8020/// #并行copy

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏伦少的博客

centos7 hadoop 集群安装配置

转载请务必注明原创地址为:http://dongkelun.com/2018/04/05/hadoopClusterConf/

42730
来自专栏简单聊聊Spark

Spark内核分析之Spark的HA源码分析

        Spark作业运行的集群环境有两种,分别基于standalone模式和Yarn集群模式。我们知道Yarn集群提供了HA来保证了集群的高可用,而s...

13920
来自专栏JavaEdge

史上最快! 10小时大数据入门实战(八)- Hadoop 集成 Spring 的使用1 Spring Hadoop 开发环境搭建及访问 HDFS 文件系统

15030
来自专栏Java成神之路

hbase_学习_01_HBase环境搭建(单机)

本文承接上一篇:hadoop_学习_02_Hadoop环境搭建(单机)  ,主要是搭建HBase的单机环境

9830
来自专栏about云

Hadoop3.0: YARN Resource配置说明

问题导读 1.yarn默认情况下使用哪些资源? 2.Yarn如何实现扩展自定义资源? 3.自定义资源,可以在哪个配置文件中配置? 4.哪些配置可以在yarn-...

59460
来自专栏挖掘大数据

Hadoop基础教程——Hadoop单机版搭建

最近闲来无事,和朋友一起想学习Hadoop,最晚弄机器的弄到两点多,今天一起动手安装Hadoop的环境,刚开始也是一头雾水,Hadoop官网的教程我也是醉了,说...

41690
来自专栏about云

Cloudera Manager Server5及Cloudera Manager Agents5命令整理(about云)

问题导读 1.使用什么命令可以开启、停止、重启Cloudera Manager Server 2.如何强制重启Agents 3.什么情况下适合强制重启Agen...

35270
来自专栏云原生架构实践

Yarn 安装 on centos7

1.1K10
来自专栏顶级程序员

【更新】Hadoop代码结构及载入Ecplise方法

一、项目结构 在Hadoop代码结构中,按照功能的不同将项目划分到不同目录当中。 ? 整个项目可以用maven进行构建,因此根目录下有pom.xml文件。 每个...

365120
来自专栏Hadoop实操

如何在CDSW上创建Git工程并提交代码

15130

扫码关注云+社区

领取腾讯云代金券