前往小程序,Get更优阅读体验!
立即前往
首页
学习
活动
专区
工具
TVP
发布
社区首页 >专栏 >hadoop常用维护命令

hadoop常用维护命令

作者头像
字母哥博客
发布2020-09-23 11:19:36
5240
发布2020-09-23 11:19:36
举报

hadoop常用维护命令

  • 列出正在运行的job
代码语言:javascript
复制
$ hadoop job -list
  • kill掉job(1234指jobid)
代码语言:javascript
复制
$ hadoop job -kill 1234
  • 查看hdfs块状态
代码语言:javascript
复制
$ hadoop fsck /  
FSCK started by nange from /127.0.0.1 for path / at Mon Apr 21 22:26:29 CST 2014  
................................  
/hdfs/test/avg/out/part-r-00000:  Under replicated blk_958972218415296316_1141. Target Replicas is 3 but found 1 replica(s).  
.  
/hdfs/test/hdfsoper/2.f:  Under replicated blk_1024136243155007162_1126. Target Replicas is 3 but found 1 replica(s).
  • 查看hdfs状态,并删除损坏块
代码语言:javascript
复制
$ hadoop fsck / -delete
  • 检查dfs状态,以及datanode信息
代码语言:javascript
复制
    $ hadoop dfsadmin -report  
    Configured Capacity: 155277496320 (144.61 GB)  
    Present Capacity: 138432897024 (128.93 GB)  
    DFS Remaining: 138429386752 (128.92 GB)  
    DFS Used: 3510272 (3.35 MB)  
    DFS Used%: 0%  
    Under replicated blocks: 14  
    Blocks with corrupt replicas: 0  
    Missing blocks: 0  
    -------------------------------------------------  
    Datanodes available: 1 (1 total, 0 dead)  

    Name: 127.0.0.1:50010  
    Decommission Status : Normal  
    Configured Capacity: 155277496320 (144.61 GB)  
    DFS Used: 3510272 (3.35 MB)  
    Non DFS Used: 16844599296 (15.69 GB)  
    DFS Remaining: 138429386752(128.92 GB)  
    DFS Used%: 0%  
    DFS Remaining%: 89.15%  
    Last contact: Mon Apr 21 22:33:15 CST 2014
  • 安全模式状态查询,进入,离开
代码语言:javascript
复制
hadoop dfsadmin -safemode [get|enter|leave]
  • hadoop 并行拷贝(将a节点数据拷贝到b节点)
代码语言:javascript
复制
hadoop distcp hdfs://a:9000/a hdfs://b:9000/b
  • 平衡集群文件
代码语言:javascript
复制
$ start-balancer.sh   
starting balancer, logging to /home/nange/programs/hadoopWS/hadoop-1.2.1/libexec/../logs/hadoop-nange-balancer-ubuntu.out

喜欢 (1)or分享 (0)

本文参与 腾讯云自媒体分享计划,分享自作者个人站点/博客。
原始发表:2016-03-16),如有侵权请联系 cloudcommunity@tencent.com 删除

本文分享自 作者个人站点/博客 前往查看

如有侵权,请联系 cloudcommunity@tencent.com 删除。

本文参与 腾讯云自媒体分享计划  ,欢迎热爱写作的你一起参与!

评论
登录后参与评论
0 条评论
热度
最新
推荐阅读
目录
  • hadoop常用维护命令
相关产品与服务
大数据
全栈大数据产品,面向海量数据场景,帮助您 “智理无数,心中有数”!
领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档