前往小程序,Get更优阅读体验!
立即前往
首页
学习
活动
专区
工具
TVP
发布
社区首页 >专栏 >hadoop-2.6.0常用命令记录 原

hadoop-2.6.0常用命令记录 原

作者头像
尚浩宇
发布2018-08-17 09:44:10
5390
发布2018-08-17 09:44:10
举报
文章被收录于专栏:杂烩

默认命令执行路径为hadoop主目录

查看hdfs目录

代码语言:javascript
复制
bin/hadoop dfs -ls /

上传文件至hdfs

代码语言:javascript
复制
bin/hadoop dfs -put 文件路径 hdfs系统路径,如:bin/hadoop dfs -put ../input /put

下载文件

代码语言:javascript
复制
bin/hadoop dfs -get  hdfs文件路径 文件路径,如:bin/hadoop dfs -get /in ~/in

删除hdfs文件

代码语言:javascript
复制
bin/hadoop dfs -rmr hdfs路径,如:bin/hadoop dfs -rmr /in

查看文件内容

代码语言:javascript
复制
bin/hadoop dfs -cat 文件地址+文件名,如:bin/hadoop dfs -cat /in/_SUCCESS

查看hdfs系统统计信息

代码语言:javascript
复制
bin/hadoop dfsadmin -report

进入安全模式

代码语言:javascript
复制
bin/hadoop dfsadmin -salfmode enter Salf mode is ON

退出安全模式

代码语言:javascript
复制
bin/hadoop dfsadmin -salfmode leave Salf mode is OFF

负载均衡

代码语言:javascript
复制
bin/start-balancer.sh

关闭防火墙

代码语言:javascript
复制
centos 7:
systemctl stop firewalld.service #停止
systemctl disable firewalld.service #禁用
之前的版本:
service iptables stop #停止
chkconfig iptables off #禁用

补充一个在已经运行的hadoop添加节点的方法,

  1. 在新节点里配置jdk(安装路径最好和其他一致,否则要自己手动去修改)
  2. 配饰ssh免密码登陆
  3. 从其他节点里拷贝一份hadoop到新节点里(同样路径要统一)
  4. 修改每一台节点里的masters和slaves文件,将新增的节点添加进去(假设你已经配置好各个节点里的hosts文件)
  5. 假如重启集群代价很低那么可以重启,如果不能重启,在新节点hadoop文件运行如下命令
代码语言:javascript
复制
sbin/hadoop-daemons.sh start datanode

 6.此时新节点已经添加成功了

  7.假如你想要将以前的数据块均衡到新节点,那么再执行一下命令进行负载均衡

代码语言:javascript
复制
bin/start-balancer.sh
本文参与 腾讯云自媒体同步曝光计划,分享自作者个人站点/博客。
原始发表:2015/05/22 ,如有侵权请联系 cloudcommunity@tencent.com 删除

本文分享自 作者个人站点/博客 前往查看

如有侵权,请联系 cloudcommunity@tencent.com 删除。

本文参与 腾讯云自媒体同步曝光计划  ,欢迎热爱写作的你一起参与!

评论
登录后参与评论
0 条评论
热度
最新
推荐阅读
相关产品与服务
负载均衡
负载均衡(Cloud Load Balancer,CLB)提供安全快捷的流量分发服务,访问流量经由 CLB 可以自动分配到云中的多台后端服务器上,扩展系统的服务能力并消除单点故障。负载均衡支持亿级连接和千万级并发,可轻松应对大流量访问,满足业务需求。
领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档