HDFS DataNode启动异常:/opt/jdk1.8.0_151/bin/java:权限不够

前言

这个异常是在在ambari里启动DataNode产生的,其实这个问题很久就发现了,只是没时间去处理,所以之前把发生问题的slave1节点给移除了,现在有时间处理,就又把slave1加上了,所以就有了ambari 异常总结及解决办法里面的问题,这个java权限不够的问题,在添加slave1之后,并安装datanode和nodemanager之后启动服务依然报错。

异常信息:

/usr/hdp/2.6.4.0-91//hadoop-hdfs/bin/hdfs.distro:行317: /opt/jdk1.8.0_151/bin/java: 权限不够
/usr/hdp/2.6.4.0-91//hadoop-hdfs/bin/hdfs.distro: 第 317 行:exec: /opt/jdk1.8.0_151/bin/java: 无法执行: 权限不够

这个问题在网上找也找不到对应的解决办法,所以有必要单独记录一下,没有放在ambari 异常总结及解决办法,且我认为即使不用ambari,该问题依然可能会发生。

1、详细异常信息

部分截图:

2、解决思路

首先确定java是否有问题,经过简单的测试,没发现问题,然后在/usr/hdp/2.6.4.0-91//hadoop-hdfs/bin/hdfs.distro查看第317行的内容,发现hdfs命令实际调用的java命令,但是一开始并不知道怎么解决这个问题,通过查看ambari的日志也并没有解决问题,最后回到jdk目录的权限问题。 首先有问题的时候

su - hdfs 
hdfs -ls

执行上面的命令也是会报同样的问题,所以就不用在ambari里启动datanode服务就可以测试有没有问题了

3、解决办法

3.1 改变/opt的所有者给hdfs(只将jdk目录的给hdfs没有解决问题,没有深究其原因,可能因为还有其他目录和jdk有关联)

chown -R hdfs:hdfs /opt/

然后用hdfs -ls测试,发现没有上面的异常,这样就可以在在ambari里启动datanode了,启动成功!

3.2 启动nodemanager报错

/usr/hdp/2.6.4.0-91//hadoop-yarn/bin/yarn.distro:行376: /opt/jdk1.8.0_151/bin/java: 权限不够
/usr/hdp/2.6.4.0-91//hadoop-yarn/bin/yarn.distro: 第 376 行:exec: /opt/jdk1.8.0_151/bin/java: 无法执行: 权限不够

异常信息一样,只是文件名不一样,同样的方法解决

chown -R yarn:yarn /opt/

启动nodemanager成功! 然后重启ambari所有服务,看一下是否还有问题,结果slave1启动datanode时报了同样的错误,问了一下同事,发现我对chown -R上面的命令有所误解,我开始认为是让hdfs拥有opt的权限,只想上面两步后,hdfs和yarn都有了opt的权限,但是其实该命令是更改opt的所有者,执行上面的两步之后,只有yarn拥有opt的权限了,也就是将hdfs覆盖了。

3.3 让hadoop组都拥有opt的权限

chown -R yarn:hadoop /opt/
chmod -R 770 /opt

大概解释一下上面的命令,首先更改opt的所有者为hadoop组下面的yarn用户(yarn和hdfs都属于hadoop组) 然后770的意思是用户和用户组对opt目录具有rwx的权限,其他用户没有任何权限,这样hdfs用户也有opt的权限了,这样重启ambari的所有服务就会成功了!

3.4 最后的方法

上面命令是同事帮忙操作的,然后发现自己对Linux权限不太了解,就大概查了一下权限相关的资料,因为之前已经把opt的权限弄乱了,所以最后先这样解决(测试环境,且opt目录一般就我们几个人用) 首先将opt的所有者改回为root

chown -R root:root /opt/

然后更改opt的权限为755

chmod -R 755 /opt

755的意思为用户的权限为rwx,用户组和其他人的权限均为r-x,即没有写权限,一般文件权限也是755(应该也是默认的,可以自己新建一个文件夹进行测试),然后这样重启ambari的所有服务也是没有问题的 因为-R是递归的,这样其实不好,因为有些txt,readme的权限也改了,所以我将opt下面的jdk目录删除并重新解压了一份。 opt各目录权限截图:

权限问题参考:http://justcode.ikeepstudying.com/2016/08/linux-chmod-和-chown用法小结/

4、总结

其实该问题只修改jdk相关的目录的权限即可,但是之前已经递归修改opt的目录,所以暂时只能按照3.4的办法解决。该异常出现的原因应该是才平时的操作中,误修改了jdk的权限,为了防止出现这种问题,平时在操作中关于chmod -R等相关的操作一定要慎用。

本文由 董可伦 发表于 伦少的博客 ,采用署名-非商业性使用-禁止演绎 3.0进行许可。

非商业转载请注明作者及出处。商业转载请联系作者本人。

本文标题:HDFS DataNode启动异常:/opt/jdk1.8.0_151/bin/java:权限不够

本文链接:https://dongkelun.com/2018/07/10/HadoopException/

--------------------

作者联系方式:

QQ:1412359494

微信:dongkelun

--------------------

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏编程坑太多

Maven学习笔记四(坐标和依赖)

1344
来自专栏LhWorld哥陪你聊算法

hadoop集群篇--从0到1搭建hadoop集群

本来有套好好的集群,可是不知道为什么虚拟机镜像文件损坏,结果导致集群不能用。所以不得不重新搭套集群,借此机会顺便再重新搭套吧,顺便提醒一句大家,自己虚拟机的集群...

1591
来自专栏北京马哥教育

Python之包管理工具快速入门

学Python最简单的方法是什么?推荐阅读:30万年薪Python开发工程师成长魔法 在Python环境中已经有很多成熟的包,可以通过安装这些包来扩展我们的程序...

2885
来自专栏BeJavaGod

分布式系统的那些事儿(三) - 系统与系统之间的调用

系统与系统之间的调用通俗来讲,分为本地同一台服务器上的服务相互调用与远程服务调用,这个都可以称之为RPC通信。浅白点讲,客户访问服务器A,此时服务器要完成某个动...

3484
来自专栏编程坑太多

『高级篇』docker之kubernetes基础集群部署(上)(33)

  ETCD保证了数据的存储,保证了数据的高可用,还有数据的一致性,它跟zookeeper类似。kubernetes需要存储很多东西,像它本身的节点信息,组件信...

923
来自专栏Java技术分享

关于RBAC(Role-Base Access Control)的理解

有两种正在实践中使用的RBAC访问控制方式:隐式(模糊)的方式和显示(明确)的方式。

2338
来自专栏ChaMd5安全团队

渗透测试时,需要注意浏览器选项

渗透测试时,需要注意浏览器选项 From ChaMd5安全团队核心成员 tyomcat 渗透测试人员寻找漏洞,总是包括跨站脚本(XSS)攻击。最近,...

2717
来自专栏FreeBuf

爬虫代理搭建与批量安装

代理对于搞爬虫的都不会陌生。公司有一批阿里云服务器用于分布式增量抓取,但对于一些封ip且只需进行一次全量抓取的数据源,或数据量级较小时,如果部署到爬虫集群上又太...

5005
来自专栏ios 技术积累

Maven 初识

才接触Maven的时候也是一头雾水,网上搜索了一些资料后感觉Maven和iOS开发中的cocoapods很像,cocoapods自动下载我们需要的开源类不需要手...

1493
来自专栏IT可乐

Linux系列教程(十八)——Linux文件系统管理之文件系统常用命令

  通过前面两篇博客,我们介绍了Linux系统的权限管理。Linux权限管理之ACL权限 介绍了通过设定 ACL 权限,我们为某个用户指定某个文件的特定权限,这...

20210

扫码关注云+社区

领取腾讯云代金券