hadoop3 问题大杂烩

平凡的学生族

发布于 2019-05-25 09:27:23

4750

发布于 2019-05-25 09:27:23

文章被收录于专栏：后端技术

1. 网页ui上传文件失败

网页中查看文件夹/在文件夹内上传文件出现错误

Permission denied: user=dr.who, access=READ_EXECUTE inode="/tmp"

https://blog.csdn.net/King_818/article/details/64998693 修改那个文件夹的权限

增加本地环境变量
修改本地用户账号
修改hdfs配置 core-site.xml ，添加 dfs.permissions : false, 并修改目录权限可写入(仅适合测试环境，不推荐)

2. DataNode启动成功而livenode显示为1

https://blog.csdn.net/u011811966/article/details/78424217

3. 修改主机名

https://blog.csdn.net/dengjin20104042056/article/details/80462511 首先：

sudo /etc/hostname

修改为新主机名，然后：

sudo nano /etc/hosts

在其中添加一行，

127.0.1.1 xxhostname

其中xxhostname为你的新主机名，该行将主机名映射到127.0.1.1。

注意，一个域名只能映射到一个ip，确保文件中没有将一个域名映射到两个ip上，如果有重复，就去掉多余的。

重启生效。

4. hadoop3 节点datanode变为deadnode

https://www.cnblogs.com/zhzhang/p/3966368.html

在坏死的节点上输入如下命令即可：

hdfs --daemon start datanode

启动datanode。

5. hadoop 找不到或无法加载主类org.apache.hadoop.mapreduce.v2.app.MRAppMaster

一般在 shell中输入

hadoop  classpath

输出为

/etc/hadoop/conf:/opt/cloudera/parcels/CDH-5.14.2-1.cdh5.14.2.p0.3/lib/hadoop/libexec/../../hadoop/lib/*:/opt/cloudera/parcels/CDH-5.14.2-1.cdh5.14.2.p0.3/lib/hadoop/libexec/../../hadoop/.//*:/opt/cloudera/parcels/CDH-5.14.2-1.cdh5.14.2.p0.3/lib/hadoop/libexec/../../hadoop-hdfs/./:/opt/cloudera/parcels/CDH-5.14.2-1.cdh5.14.2.p0.3/lib/hadoop/libexec/../../hadoop-hdfs/lib/*:/opt/cloudera/parcels/CDH-5.14.2-1.cdh5.14.2.p0.3/lib/hadoop/libexec/../../hadoop-hdfs/.//*:/opt/cloudera/parcels/CDH-5.14.2-1.cdh5.14.2.p0.3/lib/hadoop/libexec/../../hadoop-yarn/lib/*:/opt/cloudera/parcels/CDH-5.14.2-1.cdh5.14.2.p0.3/lib/hadoop/libexec/../../hadoop-yarn/.//*:/opt/cloudera/parcels/CDH/lib/hadoop-mapreduce/lib/*:/opt/cloudera/parcels/CDH/lib/hadoop-mapreduce/.//*

然后这些输出直接粘贴到 yarn 的配置文件里 yarn-site.xml 的属性 <name>yarn.application.classpath</name>赋值

本文参与腾讯云自媒体同步曝光计划，分享自作者个人站点/博客。

原始发表：2019.03.04 ，如有侵权请联系 cloudcommunity@tencent.com 删除

https