EMR常见FAQ (持续更新中)

YARN FAQ:

1. 集群NodeManager节点unhealthy时,一般的处理步骤

背景描述:

节点处于不健康状态一般会导致集群资源减少,任务卡住,甚至任务失败的问题。

现象

排查步骤:

1. 去到不健康节点的机器,用du命令去查看/data目录数据大小的分布情况,找出占比最大的目录

2. 判断目录的属性,如果是qcloud等hdfs的数据目录

a. 查看回收站目录 hdfs dfs -du -s -h /user/$USER/.Trash,大小的占用情况,清空没必要的回收站文件

b. 排查数据量的写入情况,是否有异常任务写入数据,导致数据量爆增

c. 排查节点之间的数据是否均衡,并及时启动集群的balance功能,让节点相对均衡

d. 梳理业务数据,降低不重要数据的副本(有风险,慎重考虑)

3. 如果是其他的日志目录,例如logs或者/data/emr/yarn/local, 删除没必要的logs或者*_DEL_*文件

2. 队列还存在着资源,但是应用处于Pending状态

如果你的调度器配置处于默认状态,而且如标题所描述,我们可以关闭AM资源限制,提交更多的应用

fair-scheduler.xml

<?xml version="1.0"?>

<allocations>

<queue name="default">

<maxAMShare>1.0</maxAMShare>

</queue>

</allocations>

capacity-scheduler.xml

yarn.scheduler.capacity.maximum-am-resource-percent 0.8

Oozie FAQ

1. 在Oozie上使用sqoop,使用hcatlog,如果错误:

ERROR org.apache.sqoop.tool.ImportTool - Imported Failed: Can not create a Path from an empty string

需要在执行命令添加‐‐skip-dist-cache参数,避免这个问题

参考文档

http://datasideoflife.com/?p=235

HUE FAQ

1.HUE创建普通用户失败

在第一次进入hue的时候,默认需要用hadoop用户作为管理员登录

Presto FAQ

原创声明,本文系作者授权云+社区发表,未经许可,不得转载。

如有侵权,请联系 yunjia_community@tencent.com 删除。

编辑于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏梦魇小栈

Linux常用命令笔记

sudo vim /etc/nginx/sites-available/default

15210
来自专栏电光石火

eclipse配置tomcat运行时访问路径不要项目名称

1:双击打开tomcat 2:选择Modules,选择你要修改的项目 ? 3:点击Edit,把path修改成空或者你自己想要的路径即可! ?

31860
来自专栏流柯技术学院

Jmeter压测过程报错the target server failed to respond

问题原因:在JMeter下,发送http 请求时,一般都是默认选择了use keepAlive(这个是什么?看后面资料),这个是连接协议,JMeter坑就在这里...

23910
来自专栏JavaEdge

Spring Security 实战 - Spring Security OAuth2项目准备

18520
来自专栏流媒体

Jenkins+Android+gradle

每个android开发攻城狮应该都经历过,在开发完给测试同事打包时候:先合并代码,然后在本地构建,最后apk上传,成功后通知其他同事。首先,构建得话几分钟,上传...

50110
来自专栏黑泽君的专栏

Eclipse各版本代号一览表以及官网上有很多版本的eclipse,下载哪个版本比较合适呢?

Eclipse的设计思想是:一切皆插件。Eclipse核心很小,其它所有功能都以插件的形式附加于Eclipse核心之上。

77010
来自专栏埋名

CentOS7安装维护Gitlab

下面是官网复制过来的官方安装方法,最简单的安装,在我大天朝,只能望天兴叹,你可翻墙安装或者略过这里,看下面的。

66830
来自专栏电光石火

Gradle安装使用

简单介绍 Gradle是一个好用的构建工具 使用它的原因是 1、配置相关依赖代码量少,不会像maven一样xml过多 2、打包编译测试发布都有,而且使用起来方便...

37240
来自专栏Java学习123

windows下搭建Ruby(基于eclipse的环境)开发环境

31140
来自专栏Brian

Install Django Nginx uWSGI

概述 最近项目需要安装和配置多站点环境,所以把多站点开发环境配置和安装记录下来,帮助其他人少走坑。 安装Python 2.7.x 首先安装一些开发环境基本的包和...

40590

扫码关注云+社区

领取腾讯云代金券