问题描述及原因:hdfs集群存储空间使用率超过配置阈值,剩余磁盘空间不足
问题现象:emr控制台“集群监控”-->“集群事件”里会出现“HDFS存储空间使用率持续高于阈值”的告警事件
也可在“集群概览”里查看实际hdfs集群存储量,如下图
3. 用hadoop用户登录集群节点,选择并确认是无用的文件或目录,执行hdfs dfs -rm -r [-skipTrash] 文件或目录路径命令,需注意选项-skipTrash将跳过回收站(如果启用)并立即删除指定的文件。
4. 在EMR控制台进入“集群监控”下的“集群事件”,检查告警是否恢复。若无,执行5
5. 对集群可进行扩容 Core 节点后做 hdfs balancer,扩容操作见 https://cloud.tencent.com/document/product/589/14627
PS:如需了解和配置监控指标及事件告警可参考下列文档:
原创声明:本文系作者授权腾讯云开发者社区发表,未经许可,不得转载。
如有侵权,请联系 cloudcommunity@tencent.com 删除。
原创声明:本文系作者授权腾讯云开发者社区发表,未经许可,不得转载。
如有侵权,请联系 cloudcommunity@tencent.com 删除。