如何清理/var/log/hadoop-hdfs下的hadoop-hdfs日志
如何清理/var/log/hadoop-hdfs下的hadoop-hdfs日志
提问于 2013-08-13 00:50:17
Hadoop群集中的my name节点运行状况不佳，因为“角色的日志目录不是文件系统，其可用空间不足4 GB。/var/ log / hadoop -hdfs (空闲空间:2.4 GB (11.12%)，容量:21.7 GB”
我查看了该文件夹，发现其中有5.5 in的名为"hdfs-audit.log.0“-"hdfs-audit.log.20”的日志文件。我读了这些文件，我真的不需要保存这些日志。我想知道有没有一种方法可以永久删除它们，并且永远不再生成它们？(我试图手动删除它们，但它们似乎在几个小时后又回来了。)
我还尝试在我的/etc/hadoop/conf/log4j.properties中添加"log4j.logger.org.apache.hadoop.hdfs.server.namenode.FSNamesystem.audit=WARN,NullAppender"。但这并没有阻止这些文件“回来”。
提前感谢您的帮助！
回答 1
Stack Overflow用户
回答已采纳
发布于 2015-02-22 06:25:00
首先，Hadoop的设计容量比您提到的容量大得多，这意味着5.5 of的日志通常不是很多。这就解释了为什么默认设置不适合您的情况。
您可以：
通过使用变量navigator.audit_log_max_backup_index (通常为10)
- 或使用
navigator.audit_log_max_file_size
设置最大日志文件大小，
- 可减少保留的日志文件数量
页面原文内容由Stack Overflow提供。腾讯云小微IT领域专用引擎提供翻译支持
原文链接：
https://stackoverflow.com/questions/18192443
复制相关文章
相似问题
腾讯云开发者
