如何在hadoop yarn中清除应用程序历史？
如何在hadoop yarn中清除应用程序历史？
提问于 2019-05-20 16:49:40
在纱线上完成应用后，将在纱线中显示大量的应用历史。
在web-ui http://localhost:8088/cluster和命令行yarn application -list -appStates FINISHED中
如何清除这些历史记录？或者yarn将这些历史信息存储在哪里？
重新启动RM，NM不会清除这些历史记录。
删除本地文件系统${YARN_LOG_DIR}中的日志/userlogs不会清除这些历史记录。
删除hdfs:/tmp/logs/username/logs中的日志目录/文件不会清除这些历史记录。
Hadoop版本: 2.7.7
回答 2
Stack Overflow用户
发布于 2019-05-21 02:44:56
如果您已经启用了日志聚合，那么您可以将yarn.log-aggregation.retain-seconds设置为一个合理的值(比如一天或一周，取决于您运行了多少个作业)，以使YARN清除作业持续进行。
否则，设置yarn.nodemanager.log.retain-seconds以确定您希望保留日志的时间。
您还可以通过在yarn-site.xml中将yarn.resourcemanager.recovery.enabled设置为false来禁用重启时的持久性。
有关持久化的更多信息，请参考YARN和ResourceManager Restart中所有可配置日志的yarn-default.xml。
Stack Overflow用户
发布于 2019-05-20 16:55:04
哦，我找到解决方案了。
yarn resourcemanager -format-state-store
并重新启动集群。
但是仍然不知道在ZK中纱线将这些历史存储在哪里？
页面原文内容由Stack Overflow提供。腾讯云小微IT领域专用引擎提供翻译支持
原文链接：
https://stackoverflow.com/questions/56217335
复制相关文章
相似问题
腾讯云开发者
