我们在Google cloud Dataproc集群上运行spark作业(大量spark流)。
我们正在使用云日志记录来收集spark作业生成的所有日志。目前,它正在生成大量的"INFO“消息,这导致整个日志卷的大小只有几TB。
我想编辑google-fluentd配置,将日志级别限制为"ERROR“级别,而不是"INFO”。
已尝试将配置设置为"log_level error",但不起作用。在/etc/google-fluentd/google-fluentd.conf的评论部分中也提到了它是# Currently severity is a sepe
昨晚,我在GKE上的Kubernetes集群升级到1.16.8-gke.9。从那时起,日志每分钟显示一次error: unable to find container named fluentd-gcp。来自我的应用程序的日志仍然有效,但是我想知道是什么导致了这个错误,以及如何消除这个错误。
展开错误会得到更多细节:
{
"textPayload": "error: unable to find container named fluentd-gcp\n",
"insertId": "v1b2u2ldrnswujhz2",