问如何访问除Azure databricks sparkUI以外的实时驱动程序日志(不会有5分钟的延迟)
EN

Stack Overflow用户

提问于 2021-04-11 16:16:24

回答 1查看 71关注 0票数 1

我正在尝试将驱动程序日志集成到Control-M调度程序中。

我如何访问除Azure databricks sparkUI之外的实时驱动程序日志(不会有5分钟的延迟)。使用一些API或访问实时写入日志的位置。

我也计划在它上面做弹性分析。

发布于 2021-04-11 17:13:06

这类事情(指标或日志的实时收集)通常是通过init scripts (全局或集群级别的初始化脚本)安装一些代理(例如，filebeat)来完成的。

实际的脚本内容在很大程度上取决于所使用的代理的类型，但Databricks的文档包含了一些这样的示例：

设置初始化脚本

票数 2

页面原文内容由Stack Overflow提供。腾讯云小微IT领域专用引擎提供翻译支持

原文链接：

https://stackoverflow.com/questions/67042790

复制

相似问题

问如何访问除Azure databricks sparkUI以外的实时驱动程序日志(不会有5分钟的延迟)EN