我在Databricks职务集群上运行了一些Python代码。我的Python代码将生成大量日志,我希望能够实时(或接近实时)监视这些日志,比如通过仪表板。
到目前为止,我已经配置了集群日志交付位置,并且每5分钟将日志传递到指定的目的地。
这是在这里解释的
https://learn.microsoft.com/en-us/azure/databricks/clusters/configure
这是同一篇文章的摘录,
创建群集时,可以指定一个位置来传递星火驱动节点、工作节点和事件的日志。日志每五分钟传送一次到您选定的目的地。当集群被终止时,Azure Databricks保证交付所有生成的日志,直到集群终止为止。
有什么办法可以让这些日志在接近实时的地方交付,而不是每5分钟一次?它也不必通过同样的方法,我对其他可能性持开放态度。
https://stackoverflow.com/questions/73042998
复制相似问题