我有一个Databricks作业,它运行我的Python笔记本。我正在运行Databricks 7.4 lts。此作业通过Powershell触发。 如果在管道过程中出现问题,我会抛出一个异常。此异常不会被捕获。但是,在引发异常后,作业不会显示为“失败”。相反,作业显示为“成功”。我可以在作业的日志中看到异常。 为什么作业没有显示为失败? if pipeline_failure:
raise Exception("Job should show failed")
我正在使用Azure Data Factory运行我的databricks notebook,它在运行时创建作业集群,现在我想知道这些作业的状态,我的意思是它们是成功还是失败。那么我可以知道,如何通过使用作业id或运行id来获取运行状态。 注意:我没有在databricks工作区中创建任何作业,我正在使用Azure Data Factory运行我的笔记本,Azure Data Factory在运行时创建了作业集群,它在该集群的顶部运行该笔记本,然后终止该集群
我在Databricks 中的集群上上传了一个jar库,但是我无法从Databricks笔记本中导入这个库或使用这个库的方法。我一直无法找到论坛或文档来解决这个问题,所以我不确定这一点是否可行。
我能够在Databricks中将jar文件作为作业运行,只是无法将jar库导入到Notebook中来运行它。
我还尝试使用%sh魔术命令运行jar文件,但收到了以下JNI error
Error: A JNI error has occurred, please check your installation and try again
Exception in thread "main
可以使用dbutils在notebooks中访问Databricks密钥,但是,由于dbutils在notebooks之外不可用,因此如何在pyspark/python作业中访问密钥,特别是当它们使用mlflow运行时。 我已经试过How to load databricks package dbutils in pyspark了 它不适用于远程作业或mlflow项目运行。