我正在使用databricks，并在python notebook中编写代码。最近我们在prod中部署了它。然而，有时笔记本电脑会出现故障。我正在寻找notebook命令执行日志文件，但是在databricks中没有生成日志文件的选项。 我希望将日志文件存储在带有时间戳的DBFS中，以便在失败时可以参考这些日志文件</e
浏览 41提问于2019-09-26得票数 1
2回答
我正在使用databricks-connect和VS Code为Databricks开发一些python代码。对于基本的笔记本，它工作得很好，但我想对多个笔记本做同样的事情，并使用导入(例如，在另一个笔记本中使用import config-notebook )。然而，在VS代码中，import another-notebook工作得很好，但在数据库中却不起作用。据我所知，Databricks中的替代方案是%run "anot
浏览 45提问于2021-10-19得票数 1
我的设置包括连接到Azure DataBricks的git存储库，这允许在PyCharm中开发databricks python笔记本，在DataBricks UI中推送并运行更新的笔记本。每当我从WebUI更改笔记本文件并执行提交时，笔记本文件中的所有行都会加上#魔术：%pip install -r &
浏览 9提问于2022-05-23得票数 1
1回答
我们中的一些人正在使用IDE，并试图将notebooks (.py)文件部署到dbfs。我注意到的问题是，在配置作业时，无法识别这些路径。notebook_path:如果我使用这个： dbfs:/artifacts/client-state-vector/0.0.0/bootstrap.py.artifacts/client-state-vector/0.0.0/bootstrap.py
/artifacts/clien
浏览 20提问于2021-06-21得票数 1
回答已采纳
在心跳日志中，没有详细说明输入传感器失败的原因，甚至有一行写着“Executor reports Emily_example_databricks_operator_3.inputsensor execution_date在那之后，它一直在说“没有任务要发送给执行器”，并一遍又一遍地重复它自己。这是日志：inputsensor = S3KeySensor( buc
浏览 3提问于2018-03-24得票数 0
5回答
Databricks很聪明，但是如何识别当前笔记本的路径呢？关于的指南没有帮助。它建议：dbutils.notebook.getContext.notebookPath这不是给我完整的路径，而是一些文件夹结构的路径，无法从笔记本访问。我需要路径，以便能够在与.ipynb
浏览 1提问于2018-11-28得票数 19
回答已采纳
我在Databricks notebook上尝试了sys.exit(0)(Python代码)和dbutils.notebook.exit()。但这两种选择都不起作用。请建议在Databricks notebook中的特定单元格之后停止代码执行的任何其他方法。
浏览 20提问于2021-02-19得票数 1
我们在blob中的Azure存储帐户中存储了python脚本。我们希望在azure databricks集群中部署/创建此python脚本(作为notebook)，以便稍后我们可以运行Azure数据工厂管道，并且管道可以执行在databricks中创建/部署的notebook我试着在网上搜索，但找不到合适的解决方案。
是否可以从存储帐户部署/创建笔记本？如果是，是如何实现的</e
浏览 21提问于2021-05-28得票数 1
我的脚本是这样的： #/databricks/python/bin/pythonconfigs = {....}if中运行它时，它可以工作，但如果我保存到一个名为dbfs:/databricks/init_scripts/datalakes/init.py
浏览 9提问于2020-04-07得票数 1
回答已采纳
2回答
路径包含空名称
、、、
我正在运行以下任务，以将笔记本上传到Azure DevOps发布管道的Databricks：--overwrite _databricks/notebook/$(notebook_name)-$(Build.Sourc
浏览 0提问于2020-05-16得票数 0
2回答
我希望执行以下命令或任何类似的命令，这些命令允许我创建MyClass实例在数据库的之后，我在本地开发了一个包含单个模块的python包，如下所示：|- __init__.py|- mymodule.py
浏览 0提问于2019-09-18得票数 6
回答已采纳
我正在使用ADF中的Databricks Notebook活动来转换ADLS gen2文件夹中的文件。这个文件夹是动态的，并且每天都会创建一个新的文件夹。因此，我希望Databricks Notebook活动每天动态拾取foldername，以处理该文件夹中的文件。
我们可以在ADF或Databricks <e
浏览 1提问于2020-08-26得票数 0
我有一个databricks笔记本，其中包含一些代码(Python)，可以将文件从dbfs上传到SharePoint位置。notebook在独立执行时运行正常，并且文件已上载，但当我尝试使用ADF或Databricks作业安排它时，用于SharePoint上载的命令被跳过。 其他命令执行正常。我正在使用O365 REST Python客户端进行Sharepoint上传。我不确定是不是我选择的库导致了
浏览 22提问于2021-08-23得票数 1
我想要在一个正在运行的Spark作业中获取集群链接(或手动组成链接的集群ID )。 这将用于打印警报消息中的链接，使工程师更容易访问日志。在Databricks中运行的Spark作业有可能实现这一点吗？
浏览 35提问于2021-06-30得票数 3
回答已采纳
我成功地将我的工件(笔记本)部署到Databrick中。但是如何从Azure DevOps管道直接运行笔记本呢？
有什么办法我能做到吗？
浏览 3提问于2022-02-16得票数 1
call last): NameError: name 'dbutils' is not defined
那么，有没有办法通过包含databricks感谢您的帮助
浏览 13提问于2018-08-17得票数 7
我需要在python中开发一个应用程序。python应用程序将与任何数据库交互，并对其执行sql语句。它还可以与databricks实例进行交互，并查询Databricks中的表。python程序与Azure blob存储器交互，以访问一些文件/文件夹。python应用程序作为一个轮子部署在独立的Node/Databricks上。
这里的问题是
浏览 7提问于2022-09-21得票数 0
我在尝试执行以下操作时出错了。"ProcessedFiles": "5", "NewRecords": "1" })
我所犯的错误是。com.databricks.WorkflowException: com.databricks.NotebookExecutionException: FAILED -----------------, --> 136 self.shell.currentJobGroup) 137 138 def rep
浏览 4提问于2020-03-11得票数 0
回答已采纳
我将我的databricks工作区目录(/Users/xyz/)内容导出到databricks的特定位置，例如/dbfs/tmp，其中包含几个python笔记本和脚本，然后尝试调用以下代码从导出的位置运行名为xyz.py的python笔记本，如下所示：
dbutils.notebook.run("/dbfs/tmp/xyz", time
浏览 26提问于2020-06-05得票数 2
云服务器
ICP备案
云直播
对象存储
实时音视频
腾讯云开发者
