气流版本- 2.3.0 Helm图-Apache-气流/气流# '
浏览 8提问于2022-11-11得票数 0
回答已采纳
2回答
我有一个从Airflow DAG调用的Databricks PySpark笔记本。我通过转到Admin - Variables在Airflow中创建了一个变量，并添加了一个键-值对。我找不到在Databricks中使用该气流变量的方法。 编辑以添加我的代码示例。DatabricksSubmitRunOperator( existing_cluster_id='
浏览 42提问于2021-07-13得票数 2
回答已采纳
我使用的是气流、数据库和PySpark。我想知道，当我想通过气流执行Databricks笔记本时，是否可以添加更多的参数。我在Python中使用了名为MyETL的下一个代码： spark.sql("CREATE TABLE {0} {1}".format(table, columnsif __name__== "__main__":我想要定义运行有更
浏览 0提问于2019-06-25得票数 2
回答已采纳
我正在尝试通过Azure Devops管道将文件复制到Azure Databricks DBFS。下面是我正在使用的yml文件的一个片段： stages: displayName: "My Build" - job: BuildwhlAndRunPytest) $(databricks-cluster)
$(databricks</em
浏览 41提问于2021-05-11得票数 1
回答已采纳
如何在azure databricks笔记本中将python变量从%python传递到shell脚本%sh中？
浏览 0提问于2019-02-13得票数 9
回答已采纳
，我可以让任务找到我想在Databricks中运行的笔记本- 'new_cluster': new_cluster,我如何使它工作，以便它将准备生产？我希望创建一个流程，以便在我将更改推到git之后，CI/CD流程将构建该项目，将其部署到S3/Artifactory，并从气流中触发Da
浏览 4提问于2022-10-19得票数 1
我正在寻找一种轻松的方式来执行一个数据库笔记本，它依赖于加载到Azure数据湖存储中的多个文件。一个文件只要有一个事件触发器就足够简单了。这是否可以推广到多个文件，而不需要像气流处理依赖？
浏览 0提问于2020-07-01得票数 0
回答已采纳
1回答
我正在databricks工作区中开发我的代码。使用与Repos的集成，我使用Azure DevOps来控制我的代码。git checkout main
databricks workspace import_dir .但是，impor
浏览 14提问于2022-01-06得票数 1
1回答
我有5个文件，我正在获取和使用它来创建一个dataframe，我使用这些dataframes来创建表和左连接表。我想知道所有的单元测试应该做什么，以及如何编写单元测试用例。
浏览 6提问于2022-07-20得票数 0
1回答
我在ADF中使用get元数据阶段来获取子值(文件名)和文件类型。我需要使用databricks笔记本来匹配文件名。数据库中ADF中Get元数据阶段的输出如何与字符串文件名部分匹配？
浏览 8提问于2022-07-12得票数 0
我正在开发一个python包，它将部署到databricks集群中。我们经常需要引用python代码中的"spark“和"dbutils”对象。我们可以使用“星星之火”(如spark.sql())在笔记本中轻松地访问这些对象。如何在包中的python代码中获得spark实例？
浏览 0提问于2019-03-22得票数 1
回答已采纳
1回答
我试图使用由气流(如DatabricksSubmitRunOperator或DatabricksRunNowOperator )提供的databricks内置操作符，但我无法使用它，它给出了以下错误：url: /api/2.0/作业/运行-现在(由SSLError(SSLCertVerificationError(1，'SSL: CERTIFICATE_VERIFY_FAILED证书验证失败:证书链中的自签名证书(_ssl.c:1091)
浏览 8提问于2021-12-21得票数 2
我对Databricks还是个新手，所以请原谅我在这里缺乏知识。我正在使用Azure中的Databricks资源。我现在主要使用UI，但我知道一些功能只能使用databricks-cli，我已经设置了它，但还没有使用它。是否可以使用<
浏览 47提问于2021-11-24得票数 1
我最近开始使用Azure Databricks，并将其与运行在HDInsight上的Jupyter笔记本进行比较。我到处搜索和阅读文档，试图了解如何让ADBricks使用VSTS git进行源代码控制。然而，我还没有找到一个有效的解决方案。我已经找到了使用其他git提供程序的说明，但我想澄清一下，这不是这个用例的选项，所以请不要使用这些类型的响应。对于ADBricks来说，按需集群是令人惊叹的，但有一个假设，你是在“集群上”的笔记本中开发的，并且实际上
浏览 0提问于2018-06-03得票数 4
如何在可以从另一个笔记本中访问但在同一集群中的databricks中注册数据表？**我们试图使用spark.sql在databricks中注册表，但是我们无法在另一个笔记本中访问该表*
浏览 0提问于2019-11-15得票数 0
回答已采纳
1回答
我想用最新的git代码运行Repos中的所有databricks笔记本更新(一些开发人员不使用dbx，而是使用IDE (如VScode) )。update_dbx_notebooks: script: |
-python -m pip install --upgrade databricks-cli--path "Repos/databricksUser/SL_data
浏览 9提问于2022-09-07得票数 0
回答已采纳
我在databricks中有一个笔记本，我将其放入作业中，以便每天在特定时间运行，并且我还从该笔记本创建了仪表板，如何在每次作业运行时自动导出仪表板结果？现在，我使用python包databricks-api (https://pypi.org/project/databricks-api/)连接到databricks。
浏览 12提问于2019-09-24得票数 4
1回答
我想创建一个变量，稍后我可以在同一个笔记本中的多个sql查询中使用该变量。变量本身只是sql语句的整数输出，如：然后，在后续的sql命令单元格中，我只需在计算中调用变量，如：select (count(cars) / $variable) as car_rate from table_x;
我在<e
浏览 2提问于2021-09-24得票数 0
云服务器
ICP备案
对象存储
实时音视频
云直播
腾讯云开发者
