如何使用ADF在databricks中安装jar
ADF（Azure Data Factory）是一种云数据集成服务，它可以轻松地创建、调度和编排数据流程。而Databricks是一个在云上快速构建和部署分析型应用的Apache Spark分析服务。
在Databricks中安装JAR文件可以通过以下步骤完成：
- 登录到Azure门户（portal.azure.com）并导航到Azure Data Factory服务。
- 在Azure Data Factory中创建一个新的数据集成运行时（Integration Runtime）。集成运行时是用于数据集成和数据传输的计算资源，可以在Databricks环境中运行。
- 在集成运行时的设置中，选择Databricks作为集成运行时的类型，并为其提供所需的配置参数，如Databricks工作区连接信息、Databricks集群名称等。
- 在Azure Data Factory中创建一个新的数据工厂，用于编排和管理数据集成流程。
- 在数据工厂的管道（Pipeline）中，创建一个自定义活动（Custom Activity），用于在Databricks中运行JAR文件。
- 配置自定义活动的输入、输出以及其他参数，包括指定要运行的JAR文件的位置、传递给JAR文件的参数等。
- 在自定义活动中，指定Databricks集成运行时作为运行环境，并提供相关的Databricks连接信息。
- 调度和触发数据工厂的管道，使其开始运行。
这样，ADF就可以通过集成运行时连接到Databricks环境，并在其中安装和运行JAR文件。这样的方法适用于在Databricks中安装各种扩展或自定义库、工具等。
关于腾讯云相关产品和产品介绍链接地址，由于要求不能提及具体品牌商，建议您访问腾讯云官方网站（https://cloud.tencent.com/）并浏览其产品和解决方案，以了解他们提供的与ADF和Databricks类似的云服务和解决方案。
相关·内容
1回答
我试图在Azure数据工厂和Azure数据库上实现DevOps。
我已经完成了ADF、devops和Databricks笔记本文件的DevOps实现。
部署后，ADF管道似乎存在一些问题，这些管道正在获取存储在dbfs位置中的jar文件。
其中一条管道如下所示。
将ADF管道部署到PROD环境中后，jar文件的路径是dbfs:/FileStore/jars/xxx............xxx1_0_SNAPSHOT-c073a.jar，在这个环境中，它指向pointing实例，名称相同的jar文件将不可用。这将导致管道失效。
如何从dbfs位置获取jars并将其部署到同名的PROD位置，以
浏览 9提问于2020-11-24得票数 0
2回答
我试图在ADF上实现DevOps，它成功地使用了具有从ADLS和SQL获取数据的活动的管道。
但是现在我有了一个管道，其中一个活动是从dbfs位置运行一个jar文件，如下所示。
该管道将运行位于dbfs位置的jar文件并继续进行。
群集的连接参数如下所示。
当将ARM模板从dev ADF部署到具有databricks UAT实例的UAT实例时，我无法覆盖arm_template_parameter.json文件中的任何集群连接详细信息。
如何在ARM部署时为UAT/PROD环境配置工作区URL和clusterID？arm_template_parameter.json文件中
浏览 3提问于2020-11-13得票数 0
我在Azure Data中创建了一个管道。我创建了Databricks工作区、笔记本(带有一些代码)和一个集群。我创建了从ADF到DB的连接。我测试了连接。所有的灯都是绿色的。我发布了ADF管道。
当我触发这份工作时，它说的是成功。但是在Databricks中什么也没有发生。DB中没有创建任何作业。笔记本单元中的代码显然没有执行。(我之所以知道这一点，是因为代码会打印当前时间。)
有人成功了吗？
为了明确起见，我希望Databricks使用Databricks中现有的集群，而不是创建一个新的集群。我已经在管道安装参数中命名了集群。
浏览 2提问于2019-05-07得票数 1
回答已采纳
是否可以使用Azure Databricks活动在Azure数据工厂中执行python Wheel类/方法(而不是脚本)，就像您在.jar中使用java打包方法时所执行的那样？与脚本不同，这将能够返回值，而无需执行诸如掩埋它们的stdout之类的操作。 我没有搜索到任何东西，并且我尝试使用jar活动，但没有成功，这并没有让我感到惊讶，但值得一试。 如果不是，我正在寻找的是一种使用Azure Databricks计算并从python作业返回一小部分值的方法。我已经成功地为databricks python脚本使用了ADF活动。 蒂娅！
浏览 15提问于2020-01-10得票数 2
我有一个带有Databricks活动的ADF管道。
该活动每次创建一个新的作业集群，我已经将所有所需的星火配置添加到相应的链接服务中。
现在，由于Databricks提供了Spot实例，我希望在Databricks中创建具有Spot配置的新集群。
我试图从文档中找到帮助，但没有运气！
我如何使用ADF来完成这个任务？
干杯！
浏览 7提问于2021-05-05得票数 2
回答已采纳
我想使用Azure Databricks和Databricks构建一个类似于数据仓库的层概念，例如摄取层、传播层和数据集市层。其想法是为每个层、转换等创建单独的Databricks脚本，然后在ADF管道中编排所有这些。然而，现在的挑战是如何为每一步编排从/到Databricks的数据负载，特别是处理databricks内存中的数据模型，以及切换到每个层的持久存储(例如，Azure SQLDB)。如果我需要再次将每个层处理的所有内容加载到Databricks，这将导致大量的I/O开销和缓慢的处理时间。但是，如果我将数据库中的所有内容保存到处理的最后一层，就很难从ADF中跟踪管道错误，并且很难重新
浏览 4提问于2021-11-13得票数 0
回答已采纳
我正在寻找一种能够从ADF和其他Azure服务(如Data Catalog)连接到Databricks deltalake表的方法。我没有在ADF数据源中看到databricks数据存储。
关于一个类似的问题--
@simon_dmorias似乎建议使用ODBC connection来连接到databricks表。
我尝试设置ODBC连接，但它需要设置IR。在创建IR时，我看到了两个选项。自托管和链接自托管。我试图创建自托管IR，但它需要安装在我的本地桌面上，而且可能更适合本地odbc连接。我无法在我的链接服务上使用IR。
我已经能够将powerbi与databricks deltalake
浏览 18提问于2019-09-13得票数 1
我有两个要求： 他说:我有一台clusterID。我需要从ADF中的"Wb活动“启动集群。活动参数如下所示： url:https://XXXX..azuredatabricks.net/api/2.0/clusters/start
body: {"cluster_id":"0311-004310-cars577"}
Authentication: Azure Key Vault Client Certificate 在运行此活动时，我遇到以下错误： "errorCode": "2108",
"message&#
浏览 34提问于2020-03-22得票数 0
我使用Databricks CLI在Azure发布管道中配置集群和安装库，这是以/bin/bash作为解释器的Azure任务的一部分。在一个地方，我试图使用databricks fs ls命令在dbfs路径中列出一个jar文件，该路径与特定的文件名模式相匹配，并将该文件的名称存储在unix变量中。
databricks fs ls dbfs:/fs/jars/*<pattern>*.jar --profile <profile_name>
此代码失败，因为dbfs ls只需要一个目录作为参数，而不是文件模式。
我尝试了其他的组合，比如：
grep *<patter
浏览 1提问于2021-09-16得票数 0
回答已采纳
大图: Netezza表(有整数值，有datatime值)
I将大表从转移到ADLS，然后从ADLS传输到数据库(再次使用ADF = Azure Data 数据直接从到Databricks由于不同的体系结构决策而搁置。
详细信息：
ADF有一个具有参数的通用流水线，使其能够读取所有 ADF提供的所有Netezza表，ADF允许每天使用一个管道，其中复制通用管道以覆盖所有netezza表。而且我无法通过ADF中的map选项卡进行更改，ADF在ADLS中写入数据作为CSV沿着ADF pipline行，我正在运行一个databricks笔记本，它将数据加载到databricks表中，我可以看到str
浏览 2提问于2022-01-12得票数 0
回答已采纳
我们在Azure上运行了几个项目。 因为它们需要彼此分离，所以我们需要为每个项目建立一个Azure数据工厂(因为ADF本身没有ACL )。每个项目都将通过DevOps拥有自己的GIT存储库(每个项目都有自己的DevOps项目，所以分开的GIT )，我们最终将每个项目的ADF连接到自己的GIT。所以我们有： Project1.ADF <-> Project1.DevOpsProject1.GIT Project2.ADF <-> Project2.DevOpsProject2.GIT 我们希望能够从每个ADF连接到Azure Databricks。我们希望避免由于成本的
浏览 17提问于2019-03-22得票数 0
回答已采纳
我需要解析许多小文件，并以扁平结构将它们加载到数据库中。我更喜欢使用ADF V2和SQL数据库来完成它。文件解析逻辑已经可以使用Python脚本了，我想在ADF中对其进行编排。我可以在ADF v2中看到一个使用Python Notebook连接器到Azure Databricks的选项。我可以通过ADF在Azure Databricks中运行一个普通的Python脚本吗？如果我这样做了，我是否只在Databricks集群的驱动程序中运行脚本，而可能不会利用集群的全部容量。我也在考虑调用Azure函数。请建议在这种情况下哪一个更合适。
浏览 12提问于2020-03-29得票数 0
1回答
知道在ADF数据流中转换将在后台的Databricks集群中运行，在相同管道中的Databricks笔记本上运行相同的转换会有什么不同(在成本和性能方面)？ 我猜这将取决于我们如何设置Databricks集群，但我的问题也是理解这个集群将如何在后台运行。它是平台中的专用集群还是共享集群？
浏览 30提问于2021-11-15得票数 1
回答已采纳
我们有一个需要安装在Databricks作业集群上的.whl包(自定义模块)，当新的作业集群为ADF作业分拆时。让我知道如何将.whl包推送到新增加的集群中。
任何指示都会有帮助。
浏览 2提问于2022-01-21得票数 1
我正在使用ADF中的Databricks Notebook活动来转换ADLS gen2文件夹中的文件。这个文件夹是动态的，并且每天都会创建一个新的文件夹。因此，我希望Databricks Notebook活动每天动态拾取foldername，以处理该文件夹中的文件。
我们可以在ADF或Databricks Notebook活动中执行此操作吗？
浏览 1提问于2020-08-26得票数 0
我们可以使用UI方法将jar文件安装到特定的集群。但是我们需要在工作空间中的所有按需集群上安装它。我们使用下面的shell脚本将jar文件下载到DBFS。不确定如何使用全局init脚本在所有集群中引用/安装此jar curl https://repo1.maven.org/maven2/com/databricks/spark-xml_2.12/0.12.0/spark-xml_2.12-0.12.0.jar >/dbfs/FileStore/jars/maven/com/databricks/spark_xml_2_12__12_0.jar 任何帮助都将不胜感激！
浏览 54提问于2021-07-28得票数 3
回答已采纳
Gurobi提供了一种通过Anaconda在pc上安装的简单方法。作为另一种选择，可以使用gurobi安装程序并运行setup.py来安装。我不知道如何在Databricks集群上安装它，因为gurobi没有PyPi安装程序，我也无法上传jar文件。
这是用于安装库的databricks的接口
浏览 5提问于2020-03-08得票数 0
回答已采纳
我需要用最终用户设置的各种管道参数从PowerApps或PowerAutomate启动ADF管道，然后将其发送到databricks笔记本中。使用，我能够成功地从我的PowerApp中启动管道，但还不清楚如何从该文档或我所读过的各种博客中发送管道参数。
在一段时间前遇到这种情况后，我最终通过作业Rest直接调用Databricks，但最终只为已经在Databricks中访问的用户工作。所以我又回到了添加ADF作为中间层的尝试。我肯定在某个地方遗漏了什么，因为这显然是一个常见的用例。
浏览 4提问于2022-04-03得票数 0
回答已采纳
我有多个阶段在ADF，如何记录所有的信息到一个日志表和发送电子邮件，如果任何阶段在ADF失败。他们是否有任何我可以在databricks中使用的一般代码？
浏览 8提问于2022-08-17得票数 0
1回答
我有一个Azure数据工厂管道，叫做Databricks笔记本。我已经参数化了管道，通过这个管道，我将产品名称传递给databricks笔记本。
根据参数，Databricks将将处理过的数据推入特定的ADLS目录。现在的问题是-如何让我的管道知道哪个参数需要传递给Databricks。
示例:如果我通过adf将 Nike 传递给数据库，那么我的数据就会被推入Nike目录，或者如果我通过 Adidas ，数据就会被推入阿迪达斯目录。
请注意，我正在从自动化帐户触发ADF。
浏览 4提问于2020-07-09得票数 0
1回答
使用Databricks上的Spark侦听器，我试图查看是否安装了给定的类，但给定Databricks安装包的方式，监听器在集群启动后无法看到安装的包。
Java中的，是否有更好的方法来识别通过Databricks的库API /UI安装的包安装了类？
摘要
使用通过数据库上的SparkListener安装的。
在侦听器中使用来检查是否安装了给定的类。
Apache星火研究
如果侦听器是通过--packages或--jars安装的，则可以在Apache上工作。
如果侦听器是通过--conf spark.driver.extraClassPath安装的，而所需的库是通过--pac
浏览 4提问于2022-07-14得票数 1
回答已采纳
1回答
我在ADF中使用get元数据阶段来获取子值(文件名)和文件类型。我需要使用databricks笔记本来匹配文件名。数据库中ADF中Get元数据阶段的输出如何与字符串文件名部分匹配？
浏览 8提问于2022-07-12得票数 0
我有一个python脚本，它检查是否将APP_HOME目录设置为环境变量，并在该目录中选取几个文件继续进一步执行。
如果它在windows上运行，我将设置指向APP_HOME目录的环境变量。如果python脚本是作为databricks中的工作流创建的，则工作流为我提供了一个选项，在为任务选择集群时设置环境变量。
但是，如果python脚本作为Azure数据工厂的Databricks python活动运行，我还没有找到为ADF创建的databricks集群设置环境变量的选项。在使用databricks python活动时，是否有方法在ADF中为Databricks集群设置环境变量APP_HOM
浏览 3提问于2022-10-13得票数 0
回答已采纳
1回答
数据库吞并用例
、、、
我刚刚发现了一个名为的新Databricks特性。到目前为止，这方面的资料很少。
当我应该使用Databricks数据摄取，而不是现有的成熟工具，如Azure Databricks (ADF)或Apache？
ADF和Nifi都可以摄入ADLS/S3，并且AFAIK /S3可以映射到Databricks DBFS，而无需复制任何数据和拼板文件。那么，使用新工具的好处或用例是什么？我错过了什么？
浏览 3提问于2020-05-11得票数 1
回答已采纳
我正在寻找关于如何在Azure中运行基于Spring的java应用程序的指导。
我习惯于在Apache中运行基于Spring的java应用程序，前提是: Spring应用程序不会像在Apache中那样运行。要让他们运行对我有用的技术
使用copy-rename-maven-plugin重命名由spring maven-plugin生成的原始jar文件。
<plugin>
<groupId>com.coderplus.maven.plugins</groupId>
<artifactId>copy-ren
浏览 3提问于2021-02-08得票数 1
3回答
我无法从Azure Databricks建立到Oracle数据库的连接，尽管它在ADF中工作，在ADF中我可以查询表。但是ADF需要时间过滤记录，所以我仍然试图从Databricks连接。
我遵循了链接中的步骤，包括手动和使用init脚本，但是错误似乎持续存在。
当我查看集群事件日志时，它说init脚本执行是成功的。
当我试图建立连接时出错消息："/databricks/driver/oracle_ctl//lib/libclntsh.so: DPI-1047:无法找到64位Oracle库：无法打开共享对象文件:没有这样的文件或目录“.
当我执行以下命令时
dbutils.f
浏览 21提问于2022-06-14得票数 1
回答已采纳
是否可以将Azure Databricks笔记本与Azure数据工厂链接服务连接(连接到prem DB)？
在ADF上，我通过链接服务连接到prem网关上，以连接到本地DB。我需要将Databricks笔记本与ADF上的链接服务连接起来。有可能吗？
致以问候。
浏览 11提问于2020-09-17得票数 1
1回答
我需要将JAR文件作为库安装，同时将Databricks集群设置为Azure发布管道的一部分。截至目前，我已完成以下工作-
使用Azure任务创建集群定义使用curl命令将JAR文件从Maven存储库下载到管道代理文件夹set Databricks CLI在管道代理上使用databricks fs cp将JAR文件从本地(管道代理)目录复制到dbfs:/FileStore/JAR文件夹<code>f 210</code>
我正在尝试创建一个集群作用域init脚本(Bash)脚本，它将-
packagesinstall 将安装成集群库文件(在前面的步骤中已复制到dbfs:
浏览 7提问于2021-09-16得票数 2
回答已采纳
我正试图连接到Azure缓存中的来自databricks的redis。
我已经在databricks中从maven包中安装了这个包com.redislabs:spark-redis:2.3.0。我已经用下面的代码创建了一个火花会话
SparkSession\
.builder\
.appName("myApp")\
.config("spark.redis.host", "my host")\
.config("spark.redis.port", "6379")\
.config("spark.red
浏览 10提问于2022-03-10得票数 1
我正在尝试为我的azure数据工厂创建一个azure ci/cd管道，其中我使用了databricks notebook。使用ADF的ARM模板成功创建了管道，但我看不到databricks工作区URL的任何覆盖参数，这就是为什么我在开发和生产环境中获得相同的databricks URL的原因。 有人能帮我动态设置开发和生产的databricks工作区URL吗？
浏览 23提问于2021-03-28得票数 2
我正在尝试执行我的数据库记录簿和链接服务作为执行池类型的连接，我还上传了ADF中轮式格式库的附加库选项，但是无法通过ADF执行我们的笔记本，并且无法获得以下错误。
运行结果不可用:作业失败，错误消息库安装失败，因为whl的用户错误导致库安装失败：
"dbfs:/FileStore/jars/xxxxxxxxxxxxxxxxxxxx/prophet-1.1-cp38-cp38-manylinux_2_17_x86_64.manylinux2014_x86_64.whl“. .错误消息:试图在集群1129-161441-xwjfzl6k的驱动节点上安装库，但失败。请参考以下错误消息来修复
浏览 23提问于2022-11-29得票数 0
我想上传二进制文件从视窗FileSystem到Azure。我使用Azure数据工厂实现了以下步骤
在FileSystemCreated上安装了集成运行时( ADF中的链接服务)，FileSystemCreated是一个具有上述链接服务的二进制数据集，使用ADF管道中的CopyData活动，将二进制数据集设置为源，将Azure Blob设置为Sink。
上传后，我正在执行一些ETL活动。所以我的ADF管道有两个组件，
DataDatabricks笔记本复制
我想知道是否可以将复制数据片段移动到Databricks？我们可以使用将二进制文件从FileSystem上传到Azure blob吗？
浏览 3提问于2021-05-12得票数 0
我的Spark Scala代码由于Spark内存不足问题而失败。我正在运行ADF管道中的代码。在Databricks集群中，executor内存设置为4g。我想在ADF级别更改此值，而不是在集群级别更改它。在创建链接服务时，我们有额外的集群设置，我们可以在其中定义集群spark配置。请找到下面的内容。谁能让我知道如何在ADF的链接服务中设置火花执行器内存。谢谢。 ?
浏览 16提问于2021-11-11得票数 0
回答已采纳
有方法可以将Databricks池附加到Databricks作业集群吗？我问这个问题的原因是，我已经测试了一个Databricks作业集群，它被配置为一个新的链接服务，每当ADF管道触发作业时，我都会看到一个新的作业集群在流水线内的每一个活动上都得到了加速，每次当一个新的作业集群被激活时，就需要额外的2-3分钟来拆分集群，安装所需的库，并下载DBR版本。
我每天要触发将近30个ADF管道，每个管道平均有3个活动，因此总共30X3X(2.5)= 225薄荷(3.75小时)。如果我们平均拿出2.5薄荷来拆分集群，那么我将浪费3.75个小时来拆分工作集群。我们能避免集群分解时间吗？
在高并发性集群中
浏览 2提问于2022-01-25得票数 1
1回答
我正在尝试在Azure数据库中使用Apache /Ignite集成。我使用Databricks安装了org.apache.ignite:ignite-spark-2.4:2.9.0 maven库。我在访问我的点火器时犯了一个错误：
: java.lang.NoSuchMethodError: org.springframework.util.ReflectionUtils.clearCache()V
at org.springframework.context.support.AbstractApplicationContext.resetCommonCaches(Abstra
浏览 3提问于2020-10-25得票数 2
回答已采纳
我从文档中了解到，我们只能将Jupyter notebooks与Databricks Spark集群一起使用。
有什么办法可以解决这个问题吗？我可以调用Jupyter notebook作为没有Databricks环境的ADF的活动吗？我想有一个简单的方式来调用一些从ADF的python代码。
谢谢!
浏览 0提问于2018-10-09得票数 2
我在ADF中定义了多个阶段，因此如果任何阶段失败，我需要向outlook 2016发送一封电子邮件，说明特定阶段已经失败。如何使用databricks笔记本实现这一点？
浏览 6提问于2022-07-19得票数 0
我没有几个excel文件需要是processed..either，将它们发送到一个基于前提的sql数据库或输出更结构化的csv文件。这些文件可以运行到100 and，并且有多个工作表。表格和数据是动态的。有些文件可能会或不会得到一些工作表。列也是相同的。此外，每个文件都有一个数据字典表，用于解释结构(工作表和相应的列)。
这肯定不能仅仅通过ADF中的简单复制活动来处理。我在databricks中编写了scala代码，它处理了大部分处理过程。
我正在考虑使用ADF与Databricks一起编排流程。
我还想到了Azure函数应用程序，而不是databricks。
我对整个Azure领域都很陌生。
浏览 20提问于2022-03-20得票数 0
在删除添加了“在所有集群上自动安装”选项的库jar之后，该库仍然自动安装在工作区中的所有集群上。我需要删除或禁用库的自动安装行为。 我将一个库从Maven导入到我的Azure Databricks工作区。一旦新版本出现，我就添加了新版本，并从工作区中删除了旧版本的jar。 旧版本是通过“在所有集群上自动安装”行为添加到工作区的，并且仍然安装在工作区中创建的所有新集群上，即使jar已从GUI中删除。由于jar已经消失(从GUI)，我无法更改jar的“在所有集群上自动安装”的行为，而且Databricks不允许您手动从集群中取消自动安装的库(从集群视图中)。 我试着从Maven central读
浏览 39提问于2019-01-18得票数 0
回答已采纳
在ADF中，我试图获取存储在blob中某个GraphQL中的JSON ()查询的现成内容。由于速度方面的要求，我们不能每次都把Databricks旋转起来。
如何获取JSON文件的内容，而不是元数据，并将其存储在ADF变量中，从而将进一步的管道块参数化(文件的路径是已知的、固定的，并且文件可以通过链接的服务访问)？
浏览 7提问于2021-12-06得票数 2
1回答
试图加载jar和外部类
、、、
在我的zeppelin-env.sh中，我以jar方式加载一个JDBC MySQL连接器，如下所示
export ZEPPELIN_JAVA_OPTS+=" -Dspark.jars=/usr/local/opt/mysql-connector-java/libexec/mysql-connector-java-5.1.32-bin.jar"
此外，我还想加载Databricks CSV包，它应该以2种(或更多)方式工作：
%dep z.load("com.databricks:spark-csv_2.10:1.2.0")
export SPARK_SU
浏览 3提问于2015-11-11得票数 0
回答已采纳
我正在使用intellij项目加载Spark，但没有安装Spark。
val spark = SparkSession.builder().config(sparkConf).getOrCreate()
我已经通过使用以下命令将com.spark.databricks.xml添加到spark
sparkConf.set("spark.driver.extraClassPath", "C:/.../spark-xml_2.11-0.4.1.jar")
sparkConf.setExecutorEnv("spark.driver.extraClassPat
浏览 7提问于2017-12-27得票数 1
2回答
在Databricks中，我将SQL表读取为
val TransformationRules = spark.read.jdbc(jdbcUrl, "ADF.TransformationRules", connectionProperties)
.select("RuleCode","SourceSystem","PrimaryTable", "PrimaryColumn", "SecondaryColumn", "NewColumnName","CurrentFlag
浏览 12提问于2020-05-17得票数 0
回答已采纳
1回答
我想在Databricks的spark上下文中注册自定义SparkListener。
与基本火花，我可以使用"spark.jars“和"spark.extraListeners”吐露在火花-提交。或者使用sparkContext.addSparkListener api。
对于databricks安装程序，我已经在集群中安装了包含监听器的jar。当我将配置"spark.extraListeners“放在集群的”高级“配置选项卡中时，集群无法初始化抛出错误侦听器。
我试着在火花会话构建器期间设置它，如
.builder \
.appName("ab
浏览 14提问于2022-02-03得票数 2
1回答
我有一个关于Azure Data (ADF)的问题。我读过(也听说过)关于ADF是ETL或ELT的矛盾信息。那么ADF是ETL吗？或者是ETL？据我所知，ELT使用转换(计算？)目标的引擎(而ETL使用专用的转换引擎)。据我所知，ADF在引擎盖下使用Databricks，这实际上只是一个随需应变的星团。星团与目标是分开的。因此，这意味着ADF是ETL。但是，我对此没有信心。
浏览 14提问于2022-08-29得票数 0
回答已采纳
2回答
我们想知道如果我们使用Databricks作业而不是ADF来进行编排，我们可能必须检查databricks作业是否支持基于文件的触发器。敬请指教。
最终的目标是，我们有不同的ADF环境和订阅，我们知道订阅和环境并不是一个问题来阻止我们的目标。
帮帮忙吧。
浏览 10提问于2022-11-22得票数 1
我希望实现Azure链接服务的可配置性，从而在运行时传递Databricks WorkspaceURL和ClusterID。我将拥有多个星体集群，并根据集群的大小调用集群的类型/大小。
我没有找到从ADF管道中获取DataBricks ClusterID和钝化的选项。
浏览 7提问于2022-10-26得票数 0
回答已采纳
1回答
我正在构建Azure Data管道，我想知道如何将这个放到python脚本中。
python脚本位于Databricks (DBFS)中，并从Azure DataFactory运行。因此，在我的ADF管道中，我有一些参数，我想介绍它们并使用它们来暗示python脚本。
知道它是怎么工作的吗？
浏览 2提问于2021-05-27得票数 0
回答已采纳
1回答
在数据库上安装
、、、、
Azure的这篇文章描述了如何使用这个连接器。
问题：如果您想在Azure Databricks中使用上面的连接器，您将在哪里安装它？
备注：上面的文章告诉您从安装它并使用com.microsoft.azure:spark-mssql-connector_2.12:1.2.0将其导入到笔记本中。但它并没有告诉你在哪里安装。我可能没有正确理解这篇文章。我需要在Azure Databricks中使用它，并且想知道在哪里安装连接器jar (已编译)文件。
浏览 7提问于2022-04-29得票数 1
我们有一个源，它产生流数据到ADLS路径，需要一个解决方案来连接ADLS和kafka，并使用databricks/ADF中的流数据处理。如何实现这个用例？
浏览 4提问于2022-07-07得票数 0
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
实时音视频
对象存储
云直播活动推荐
腾讯云开发者
