腾讯云
开发者社区
文档
建议反馈
控制台
首页
学习
活动
专区
工具
TVP
最新优惠活动
文章/答案/技术大牛
搜索
搜索
关闭
发布
登录/注册
精选内容/技术社群/优惠产品,
尽在小程序
立即前往
文章
问答
(9999+)
视频
沙龙
1
回答
我
是否
可以
在
ADF
管道
中
缓存
连接
密码
,
而
不是
从
每个
活动
中
命中
AKV
azure
、
azure-pipelines
、
azure-data-factory
、
azure-keyvault
、
azure-data-factory-pipeline
目前,
我
正在使用参数化链接服务
连接
到
AKV
,然后检索
连接
秘密。但是,随着许多
管道
和
活动
,我们面临着
AKV
方面的节流问题。我们希望将hots的数量限制为
AKV
,并将检索到的
连接
缓存
/存储
在
ADF
管道
中
的某个位置,但我没有看到任何这样做的选项。敬请指教。
浏览 19
提问于2020-11-04
得票数 0
2
回答
如何
从
Azure数据工厂的Key Vault获取/设置参数化
连接
字符串?
azure
、
azure-data-factory
、
azure-keyvault
、
azure-data-factory-2
Azure Data链接服务中有一个参数化
连接
字符串,如下所示: 数据库的值在运行时
从
管道
变量
中
传递。
我
希望将此
连接
字符串保存到Azure Key Vault,但问题是,在从密钥库读取该值后,链接的
浏览 2
提问于2019-08-09
得票数 2
3
回答
Azure密钥库链接服务不工作,调试失败,触发成功
pipeline
、
azure-keyvault
、
azure-data-factory-2
我
使用密钥库创建了一个链接服务,然后在数据链接服务(Azure SQL数据库)中使用了该链接服务。两个链接服务都成功地进行了独立测试。
我
在
一个非常简单的
管道
中使用了它,当我调试这个
管道
时,它失败了,但有一个错误: 当我触发
管道
时,它会正常工作。
我
已经发表了很多次
我
的变化,但没有成功。 因此,
我
的基本查询是-
我
的
管道
不工作
浏览 2
提问于2019-08-30
得票数 0
回答已采纳
3
回答
Azure数据工厂和SharePoint
azure
、
sharepoint
、
onedrive
、
azure-data-factory
我
在
SharePoint online
中
存储了一些Excel文件。
我
希望将存储
在
SharePoint文件夹
中
的文件复制到Azure Blob存储。为了实现这一点,
我
使用Azure Portal
在
Azure数据工厂
中
创建了一个新
管道
。使用Azure数据工厂
管道
将文件
从
SharePoint复制到Azure blob存储的可能方法是什么?
我
已经查看了Azure数据工厂<
浏览 0
提问于2019-02-25
得票数 10
1
回答
Azure数据工厂v2链接服务构建
azure-storage
、
azure-data-factory-2
我
正在使用以下JSON模板 "properties": { "typeProperties": {EndpointSuffix=core.windows.net" } "name": "AzureStorageLinkedService"
从
URL无需对帐
浏览 0
提问于2018-12-07
得票数 0
1
回答
Azure数据工厂:所有
活动
之前/之后的公共逻辑
azure
、
azure-data-factory
目标
我
不喜欢用额外的审核
活动
来结束
每个
管道
活动
。
我
想为所有
活动
做一些共同的方面/建议。但我认为这
不是
<
浏览 1
提问于2020-02-23
得票数 1
回答已采纳
2
回答
使用CSV文件的日期作为
ADF
管道
的触发器
azure-pipelines
、
azure-data-factory
、
databricks
、
azure-databricks
、
azure-triggers
我
有一个
ADF
管道
,需要基于包含零星日期的csv文件来运行。谢谢
浏览 4
提问于2021-12-06
得票数 1
2
回答
如何
从
ADF
Pipeline调用其他资源组
中
的
ADF
pipeline?
azure
、
azure-data-factory-2
我们有不同的资源组,
每个
资源组都在自己的域和
ADF
管道
上工作。我们需要从call
中
调用所有这些
ADF
管道
。到目前为止,
我
还没有
在
Pipeline activity中找到提供资源组的选项。
我
尝试过从API调用
管道
,并在
管道
中使用web
活动
。但很少有
管道
能运行几个小时。很多时候,API
连接
丢失,并且无法检索状态 请帮助我,以便
我
能够
浏览 44
提问于2019-09-26
得票数 0
1
回答
Data
可以
对链接服务设置并发限制吗?
azure
、
azure-data-factory
我
使用Azure数据工厂和Azure数据仓库,
我
想增加我的
连接
的资源类。为了避免任务被迫等待并发时隙
可以
访问数据库,
我
想知道
是否
可以
告诉数据工厂,它一次只能对定义的数据源运行2个
活动
。希望这有助于防止在数据库
中
暂停等待并发插槽可用的任务的任何超时。
是否
可以
为链接服务设置全局并发限制?
浏览 2
提问于2017-06-13
得票数 1
回答已采纳
2
回答
从
azure devops同步中排除azure数据工厂
连接
和集成运行时
azure
、
azure-data-factory
因此,我们已经将
ADF
配置为
在
DevOps下使用GIT。问题是我们的
连接
细节
在
dev\qa\master分支之间同步,这导致了问题,因为
每个
环境都有自己的SQL服务器。有没有办法让分支机构之间的
连接
和IR保持不同步?
浏览 1
提问于2020-01-04
得票数 1
1
回答
将Azure
ADF
管道
内部的值传递到调用该
管道
的PowerShell
azure
、
powershell
、
azure-pipelines
、
azure-data-factory
我
想根据Azure
ADF
(Azure Data Factory)
管道
中
的值
在
我
的PowerShell
中
执行一些步骤。如何将
ADF
管道
中
的值传递给PowerShell,在那里
我
调用了这个
ADF
管道
?因此,
我
可以
根据
从
ADF
管道
接收到的值
在
PowerShell
浏览 3
提问于2018-10-17
得票数 0
1
回答
浅谈Azure表
中
批量操作的重试
c#
、
azure
、
azure-table-storage
、
azure-data-factory
我
正在尝试通过Azure将数据
从
Azure数据湖存储到Azure表。Azure数据列表文件
中
的数据与最终Azure表接收器
中
的数据处于相同的架构
中
。
ADF
管道
由
从
Azure数据湖存储区复制到Azure表的单个复制
活动
组成。但
ADF
管道
有时由于节流
而
失败。
我
负担不起重新运行完整的
管道
,因为它需要几个小时。
我
只想重试失败的批次。但
浏览 0
提问于2019-07-24
得票数 1
1
回答
Azure数据工厂:使用Azure密钥库参考获取链接服务
中
的UserName,有可能吗?
azure
、
azure-data-factory
、
azure-keyvault
我
知道您
可以
在
ADF
中
创建一个Azure密钥库链接服务,然后
可以
在其他链接服务中使用该服务获取
密码
秘密/
连接
字符串机密。当您
从
文件系统链接服务的密钥库秘密
中
检索
密码
时,JSON就是这样(请参阅
ADF
片段的屏幕截图):"name": "FILESERVER_blah",
浏览 9
提问于2021-04-15
得票数 0
回答已采纳
1
回答
Azure Data与git存储库集成后未反映的部署更改
github
、
azure-devops
、
azure-data-factory
、
azure-data-factory-2
当我将DEV
ADF
集成到现有dev实例存储库的协作分支(主)
中
时,
我
可以
看到
管道
计数和链接服务计数的差异。
从
PROD
中
删除的
管道
和
连接
服务仍然存在于DEV
ADF
主分支
中
。
我
尝试将DEV
adf
集成到一个新的开发存储库分支
中
,如下所示,但是
我
仍然
可以
看到已删除的
管道
和
从</e
浏览 3
提问于2021-01-27
得票数 0
1
回答
ADF
限制:一个
管道
中
复制数据
活动
的数量?
azure
、
azure-data-factory
、
azure-data-factory-2
我
有大约25个CSV文件,它们有不同的列(BLOB存储),
每个
列大约有250列,并且希望加载它,Azure单独的表(基本层)。创建一个具有10个复制数据
活动
(CDA)的
管道
,所有这些都并行在一个
管道
中
,然后执行它。
ADF
管道
只是继续运行,
而
不执行任何任务。当我将CDA减少到7时,
管道
工作并在几秒钟内加载数据。要检查与SQL数据库
是否
有任何
连接
限制,请同时执行3条
管道</em
浏览 0
提问于2020-08-07
得票数 1
回答已采纳
2
回答
如何提高Azure数据工厂日志存储过程的执行时间?
sql-server
、
azure-data-factory
、
azure-data-factory-2
、
azure-data-factory-pipeline
我
有一个
ADF
解决方案,它是元数据驱动的。它传递一个
连接
字符串,源和接收器作为参数。
我
担心的是,
我
在
管道
和子
管道
中
也有SQL日志记录步骤,现在对于一个简单的Azure DB表拷贝到ADSL Parquet,它受到日志记录步骤和子
管道
的瓶颈。
我
注意到
每个
步骤(主要是日志记录步骤)大约需要3-6秒。
我
尝试了以下几点: 将配置数据库
从
basic升级
浏览 4
提问于2021-12-13
得票数 2
2
回答
列名映射错误。
azure
、
azure-data-factory
、
azure-data-lake
、
azure-data-lake-gen2
、
data-lake
我
试图使用azure数据工厂
从
on数据湖中提取/加载数据到蔚蓝数据湖。 但是
我
的列名
在
源和库上都是错误的。
我
在
on-prem数据湖
中
的列名类似于user_id、lst_nm等,但在Azure
中
,它就像、等,这里的user_tbl是
我
的表名。
浏览 14
提问于2022-02-23
得票数 0
1
回答
西欧Azure数据工厂的复制
活动
azure
、
azure-data-factory
我
在
一家公司工作,希望利用
ADF
复制
活动
来构建数据导入服务(或
管道
)。我们主要关注的是,
在
北欧没有
ADF
,我们希望
在
该区域内移动我们的数据。
我
的问题是:当
ADF
在
特定区域中不可用时,如果
我
在
另一个区域构建
ADF
管道
,那么复制
活动
是否
会将数据
从
我们的主要区域(我们)转移到<em
浏览 2
提问于2016-09-27
得票数 1
回答已采纳
1
回答
传递来自一个
管道
运行的输出,并用作另一个
管道
中
的参数
azure-data-factory-2
我
的
ADF
设置当前的工作方式是,
我
有多个
管道
,
每个
管道
至少包含一个
活动
。然后
我
有一个很大的
管道
将这些
管道
连接
在一起。然而,现在在大的“主”
管道
中
,
我
想使用来自一个
管道
的
活动
的输出,然后将其传递到另一个
管道
。所有这一切都是
从
“主”
管道
中
精心安
浏览 21
提问于2019-12-16
得票数 4
回答已采纳
1
回答
ADF
中
如何增加各阶段的故障控制
azure-data-factory
、
azure-databricks
、
azure-data-factory-2
如果
我
的任何一个阶段失败,
我
需要从相同的失败阶段
在
我
的下一轮运行,
而
不是
从
第一阶段开始,如何实现这是
ADF
?当一个阶段失败时,如何发送电子邮件,以便通知所有用户?
浏览 3
提问于2022-07-18
得票数 0
点击加载更多
扫码
添加站长 进交流群
领取专属
10元无门槛券
手把手带您无忧上云
相关
资讯
http缓存详解
你知道一条 SQL 语句是咋执行的吗?
当我们输入一条SQL查询语句时,发生了什么?
Uber大型实时数据智能平台建设
Twitter广告平台实时计费系统的架构增强之道
热门
标签
更多标签
云服务器
ICP备案
实时音视频
即时通信 IM
对象存储
活动推荐
运营活动
广告
关闭
领券