腾讯云
开发者社区
文档
建议反馈
控制台
登录/注册
首页
学习
活动
专区
圈层
工具
MCP广场
文章/答案/技术大牛
搜索
搜索
关闭
发布
文章
问答
(9999+)
视频
沙龙
1
回答
在
ADF
.
NET
SDK
中
向
数据流
添加
和
元素
、
、
、
我想知道是否可以使用Azure Data Factory .
NET
SDK
创建
数据流
?我可以创建管道,并将
数据流
添加
为ExecuteDataFlowActivity,但是我不能
添加
参数、源或转换。
浏览 24
提问于2020-07-14
得票数 0
回答已采纳
1
回答
数据流
映射中参数化数据集的
ADF
变换
、
、
、
、
我目前正在使用.
net
SDK
进行
ADF
数据转换。我正在使用
数据流
进行此转换。我有一个CSV文件,有三列,分别是名字、姓氏
和
年龄。我想把名字
和
姓氏连接成全名。下面是我的
数据流
程图。我还尝试为Concat函数
添加
参数。 ? 我能够对blob存储
中
的现有文件执行此操作,下面是
数据流
图。 ? 但是我想用一个在运行时创建的文件来做这件事。请协助
浏览 20
提问于2020-09-03
得票数 0
回答已采纳
2
回答
如何扩展Azure数据工厂
数据流
?
、
、
、
、
我可以很容易地使用
ADF
UI为一个表设置SCD Type2流程,但我没有看到一种简单的方法来扩展到我们已经拥有的数千个数据源。我没有看到任何允许我编写
ADF
Pipeline/Dataflow并动态配置
和
触发它们的Java API。我查看了Azure Datalake Gen 2,Azure Databricks等。我
在
Azure
中
没有看到任何工具可以让我们取代我们内部构建的UI驱动的数据湖摄取过程。我是不是漏掉了什么?顺便说一句,我们有一个旧的数据湖应用程序,它从数千个数据源(如数据库、日志
浏览 13
提问于2020-01-11
得票数 0
1
回答
ADF
管道
和
ADF
数据流
有什么区别?
、
ADF
管道
和
ADF
数据流
有什么区别?为什么管道和
数据流
支持的汇/源是不同的?是否有可能创建一个管道来读取来自源的数据、筛选、使用连接并将数据存储到没有
数据流
的接收器
中
?请让我知道。
浏览 0
提问于2020-05-14
得票数 8
回答已采纳
2
回答
Azure数据工厂映射
数据流
添加
行号
、
、
我想在
ADF
映射
数据流
中
向
源数据集
添加
一个唯一的行号。
在
SSIS
中
,我本来可以使用脚本组件来实现这一点,但就我
在
ADF
中所看到的情况而言,没有选项可供选择。我
在
派生列、表达式编辑器
和
聚合组件
中
寻找合适的函数,但似乎没有。谢谢
浏览 2
提问于2019-11-18
得票数 0
3
回答
Azure数据工厂
数据流
任务不能以prem作为源
、
、
、
嘿,我
在
创建一个使用on源的
数据流
任务时遇到了困难.
在
预览版
中
这不可能吗? 我已经创建了一个自我托管的IR来连接
ADF
到我的笔记本电脑,这就是我想要使用的。它能很好地完成复制任务,但是对于
数据流
来说,它是灰色的。
浏览 1
提问于2019-06-18
得票数 2
回答已采纳
2
回答
使用映射
数据流
连接多个源
、
、
我已经看到了许多在映射
数据流
中
连接两个源的例子,但是不能清楚地理解这个概念,而且可能join毕竟不是我的问题的答案。不同的名字
和
不同的列。您可以使用Pk
和
FK轻松地
在
sql中将这些表连接在一起。我不确定是否应该在
ADF
数据流
中使用Join,还是
在
复制活动中使用联合或合并? 有人能帮忙吗!
浏览 0
提问于2021-11-17
得票数 0
1
回答
在
管道中使用get metadata活动时,如何获取blob存储
中
任何文件/容器的自定义元数据参数(键-值)?
、
、
我想获取元数据参数,这些参数不在获取元数据活动的字段列表
中
。自定义元数据(键-值)对。我有没有办法做到这一点?
浏览 0
提问于2020-04-02
得票数 0
2
回答
如何与数据工厂一起使用Azure上的火花来加载
和
转换包含数据的2个文件
、
、
我是非常新的火花以及数据工厂资源
在
Azure。 通过
在
两个字段中都存在的给定字段上执行“联接”来转换它们
浏览 0
提问于2021-09-08
得票数 1
回答已采纳
2
回答
数据工厂
中
的
数据流
映射不会忽略CSV文件的文本值
中
的换行符。
、
、
、
我
在
Azure Data中有以下问题:A, B, Ca, "b此CSV加载
在
(CSV)数据集中(
ADF
中
),具有以下设置:第一行是标题、引号字符双引号(")、列分隔符逗号(、)、行分隔符(\r、\n或\r\n)
和
转义char反斜杠()。但是,当我尝试
在
映射
数据流
中使用此数据集并选择“数据预览”
浏览 1
提问于2019-07-31
得票数 5
回答已采纳
1
回答
在
json文档根目录上的Inspect选项卡下检查列。
、
、
、
、
对于我来说,这只是一个关于基本
ADF
的学习练习。然后,我从数据源
添加
了一个select
浏览 5
提问于2021-02-21
得票数 0
回答已采纳
3
回答
如何使用DeVOPS GIT ( .
NET
Data Factory
SDK
(C# ) )
在
Azure Data中发布管道?
、
、
、
在
使用GIT启用(DevOps)将管道部署到Data时,我面临一些问题,需要有人在这方面提供帮助或建议。当我通过下面的代码片段部署管道时,将其部署到Data
中
,但是我们需要将代码发布到Azure DevOps GIT。下面是使用.
NET
数据工厂
SDK
(C#)将管道发布到
ADF
的代码片段var context = new AuthenticationContext("https://login.wind
浏览 1
提问于2020-04-09
得票数 3
回答已采纳
1
回答
Azure数据工厂的自定义日志记录
我是
ADF
的新手,正在尝试构建Azure
数据流
管道。我正在从雪花数据源
中
读取数据,并根据几个业务规则检查数据。每次检查后,我都会将不良记录写入csv文件。现在,我的要求是,我需要创建一个日志表,它显示业务规则
和
未能传递该特定业务规则的记录数。我附上了
ADF
数据流
的屏幕截图,以及我试图填充的表的结构。我的想法是创建一个存储的proc,
在
每个业务规则的末尾调用它,以便在数据库
中
创建一个记录。但是,我无法从
数据流
中
浏览 2
提问于2022-09-29
得票数 0
2
回答
有没有办法
在
TextFormat Azure数据工厂中使用SkipLinesAtEnd
他们声称是csv,但有一些困难的前页眉
和
页脚。有什么建议吗?FILE NAME : Ines_bcn_npig_
net
_f.csvENVIRONMENT : Production 12c
浏览 10
提问于2020-02-12
得票数 1
回答已采纳
1
回答
解析Azure数据工厂
中
的复杂json文件
、
、
我想在Azure
中
解析一个复杂的json文件。结构如下,这意味着有嵌套的对象和数组。根据我的理解,
ADF
可以解析数组,但是我们应该做些什么来解析更复杂的文件呢?
浏览 2
提问于2021-12-27
得票数 0
回答已采纳
1
回答
用公钥加密Azure数据工厂文件
、
但是,我想使用
ADF
将文件保存到blob存储
中
,使用客户管理的公钥以加密的形式存储。我无法通过将私钥对导入密钥库并使用该密钥库加密存储容器来完成此操作--因为我没有私钥对(它在接收加密文件的系统
中
不可见)。
在
ADF
中有办法做到这一点吗?我看过一两篇文章,它们使用python脚本解密
ADF
中
的文件,但没有一篇使用python脚本加密文件。谢谢你的帮助。
浏览 5
提问于2022-08-22
得票数 0
1
回答
Azure数据工厂
中
的
数据流
舍入转换无法正常工作
、
、
、
我目前正在使用一个派生列创建
数据流
,该列通过DontNet.
SDK
进行舍入转换。我使用的源数据集
和
宿数据集都是参数化的。我在运行时通过管道参数为它们赋值。请参考下面两个
数据流
的json文件。 当我
在
ADF
中
手动创建它时,它成功地进行了舍入。下面是转换的输出结果文件 ? 但是当我使用.
net
软件开发工具包创建它时,它不工作。我没有像预期的那样得到列名,但是值是正确的。下面是.
SDK
的输出 ? ', 1),\n\
浏览 25
提问于2020-09-21
得票数 0
1
回答
Azure数据工厂:数据生命周期管理
和
旧数据清理
、
、
、
它包括以下任务: Azure数据工厂是否有内置的活动来处理这些任务?
浏览 1
提问于2020-03-09
得票数 0
3
回答
Project Tango能否帮助用户
在
尚未创建
ADF
的物理空间中导航?
、
、
我想探索使用Project Tango来帮助引导盲人或低视力用户通过物理空间。我的一个主要问题是,一个项目探戈是否必须首先有一个现有的面积定义文件,以便合理准确地向用户提供有关空间的信息。
浏览 1
提问于2015-04-16
得票数 2
2
回答
集合,以排除蔚蓝数据工厂
中
的数组项。
、
在
Azure数据工厂,我们有这样的集合:whic返回[1, 2] Array a: [1,2,3,4,5]一种方法是
在
第一个数组
中
添加
两个查找激活
浏览 0
提问于2019-06-04
得票数 3
回答已采纳
点击加载更多
热门
标签
更多标签
云服务器
ICP备案
云直播
腾讯会议
实时音视频
活动推荐
运营活动
广告
关闭
领券