我有一个每小时一次的增量加载管道，因为我有一个复制活动，将数据从sql server复制到每个活动的文件夹结构(YY/MM/DD/table_nameHH)中的datalake parquet格式：在复制活动之后，我有更新控制表中记录的成功/失败过程 ? 我需要确保如果在这两者之间有任何复制活
浏览 29提问于2021-03-29得票数 0
回答已采纳
我目前正在创建一个摄取管道，以便将数据从增量表复制到postgres表。选择接收器时，系统要求我启用分段。service or Azure Data Lake Storage Gen2, for other dataset or linked service, please enable staging
这将把我的流水线变成一个两步的过程，我的增量表数据被复制到一个中间位置，然后从那里插入到postgres中。如何使用ADF<
浏览 0提问于2021-11-10得票数 0
我尝试在ADF (Gen 2)数据流中使用派生列转换，其中我已经摄取了一个具有嵌套结构的Delta表。我正在努力解决展开这些结构所需的语法问题，尽管我能够预览数据，但没有显示任何列信息。这样的结构将是： "ContactId":"1002657", "FirstName":"Donna",
"FullName":&quo
浏览 1提问于2020-10-28得票数 0
我们在Azure数据湖中有不同的区域，我正在尝试将数据从一个区域移动到另一个区域，然后从第一个区域删除数据。但在删除数据之前，我需要比较源文件和目标文件的大小。我在ADF中创建了一个管道，它将数据从一个区域复制到另一个区域，并从第一个区域删除数据。但我不知道如何在删除前比较大
浏览 2提问于2019-11-02得票数 0
2回答
如何对我在azure blob存储中的一些csv文件运行sed命令？我正在使用Azure copy activity将数据从csv文件复制到postgres，但我的csv是一个20 gb的大文件，并且包含空字符\x000之类的内容。postgres文本数据类型无法识别的。ADF复制活动无法将csv字符串列转换为postgres abyte，因此只能选择使用文本。我
浏览 21提问于2019-12-19得票数 0
我想设置一个Azure数据工厂管道，它在Blob Storage和Data Lake Store之间执行移动(即复制、验证、删除)操作，而不仅仅是复制操作。我似乎找不到任何关于如何做到这一点的细节。
浏览 2提问于2017-01-19得票数 6
假设在一个Blob中有一堆随机样本文件，我想使用ADF拷贝将这些文件复制到.parquet中作为数据集。abc.1.txt，abc.2.txt，abc.3.txt，def.1.txt，ghi.1.txt，xyz.1.txt，xyz.2.txt
所有abc & xyz对象文件都应该合并/追加到各自的单个.parquet文件中，其余的def、ghi作为其在数据
浏览 7提问于2022-05-26得票数 0
我有一个data bricks活动，我正在ADF中使用，我想在进一步的活动中获得运行输出，比如有一个文件，我在data bricks中使用它来获得列中的所有日期，现在我想在数据工厂参数中获得所有这些天的输出，这样我就可以在预拷贝脚本中使用这些天的参数来删除特定日期的数据。
浏览 42提问于2019-11-22得票数 2
使用默认的数据工厂复制活动将文件从json blob(使用修改后的时间戳的源)加载到sqldb表(目标)。对于容错设置，如果行不兼容，则跳过该行；但是，如果存在不是有效json格式的坏文件，则活动会出错并重试，而不是跳过坏文件。
在ADF拷贝活动中，有哪些方法可以识别/跳过不兼容或损坏的文件<
浏览 2提问于2020-08-11得票数 0
我正在使用ADF复制活动，源代码是SQL服务器。col1Col3 FilterColumn(日期)例如，如果我提取了1年的数据--湖中的文件
浏览 3提问于2021-03-06得票数 0
回答已采纳
1回答
我正在尝试通过Azure将数据从Azure数据湖存储到Azure表。Azure数据列表文件中的数据与最终Azure表接收器中的数据处于相同的架构中。ADF管道由从Azure数据湖存储区复制到Azure表的单个复制活动组成。但ADF<
浏览 0提问于2019-07-24得票数 1
我正在尝试使用数据复制活动从azure databricks delta湖提取信息，但我注意到它并不直接将信息从增量湖传递给我需要的SQL服务器，而是必须将其传递给蔚蓝blob存储，运行它时，它会引发以下错误fs.azure.account.key Caused by: Invalid configuration value detected for fs.azure.account.key
为了寻找信息，我找到了一个可能的解决方案有
浏览 48提问于2022-11-28得票数 0
回答已采纳
1回答
我正在尝试在两个Azure数据湖GEN1之间创建复制活动。我不需要从源Data Lake复制所有文件夹，例如，如果我有以下目录结构： rootFolder/subfolder/2015rootFolder/subfolder/2017rootFolder/subfolder/2019
rootFolder/s
浏览 35提问于2020-03-18得票数 3
回答已采纳
1回答
我试图从我的on数据湖增量加载到蔚蓝数据湖gen2。,rsltyid,hsid,cdag,cdcts 我每天更新或添加的记录非常少我的源表非常大。当我运行上面的查询时，ADF复制活动需要花费大量的时间来加载。我认为文件处理条件
浏览 4提问于2022-06-10得票数 -1
我正在使用ADF将文件从文件服务器复制到Azure Blob存储。目录中的文件具有相同的结构，但没有标题，我需要将它们合并到Blob存储中的单个文件中。 ? 我创建了一个ADF管道，它使用get元数据来获取childItems，并让每个活动逐个遍历文件 ? 在For each活动中
浏览 34提问于2021-07-06得票数 1
在成功复制活动后，我正在尝试删除位于sharepoint目录中的文件。Delete活动具有以下属性： DataSet : Excel Here, GetToken is the Web Activity in
浏览 8提问于2022-09-02得票数 0
我已经使用azure synapse link将我的dataverse表同步到az Data lake。我验证了表确实出现了。一段时间后，当我检查时，那里没有表。不知道为什么。需要帮助。
浏览 3提问于2021-07-07得票数 0
2回答
如何删除源文件夹(位于本地文件系统)中的所有文件。我需要在Azure Data Factory中的.NET自定义活动或任何开箱即用的解决方案方面的帮助。PS:我确实发现了一个删除自定义活动，但它更倾向于Blob存储。
请帮帮忙。
浏览 6提问于2017-02-17得票数 3
1回答
我有一个带有复制数据活动的Azure数据工厂v2管道。如果活动失败，则应运行Lookup活动。不幸的是，Lookup从不运行。为什么它不在拷贝数据活动失败时运行？我怎么才能让它工作呢？
我期望“将文件加载到失败”活动运行，因为加载压缩文件到导入目标“活动失败。事实上，
浏览 0提问于2020-02-18得票数 0
我正在使用Azure data Factory (ADF)将文件夹中的数据从Azure Data Lake移动到SQL Server。 该文件夹包含数百个.csv文件。然而，与这些csv不一致的一个问题是，一些csv(并非所有csv)的最后一行包含一个特殊字符，当尝试将其装载到数据类型不是NVARCHAR(MAX)的sql表时，它将失败。为了解决这个问题，我必须首
浏览 29提问于2019-02-01得票数 1
回答已采纳
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
云直播
对象存储
实时音视频活动推荐
腾讯云开发者
