1回答
使用数据管道复制数据
、、、
我正在尝试使用亚马逊网络服务数据管道将dynamoDb数据备份到S3中，并在数据管道设置中计划每15分钟备份一次。我使用的模板是默认提供的模板，即“将DynamoDB表导出到S3”。
浏览 19提问于2019-12-13得票数 0
我正在尝试使用Azure数据工厂管道从ADLS复制数据。管道将每天运行，每天都会复制同一天的数据。 在管道中，提供了开始时间和结束时间，以便仅获取当天的数据，如下所示。 ? 问题是，即使源中没有数据，数据拷贝作业也会成功，并显示管道成功状态。 ? 如果源adls中没有数据，是否有办法使数据拷贝任务失败？
浏览 13提问于2021-03-29得票数 1
我创建了一个复制数据对象，它将有关管道的进程信息记录到一个SQL表中。此复制数据活动在使用中是通用的，并且可以应用于我的所有管道...但是我如何将这个特定的复制数据声明为我所有管道的可重用对象呢？
浏览 30提问于2021-09-30得票数 0
回答已采纳
3回答
在Azure Data v2中，我创建了许多管道。我注意到，我创建的每个管道都创建了一个源和目标数据集。根据ADF文档：数据集是一个命名的数据视图，它简单地指向或引用您想要作为输入和输出在活动中使用的数据。
这些数据集在我的数据工厂中可见。我很好奇为什么我会在乎这些？这些看起来就像ADF创建的“在引擎盖下”对象来移动数据。这些对我来说有什么价值，我为什么要关心它们？
浏览 1提问于2018-06-13得票数 1
回答已采纳
我们有一个具有复制活动的ADF管道，用于将数据从Azure表存储传输到Azure Blob存储容器中的JSON文件。当数据传输正在进行时，使用此数据集作为源的其他管道将失败，出现以下错误：“作业由于原因而失败:路径不解析到任何文件”。
dataset具有指示容器目录的属性。此属性由复制数据的管道的触发时间填充，因此它在每次运行时写入不同的目录。其他失败的管道使用的目录对应于以前运行
浏览 4提问于2022-06-22得票数 0
1回答
嗨，我们想把数据从Mysql(源)复制到GoogleBigquery(目的)，我们采用了google文档描述的方法，并使用了链接中提到的数据融合复制管道。我们正在做的事情:在SQL中为CDC(变更数据捕获)启用bin日志，在数据融合中创建复制管道，启动管道并同步数据。我们能够成功地在comupute引擎中创建pipelinereplication数据并为CDC启用
浏览 5提问于2021-04-22得票数 0
我想把我的甲骨文数据库和GCP数据融合连接起来，但我没有。我找不到jar文件。我在Oracle中有一个表，并将数据获取到BQ，所以我不知道我将使用什么。你能帮帮我吗?
浏览 9提问于2022-10-14得票数 -1
1回答
我试图决定是使用AWS Glue还是Amazon数据管道来进行ETL。我需要增量地将几个表复制到Redshift。几乎所有的表都需要在没有转换的情况下被复制。一个表需要一个可以使用Spark完成的转换。
根据我对这两个服务的理解，最好的解决方案是将两者结合使用。数据管道可以将所有内容复制到S3。在那里，如果不需要转换，数据管道可以使用Redshift复制<
浏览 0提问于2018-01-16得票数 1
我正在使用Azure数据因子的复制数据工具。我的源码在prem sql服务器上。我的接收器目标是azure sql mi。我选择了787个表，整个向导过程运行良好，似乎生成了工件(管道、数据集、链接服务等)。
当我运行管道时，它只复制了340个表，因为管道参数只有340个表的json代码，而不是787个表！我重复了相同的复制数据工具步骤，第二次得到了相同的结果。管道参数的类型是&#
浏览 0提问于2021-04-23得票数 0
我有一个复制数据管道在Azure数据工厂。我需要在多个环境中部署相同的Data实例，比如DEV，QA，PROD，使用发布管道。现在，假设我在DEV环境中&我在那里有一个演示客户。我已经为复制数据定义了ADF管道。但在prod环境下，客户数量将增加。因此，我不想在生
浏览 3提问于2020-08-27得票数 1
我有一个ADF管道，它使用复制数据活动将数据从blob存储复制到表存储。这条管道每天在触发器上运行一次。我在表存储数据集中提供了一个表名为“表1”。
浏览 0提问于2020-05-28得票数 1
回答已采纳
我使用Azure Synapse Analytics管道在Azure blob存储中复制多个excel数据文件，并将其内容复制到Azure Synapse Analytics中的专用SQL DB中。我正在使用复制数据活动。在Azure数据工厂中，可以在源中定义一个额外的列，并通过$$FILEPATH填充它的值，$$FILEPATH引用源文件的名称。当我尝试调试我的管道时，我会得到以下错误：
在使用“
浏览 1提问于2022-01-25得票数 0
2回答
我有两个SQL数据库，dev和test，它们托管在Microsoft Azure上。有一个用于将数据库从开发环境复制到测试环境的发布管道。我使用az db copy命令执行复制操作。用户在测试和开发中是不同的，因此我需要使用azure管道任务从测试环境中的另一个数据库复制所有用户。
将用户从数据库2复制到数据库1的正确解决方案是什么？
浏览 1提问于2021-03-26得票数 1
我创建了一个管道，它在每次创建blob时都由触发器执行，问题是，在这种情况下，进程需要同时上传多个文件，当发生这种情况时，管道执行的次数与blob的次数一样多，这会导致数据错误。为了复制创建的每个blob，我尝试在主管道中绘制一个复制数据活动，但是由于这个管道在第一个管道中，所以它也会执行多次。的预期结果是，管道只执行一次(不管创建了多少blob )和复制数据活动，就可以复
浏览 7提问于2022-01-06得票数 0
回答已采纳
1回答
我希望使用ADF管道将文件从一个文件夹复制到数据湖中的另一个文件夹。a/b/c/d，a/ b，c，d是这里的文件夹，我不想复制c，d文件夹，.I必须将这些文件夹中的文件复制到'b‘文件夹。我使用Get元数据创建了一个管道，在这里，我为每个使用activity.But复制的文件创建了一个管道，我能够用文件夹本身复制文
浏览 6提问于2022-11-14得票数 -1
回答已采纳
1回答
在管道中，我使用复制数据活动将REST中的数据提取到.txt文件中。但是，在运行管道之后，我收到了以下输出：
现在列标题在哪里？在创建复制数据活动期间，我在配置过程中是否遗漏了什么？
浏览 3提问于2020-02-14得票数 1
回答已采纳
如何将数据、一个集合从一个用于MongoDB帐户的Cosmos data复制到另一个用于MongoDB帐户的Cosmos data，在另一个订阅中放置在另一个Azure区域。最好定期做。
浏览 2提问于2021-12-14得票数 1
回答已采纳
在Azure Data管道中，我希望将SQL查询结果中的列名和行值映射到JSON字符串的键值对。我还需要在JSON字符串中包含几个管道参数。然后，我将在管道的末尾将这个JSON字符串作为存储过程的输入传递。fileGroup2", "pipeline_param_1": "value1",}
如何在ADF管道内查
浏览 12提问于2022-06-25得票数 1
回答已采纳
我正在尝试在Azure数据工厂上创建管道。管道从azure文件存储中提取一个文件，并将数据复制到sql表中。使用复制数据任务可以很好地工作，但我希望在sql表的列中包含文件的名称。这个是可能的吗？
浏览 2提问于2021-01-30得票数 1
回答已采纳
云服务器
ICP备案
云直播
腾讯会议
对象存储
腾讯云开发者
