正在尝试为数据流作业创建模板。到目前为止，无论在创建模板时使用了什么参数，但当我尝试为变量传递不同的值时，它不会选择运行时值。如果需要任何额外的细节，将提供相同的。
浏览 0提问于2018-09-06得票数 2
1回答
我有一个云函数，它在加载新文件时启动数据流模板，并在GS上传递到该文件的路由。我必须将其作为值提供程序读取，并像这样在管道中传递它。fileio.ReadMatches() # ...
) 但是当模板启动时我得到了这个错误
浏览 6提问于2020-12-21得票数 1
我有一个要求，通过年，月，日从管道到数据流，并使用这3个参数值在数据流读取文件从相应的文件夹在ADLS。首先，我在数据流级别创建了3个参数，并在通配符路径下的"Source“"Source Options”中使用了这3个参数，但它提供了错误消息，因为"not /文件夹存在且不隐藏“。如何从管道传递参数并在数据流级别使用这些值
浏览 1提问于2021-06-19得票数 0
回答已采纳
1回答
我正在处理将处理我的维度加载的数据流。我希望它尽可能的参数化，所以我创建了通用的源和宿(都是Azure Synapse)。在数据流的调试设置中，我可以输入请求的值(tableName和模式名)。它对于source没有问题，但是我不知道为什么，但是接收器不读取值。连接失败{ "Message"：“没有为参数‘tableName’提供</e
浏览 17提问于2020-05-28得票数 0
启动dataflow.projects.locations.templates.launch(i ()函数(我也测试了"now()“函数)生成的列在作业执行期间似乎没有被求值。报告的日期始终以第一次创建模板的日期填充。
这是一个正确的行为吗？为什么没有使用作业启动日期填充该列？
浏览 1提问于2018-09-25得票数 0
我一直在通过端点触发google数据流模板。现在，我想通过这些端点向数据流模板传递一些输入。这些输入是自定义的，例如输出文件的名称。
浏览 0提问于2017-10-04得票数 0
Angular的“单向数据流规则”被提到了 ，但是没有一个角度文档明确地定义了单向数据流规则(强调清晰的)。下面是我能找到的最接近单向数据流规则的清晰定义：
这是很公平的，但是，这到底意味着什么呢？什么构成了对视图的更新？我们不是一直在更新视图吗？这两个相当不透明的信息是所有的角度文档，显然给我们提供了关
浏览 3提问于2017-03-06得票数 15
回答已采纳
因为我有一个工作的静态数据流运行，所以我想从这个模板中创建一个模板，这样我就可以轻松地重用Dataflow，而不需要输入任何命令行。
按照官方的教程，不提供可模板输出的示例。我的数据流以一个BigQuery接收器结束，它接受一些参数，比如存储的目标表。这个确切的参数是我希望在我的模板中
浏览 4提问于2017-11-06得票数 1
回答已采纳
问题陈述是我们正在自定义PubSubToBQ提供的PubSubToBQ数据流java模板，在该模板中我们将配置多个订阅/主题来读取数据并将数据推送到多个Bigquery表中，这需要作为单个数据流管道执行但是，当我们从eclipse执行模板时，我们必须在gcs桶上传递订阅/主题和烧烤细节，然后使用具有不同订阅和烧烤细节的gcloud命令运行模板。数据流</
浏览 0提问于2019-07-16得票数 0
我的问题是关于模板和inout文件的。我会在我的数据流管道中有这一部分，以通过TextIO.read获取源数据(GCS )，但我不确定如何格式化管道的这一部分，以便将存储桶触发器中的文件考虑在内。我会有像"ReadTable" >> TextIO.read().metadata这样的东西吗？
浏览 8提问于2021-12-02得票数 0
我指的是谷歌提供的数据流。
一旦被数据流读取的消息不会被确认。我们如何确保一旦被数据流所消耗的消息被确认，并且对任何其他订阅者都不可用？要复制和测试它，请从同一个模板创建2个作业，您将看到这两个作业处理相同的消息。
浏览 2提问于2020-10-21得票数 0
回答已采纳
目前，我有一个系统，希望通过Google函数将该系统中的数据发送到BigQuery (使用Python)。我的想法是分两个简单的步骤：
你建议我怎么做？我已经想到了两件事：
使用添加数据，但我不确定该数据是否具有相同的速率限制，以及是否
浏览 5提问于2022-06-28得票数 0
回答已采纳
当通过数据工厂映射数据流引用时，我在使用参数化数据集时遇到了问题。
我正在尝试编写一个通用ELT管道，它将从blob存储中的CSV文件读取并将其写入Azure SQL数据库中的表。从blob存储中读取CSV文件(作为参数传递到Data Factory Pipeline的文件名)。使用Get Metadata活动确定CSV文件的结构。因此，我创建了一个映射数据流，它
浏览 1提问于2019-11-02得票数 4
1回答
尝试使用ARM模板将ADF数据流部署到多个环境。我能够部署数据流的硬编码脚本。但是我需要将脚本中的存储帐户容器参数化。这是脚本的一部分@{variables('co
浏览 1提问于2022-03-24得票数 0
我正在尝试使用谷歌提供的模板PubSub to BigQuery设置一个数据流作业。我在启动时得到了这个错误：我认为谷歌提供的模板是硬编码的文档提到了一个network参数。我尝试从GCP console UI添
浏览 12提问于2018-02-01得票数 1
回答已采纳
我一直在与一位同事合作，试图设置一个主SSIS包模板和子SSIS包模板。这些模板查看审核表，以便识别正确的批次或创建新的批次。然后，主包调用子包，并将用户变量开始时间和用户变量结束时间传递给子包包级参数。此时，我可以将日期打印或写入到子包中的随机表中，并且它们显示了正确的值。接下来，我想添加一个数据流任务，该任务将使用子包包级参数(从主包传递)来在正确的<
浏览 0提问于2015-08-14得票数 0
我已经创建了一个SSIS包，其中包含几个数据流和脚本任务。每个脚本任务都包含need服务调用的输入参数，我需要这些参数才能使其可配置。我还希望将连接字符串移动到配置文件中，以便为每个环境提供不同的连接字符串。我已经设法使用SSIS中的Package configuration创建了配置。如何在脚本任务中读取这些配置值。
浏览 0提问于2016-02-25得票数 1
当创建新的Dataflow Pub/Sub到BigQuery模板时，可以指定PubSub topic。似乎无法提供现有的PubSub subscription，相反，每当数据流模板运行时都会创建一个新的订阅。就我所理解的PubSub模型而言，确保我们继续从主题的同一位置读取数据的唯一方法是重用相同的订阅，这里似乎没有这样的选项。
当用户想重新部署这样的<
浏览 0提问于2018-09-18得票数 2
回答已采纳
2回答
无法创建模板
、、、、
我正在尝试使用下面的mvn命令创建数据流模板，并且在存储桶中有一个json配置文件，在该文件中，我需要为每次运行读取不同的配置文件(我不想硬编码值)，代码如下所示
在模板创建过程中，我为getSchemaJson方法Value only available at runtime, but accessed from a non-runtime context.传递的所有3个args的下面都出现了错误。
浏览 9提问于2022-05-11得票数 0
回答已采纳
我对Dataflow和天真的程序员完全陌生。我正在寻找帮助设计一个用python编写的数据流管道，以读取存储在GCS上的多部分压缩Json文件，以加载到BigQuery。源无法为我们提供文件/表的架构。因此，我正在寻找一个自动检测选项。只是想把json加载到BQ中。
我在谷歌上找不到任何可以读取自动检测的json.zip文件并写入BQ的示例模板。有人可以帮助我的<
浏览 25提问于2021-02-17得票数 1
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
腾讯会议
云直播
对象存储活动推荐
腾讯云开发者
