我想在几个开始步骤之后执行几个步骤。例句:在我的例子中，我想先执行3步，然后执行最后2步。 一旦这3个步骤完成执行，然后我想开始最后2个步骤。
浏览 20提问于2019-05-03得票数 1
1回答
我想使用Spring与Apache光束，这将运行在谷歌云数据流运行。数据流作业应该能够在执行管道步骤时使用Spring Runtime应用程序上下文。我想在我的Apache光束管道中使用Spring特性来实现DI和其他东西。在google上浏览了几个小时后，我找不到任何关于在Apache Beam中集成Spring的帖子或文档。所以，如果有人尝试过spring和<
浏览 9提问于2019-10-05得票数 2
我有一些关于Apache光束Python SDK定义的数据流的问题。如果我单步执行我的代码，它会到达pipeline.run()步骤，我认为这意味着成功地定义了执行图。然而，该作业从未在数据流监控工具上注册，这让我认为它永远不会到达管道验证步骤。
我想更多地了解这两个步骤之间发生了什么，以帮助调试问题。我看到输出显示我的requirements.
浏览 3提问于2018-04-28得票数 1
我有一个数据流管道，由两个连续的批处理作业组成。第一批成功完成，但第二批未启动。
我已经用嵌入式H2 DB启动了Dataflow服务器。我已经通过H2将Spring指向同一个application.properties实例。在完成管道中的第一步之后，我可以在同一个DB实例中看到批处理执行日志。我的组合任务运行程序似乎正确地获取了Dataflow的数据源。我可以看到它是从Datafl
浏览 3提问于2020-03-10得票数 0
1回答
最近，我将我的数据流apache管道更新为最新版本，我的管道编写了大量的数据。apache版本更新前的管道从2.27到2.41大约需要8分钟才能完成执行，而更新后则需要30分钟以上才能完成执行。更新之前的更新后的在更新管道版本之前，没有显示Enforce ramp-up through throttlin
浏览 15提问于2022-11-01得票数 1
回答已采纳
这个问题的题目只是我的假设，我希望你能问一问。将文件放入存储桶中。 GCS存储桶向PubSub主题发送通知。PubSub主题触发数据流流管道。<code>G 211</code>
我发现一个一直在处理的文件没有落在烧烤桌上。没有错误，所有的日志显示，一切都是好的，我们来到最后的步骤-写到烧烤。几秒
浏览 2提问于2022-09-23得票数 0
2回答
我想知道是否有任何方法可以知道在azure操作中构建管道中的前一步执行的结果。为了详细解释我的查询:假设在蔚蓝Devops中，我有一个大约10个步骤的构建管道，它执行很少的任务，比如为构建做准备、构建解决方案、同步和其他一些事情。现在我想知道某些步骤执行的状态，换句话说，它是
浏览 1提问于2020-01-22得票数 7
回答已采纳
我有一个运行在Flink runner上的光束管道，如下所示： ? 光束中的整个管道都被捆绑到这个区块中。为什么Flink用这种方式来说明它？ ? 当然，管道步骤中的不同pardo应该由不同的块和工作者来表示(就像在Google的数据流中一样)。是否需要在Flink运行器中设置某些内容以显示更细粒
浏览 24提问于2021-07-05得票数 1
我的beam管道将数据导入bigquery，最近需要支持更新和删除。由于BigQuery对我一天内可以执行的更新和删除的数量有每日限制，因此我希望有一个单独的进程，大约每30分钟运行一次，以便将更新和删除合并到主数据集中。有没有什么方法可以用Apache光束做到这一点呢？一个在计时器上运行的函数，它只执行一个副作用，并确保它只在一台机器上执行？我非常希望我的所有代
浏览 20提问于2018-12-28得票数 0
回答已采纳
我们使用的是TeamCity 7，并且想知道是否有可能只在前一个步骤失败时才运行一个步骤？构建步骤配置中的选项仅在所有步骤都成功时才允许执行，即使步骤失败，或者始终运行它。是否有一种仅在前一步失败时才执行一步的方法？
浏览 6提问于2013-10-30得票数 17
回答已采纳
我们有一个使用Azure管道的项目，依赖于回购处的azure-pipelines.yml文件。在实现script步骤时，可以在同一步骤中执行连续命令，只需将它们写在不同的行上： ls -la echo $VALUE
但是，如果我们有一个很长的命令，我们希望能够在YAML文件中的几行上中断它，但是却找不到
浏览 3提问于2019-12-05得票数 3
回答已采纳
数据流是使用apache (Java)构建的。数据流从BigQuery中提取出来，第一次完美地写入到GCS中。但是，当第二个数据流在第一个管道成功执行后从同一表中提取数据时，它并不是从Big Query中提取任何数据。我在堆栈驱动程序日志中看到的唯一错误是
代码409请求失败，由于IOExceptions执行0次重试，由于状态代码不成功执行0次重试，HTTP表示
浏览 0提问于2020-01-12得票数 1
回答已采纳
是否有一种方法可以使用管道中定义的变体(仪表板)在YAML模板上使用条件插入来执行以下步骤： echo "This is another step where the var 'somevar' does not being declared'
当未声明变量时，我知道
浏览 2提问于2020-07-17得票数 1
1回答
我有一个apache批处理管道(用java编写)，用于将bigquery中的原始分析数据转换为聚合形式。会话记录(现在可能在接下来的几天内扩展到页面事件)和一组新的页面事件从bigquery中读取。然后，管道执行一个groupByKey操作，在聚合操作之前按用户id (跨两个数据集)分组以创建会话记录。groupByKey操作在较大的数据集(~8400000条记录)上执行得非常慢(
浏览 6提问于2020-08-18得票数 1
1回答
我在玩tensorflow，今天我注意到google也为他们的数据流开源了Python SDK。目前，当我需要并行训练和评估多个网络时，我通常使用luigi并逐个运行模型训练，或者使用spark并在map步骤中执行每个模型训练。整个数据处理只是管道的一部分。我想知道在数据流管道中是否有或是否有计划执行tensorflow模型训练步骤？
目前有没有一些关于这方面的最
浏览 2提问于2016-03-24得票数 2
我正在创建一个Apache光束流处理管道，以便在GCP数据流中运行。我有许多扩展DoFn和CombineFn的转换。在DoFn中，使用数据流作业详细信息中的日志窗口可以很好地显示日志。但是，不会显示来自CombineFn转换的日志。 我尝试了不同的日志级别，但使用DirectRunner时，它们也显示得很好。 下面是一些示例代码。import java.io.Serializabl
浏览 15提问于2019-10-07得票数 0
我正在尝试创建一个ETL管道，以自动化数据库的更新和删除过程。
我尝试过在control选项卡<em
浏览 4提问于2022-06-10得票数 -1
1回答
tl； Apache管道步骤涉及到构建码头映像；如何使用Google运行此管道？还有什么选择吗？
目前，我正在尝试使用google的数据流服务和apache (python)迈出我的第一步。简单的示例非常直接，但一旦外部软件依赖关系发挥作用，事情就会让我感到困惑。使用自定义的码头容器来安装自己的环境似乎是可能的。虽然这对大多数依赖关系都很好，但如果依赖关系本身就是
浏览 5提问于2022-04-04得票数 0
1回答
我正在编写apache管道，用于处理python中的大数据文件。该管道的参数由argparse和PipelineOptions管理。当未指定参数时，只显示警告和错误日志。
当我使用DirectRunner运行这段代码时，一切都很顺利，并且根据-v参数的计数正确地应用了日志级别。但是，当我在GCP上运行相同的代码时，管道不会启动(不管是否使用-v或-verbose参
浏览 5提问于2022-04-04得票数 0
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
云直播
对象存储
腾讯会议活动推荐
腾讯云开发者
