我是大数据处理方面的新手。我正在使用apache beam Java SDK来处理它。尝试了解多线程/并行数据处理在apache光束管道中是如何工作的。关于多线程，数据是如何从一个PTransform处理到另一个的？
浏览 9提问于2020-07-23得票数 0
因此，这是一个有点奇怪的问题，因为它与如何使用该工具无关，但更多的是关于为什么要使用它。 我正在部署一个模型，并考虑使用Apache-beam的python API来运行特征处理任务。文档非常庞大和复杂，但我经历了大部分，甚至建立了一个小的工作管道，仍然不清楚这是否是适合我的工具。下面是我需要的一个示例： Input data structure： ID | Ti
浏览 25提问于2020-06-11得票数 0
我正在从批处理管道中的有界源csv文件读取数据，并希望根据存储为csv文件中列的数据为元素分配一个时间戳。我如何在Apache光束管道中做到这一点？
浏览 0提问于2019-02-01得票数 2
1回答
是否有可能使用当前版本的Apache光束来开发一个接收HTTP消息中的数据的无限源？我的意图是运行一个HTTP服务器，并将接收到的消息注入到光束管道中。如果可能的话，可以用现有的源代码来完成吗？
浏览 27提问于2021-04-16得票数 1
我有一个运行在Flink runner上的光束管道，如下所示： ? 光束中的整个管道都被捆绑到这个区块中。为什么Flink用这种方式来说明它？ ? 当然，管道步骤中的不同pardo应该由不同的块和工作者来表示(就像在Google的数据流中一样)。是否需要在Flink运行器中设置某些内容以显示更细粒度的</e
浏览 24提问于2021-07-05得票数 1
令人困惑的是，每个关于数据流的谷歌文档都说它现在是基于Apache光束的，并将我引导到光束网站。此外，如果我查找github项目，我会发现google dataflow项目是空的，并且所有的项目都转到apache see repo。假设我现在需要创建一个管道，根据我从Apache光束中读到的，我会这样做：fro
浏览 1提问于2017-06-16得票数 3
我想从BigQuery中读取数据并将其发布到Pubsub。为此，我想使用Apache光束，并在数据流中运行此管道。而且我的BQ查询需要很长时间才能执行。因此，希望使用BigQuery的Storage Read API来减少这一时间，该API支持使用流读取数据。尽管Beam支持使用存储API，但我找不到设置最大流数的文档。谁能帮助我如何设置从BigQuery读取数据的Apache光束
浏览 25提问于2021-05-02得票数 0
1回答
我想使用Spring与Apache光束，这将运行在谷歌云数据流运行。数据流作业应该能够在执行管道步骤时使用Spring Runtime应用程序上下文。我想在我的Apache光束管道中使用Spring特性来实现DI和其他东西。在google上浏览了几个小时后，我找不到任何关于在Apache Beam中集成Spring的帖子或文档。所以，如果有人尝试过spring和Apache
浏览 9提问于2019-10-05得票数 2
2回答
我是阿帕奇光束环境的新手。尝试为批处理编排安装apache束管道。Batch==>一组工作，作业/子作业之间可能存在依赖关系。可以用我的自定义批处理映射apache束管道吗？？
浏览 12提问于2022-04-30得票数 0
回答已采纳
beam-sdks-java-core的最新版本是2.3.0。然而，如果我的流水线代码使用beam-sdks-java-core 2.2.0，那么我的流水线在Dataflow中运行时会使用2.2.0还是2.3.0？
浏览 1提问于2018-03-10得票数 0
我正在开发Apache光束中的数据转换管道，其中我需要一些查找表来帮助转换每个传入的记录。 我可以将查找表作为辅助输入传入，但需要注意的是，传入的记录可能会更新我正在使用的查找表。有没有一种方法可以更新查找表，然后将更新广播给每个其他工作进程？ 更新:一种可能性是使用数据驱动触发器在传入记录更新端输入时发出结束当前窗口的信号。侧边输入会在下一个窗
浏览 11提问于2019-01-15得票数 2
我的目标是允许用户将相对较大的数据集导入MongoDB (托管在mongo云上)。Api服务器托管在容器引擎中，它没有任何其他负载如此大的操作(只有简单的CRUD操作)。用户将上传.csv文件(高达100mb)到GCP Bucket，从那里我需要验证和插入的csv文件到MongoDB的每一行，然后做一些计算的基础上导入的数据。这是否适合GCP云函数？我有点担心540秒的</
浏览 1提问于2017-11-09得票数 1
我有以下代码来运行直接运行在windows上的apache beam中的sql转换。import apache_beam as beam raise ValueError("Unsupported signal: {}".format(sig))
ValueError: Unsupported
浏览 0提问于2021-06-15得票数 1
我是阿里巴巴云的新手，我有一个运行在Google Cloud Dataflow上的Apache光束应用程序。现在，我想将相同的apache beam管道部署到阿里云。我正在寻求关于如何/需要哪些设置才能在阿里云中运行apache beam管道的帮助？阿里巴巴有没有相当于Google Cloud Platform Dataflow的资源？
浏览 2提问于2020-03-25得票数 0
1回答
我有一个在Apache光束中开发的流管道(使用Spark Runner)，它从kinesis流中读取。我正在寻找Apache光束中的选项来管理运动检查点(即定期存储运动流的当前位置)，以便它允许系统从故障中恢复并在流中断的地方继续处理。有没有一个条款可用于支持类似于Spark Streaming的运动检查点(参考链接- )？
浏览 9提问于2020-06-08得票数 1
我是一个非常新手，正在使用一个简单的文本文件批处理加载过程。我想为在BigQuery中插入记录添加一个时间戳。是否有为PCollection添加“插入日期”的首选模式？我已经看到了几种不同的方法，但我想知道是否有更好的模式或最佳实践？谢谢!
浏览 14提问于2020-09-02得票数 0
import apache_beam as beam |beam.Map(print)当我运行上面的代码时，出现了以下错误：
ERROR:apache_beam.utils.subprocess_server:Starting job service with ['java', '
浏览 1提问于2021-07-14得票数 0
1回答
我有一个DML指令，每小时在Bigquery中运行一次，类似于下面的指令： MERGE dataset.DetailedInventory T "DEPARTMENT - RUN ME
浏览 14提问于2020-05-01得票数 0
1回答
我希望有人能澄清TensorFlow与它的依赖关系(Beam、AirFlow、Flink等)梁的例子？如果没有，那么你能运行TFX只有梁和它的转轮吗？如果是的话，为何没有这样的例子呢？在taxi_pipeline_flink.py
浏览 0提问于2019-05-17得票数 6
回答已采纳
我正在使用Python中的Apache光束构建一个管道，并且我需要避免在Google Cloud Storage中写入文件时出现竞争条件。下面的链接介绍了如何通过gsutil在谷歌云存储中使用并发控制。
有没有人知道有没有办法用Python或Apache Beam Python SDK来完成同样的事情？
浏览 2提问于2018-08-31得票数 0
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
腾讯会议
云直播
对象存储活动推荐
腾讯云开发者
