使用Samza运行器执行光束管道时的org.apache.beam.sdk.util.UserCodeException

文章/答案/技术大牛

发布

1回答

java、apache-beam、stream-processing、apache-samza

我正在尝试使用Samza Runner从here运行单词计数演示。))) pipeline.run().waitUntilFinish();} 我使用的是Samza 1.4具有光束2.22，Samza 1.0具有光束2.11和光束2.22，Samza 0.14.1具有光束<

浏览 23提问于2020-07-12得票数 3

2回答

Spanner中的查询计划

google-cloud-dataflow、apache-beam、google-cloud-spanner

我正在执行一个查询:在扳手中执行"SELECT e.name,d.name FROM emp as e, department as d WHERE e.dept = d.dept;"，它在扳手控制台上工作得很好但是，当我尝试使用Apache光束来触发相同的查询时，它给出了一个错误消息： java.lang.RuntimeException: org.apache.beam.sdk.util.UserCodeException我使用

浏览 0提问于2018-06-13得票数 2

1回答

将多个Apache光束管道打包到一个jar文件中

java、maven、executable-jar、apache-beam

我正在处理一个项目，其中包含许多用Java编写的光束管道，需要将其打包为jar文件，以便从我们的作业调度器执行。我尝试使用构建配置文件为每个main创建一个jar，但这看起来很混乱，而且我遇到了依赖冲突的问题(当它不使用时，它仍然在寻找所需的区域选项)。我也只是寻找一个不断增长的光束代码库的整体可持续的项目结构建议。打包要按计划执行</

浏览 18提问于2019-01-05得票数 0

1回答

如何使用BigQuery存储读取API定义Apache Beam中的最大流数

google-cloud-platform、google-bigquery、google-cloud-dataflow、apache-beam

为此，我想使用Apache光束，并在数据流中运行此管道。而且我的BQ查询需要很长时间才能执行。因此，希望使用BigQuery的Storage Read API来减少这一时间，该API支持使用流读取数据。尽管Beam支持使用存储API，但我找不到设置最大流数的文档。谁能帮助我如何设置从BigQuery读取数据的Apache光束管道

浏览 25提问于2021-05-02得票数 0

1回答

带有Apache横梁的弹簧

spring、google-cloud-dataflow、apache-beam

我想使用Spring与Apache光束，这将运行在谷歌云数据流运行。数据流作业应该能够在执行管道步骤时使用Spring Runtime应用程序上下文。我想在我的Apache光束管道中使用Spring特性来实现DI和其他东西。在google上浏览了几个小时后，我找不到任何关于在Apache Beam中集成Spring的帖子或文档。在main类中，我已经初始化了spr

浏览 9提问于2019-10-05得票数 2

1回答

Apache光束HTTP无界源码Python

python、http、apache-beam、apache-beam-io、apache-beam-kafkaio

是否有可能使用当前版本的Apache光束来开发一个接收HTTP消息中的数据的无限源？我的意图是运行一个HTTP服务器，并将接收到的消息注入到光束管道中。如果可能的话，可以用现有的源代码来完成吗？

浏览 27提问于2021-04-16得票数 1

1回答

我们可以在相同的数据上同时运行多个google云管道吗？

google-cloud-platform、google-bigquery、google-cloud-storage、google-cloud-dataflow

假设我有一个从存储文件加载数据的管道，并将其加载到一个大查询表中。在这个管道完成之前，我可以运行另一个管道，在相同的文件和表上执行相同的操作吗？我的假设是它应该失败。另外，我们如何能够触发第二个管道呢？(我在Eclipse中运行Apache光束代码；当一个类正在运行时，它不允许第二次执行)我们可以使用CLI运行</em

浏览 1提问于2018-05-02得票数 1

1回答

如何从DataFlow模板中提取REST API参数？

google-cloud-platform、apache-beam、google-apis-explorer

我想在Google Cloud平台中使用Cloud Function触发数据流。在Cloud Function中，我使用Python这样调用API： from googleapiclient.discovery import build 'environment':environment) response = request.execute() 这是我正在启动的数据流

浏览 17提问于2020-12-08得票数 0

3回答

Apache Samza和Apache Storm的用例有什么不同？

apache-storm、apache-samza

我偶然发现声称将Samza与Storm进行了对比，但它似乎只解决了实现细节问题。这两个分布式计算引擎的用例有什么不同？每个工具适合哪种类型的工作？

浏览 0提问于2015-03-18得票数 31

回答已采纳

1回答

flink流道梁上的Tensorflow变换

machine-learning、apache-flink、apache-beam、tensorflow-transform

我目前正在使用TFX0.11(即tfdv-tft-tfserving)和tensorflow 1.11 (使用python2.7 )构建一个简单的ML管道。我知道TFX背后的框架是ApacheStreams2.8，而且它(Apache)目前通过一个可移植的运行层支持使用python的flink。但问题是我如何使用带有flink跑步器的apache横梁在TFX (tfdv-tft)中

浏览 1提问于2018-12-19得票数 2

回答已采纳

1回答

在Flink集群上运行的Apache光束管道失败

apache-flink、apache-beam

我尝试在本地部署的Flink Docker集群上部署一个Apache光束管道。管道失败，出现以下错误 The RemoteEnvironment cannot be instantiated when running in a pre-defined context (suchorg.apache.beam.runners.flink.FlinkRunner.run(FlinkRunner.java:108) ApacheBeamPocJava.main(ApacheBeamPocJava.java:262) 这就是我设置

浏览 80提问于2020-08-20得票数 1

1回答

使用Java执行Bigquery合并DML

java、google-cloud-platform、google-bigquery、google-cloud-dataflow

我有一个DML指令，每小时在Bigquery中运行一次，类似于下面的指令： MERGE dataset.DetailedInventory T INSERT(product, quantity, supply_constrained) VALUES(product, quantity, false) 我们尝试执行的这条指令不需要任何转换正因为如此，我们正在考虑将DataFlow与Apache Beam一起使用。我正在尝试在Apache<

浏览 14提问于2020-05-01得票数 0

2回答

是否可以在不具有本地所有依赖项的情况下运行/序列化数据流作业？

python、google-cloud-dataflow、apache-beam

我已经使用Apache光束为Google Cloud Dataflow创建了一个管道，但我不能在本地拥有Python依赖项。但是，远程安装这些依赖项是没有问题的。在我的本地(开发)环境中，有没有可能在不执行Python代码的情况下运行作业或创建模板？

浏览 1提问于2019-09-27得票数 0

1回答

如何在Apache Beam中实现类似于Spark累加器的变量

apache-beam

我目前使用的是Spark中的Apache Beam2.29.0。我的管道使用来自Kafka的数据，我有一个自定义的KafkaConsumer，它是Beam通过调用ConsumerFactoryFn创建的。在运行期间，我需要在自定义Kafka消费者之间共享一段持久数据。在Spark中，这将非常简单，我将创建一个累加器变量，所有的执行器以及驱动程序都可以访问该变量。由

浏览 16提问于2021-09-10得票数 0

1回答

在python中的管道运行期间访问Apache光束度量值？

python、apache-beam

我正在使用Apache光束Python SDK的直接运行器来执行一个简单的流水线，类似于单词计数示例。因为我正在处理一个大文件，所以我希望在执行过程中显示指标。我知道如何报告指标，但我找不到在运行期间访问指标的任何方法。在Java SDK中，我发现了一个可以在PipelineOptions上配置的MetricsSink，但在Python SDK中找不到对应的an。如何在管道<em

浏览 17提问于2021-08-16得票数 2

回答已采纳

2回答

如何实现动态BigQueryIO输入

google-bigquery、google-cloud-dataflow、apache-beam

我正在使用谷歌数据流上的阿帕奇光束。我的流水线从BigQuery读取数据，但它依赖于执行参数。我应该能够用一个点(经度，纬度)和几个点来运行管道。ST_GeogPoint(10.9765,50.4322), ) 问题是当我有超过1个点来为它们运行查询时我尝试在每个点上应用BigQuery read，并将结果合并到一个PCollect

浏览 16提问于2019-01-27得票数 0

回答已采纳

1回答

梁中转轮依赖关系的冲突

java、maven、apache-flink、apache-beam、apache-samza

我希望使用Beam测试不同的流处理引擎，但是当包含Flink 和 Samza依赖项时无法运行程序。如果只包含其中的一个，那么它对所有其他运行程序都能正常工作。我的pom.xml包含以下内容： <maven.compiler.release>1.11</maven.compiler.release>

浏览 2提问于2020-04-26得票数 0

1回答

：从运行管道本身获取作业名称和启动时间

google-cloud-dataflow、apache-beam

我使用带有模板的Google : CI服务器(连续集成)将模板部署到GCS，然后使用gcloud dataflow jobs run命令从该模板启动批处理作业。现在，在管道本身中，我想知道这个确切管道的启动时间(用于输出文件的名称)。这种反思是否可以在光束/数据流中进行？是否有可能从作业本身的内部获取作业名称和作业启动时间？(也就是说，在Dataflow在VM上执行的代

浏览 0提问于2019-05-14得票数 0

4回答

如何用samza写我自己的工作

apache-kafka、apache-samza、stream-processing

最近，我尝试在Samza框架上做一些流处理工作。我已经成功地部署了hello-samza示例。然而，当我试图写我自己的工作，我不知道从哪里开始我的工作。你的建议对我有很大帮助，非常感谢！

浏览 10提问于2015-12-04得票数 0

1回答

我可以将Google DataFlow配置为在排出管道时保持节点正常运行吗？

google-cloud-platform、google-cloud-dataflow、apache-beam

我正在部署一个管道到谷歌云DataFlow使用阿帕奇光束。当我想要将更改部署到管道时，我会排空正在运行的管道，然后重新部署它。我想让它更快一些。从日志中可以看出，在每个deploy DataFlow上从头开始构建新的工作节点:我看到Linux启动消息正在过去。有没有可能在不拆除工作节点的情况下耗尽管道，以便下一次部署可以重用它们？

浏览 15提问于2021-10-08得票数 0

回答已采纳

点击加载更多