Apache Beam似乎没有运行测试

文章/答案/技术大牛

发布

1回答

java、apache-beam

我在我的代码库上实现了一组测试，这些测试似乎没有执行，也没有通过。因此，Jacoco代码覆盖率不会报告这些测试的任何执行情况。这就是这个问题的一个例子。package com.striiv.dataflow; import org.apache.beam.sdk.testing.PAssert; import org.

浏览 12提问于2020-10-31得票数 0

回答已采纳

2回答

如何在Python中创建从发布/订阅到GCS的数据流管道

python、google-cloud-dataflow、apache-beam、google-cloud-pubsub

res = p.run() res.wait_until_finish() 我在本地环境中运行此程序时没有出现任何问题。python main.py 它在本地运行，但从指定的发布/订阅主题读取，并在每次经过30秒后写入指定的GCS路径，正如预期的那样。然而，现在的问题是，当我在Google Cloud平台上运行它时，即Cloud Dataflow，它不断发出神秘的异常。异常在堆栈跟踪中嵌套得如此之深，以至于很难猜测根本原因是什么，我也不知道为什么它在DirectRunner上运行得很好，但在Da

浏览 6提问于2019-02-18得票数 7

回答已采纳

2回答

谷歌云数据流作业失败，错误为“无法检索暂存文件:在3次尝试中检索工作进程失败:错误的MD5...”

go、google-cloud-dataflow、apache-beam

SDK: Apache Beam SDK for Go 0.5.0 我们在Google Cloud数据流中运行Apache Beam Go SDK作业。它们一直工作得很好，直到最近才间歇性地停止工作(没有对代码或配置进行任何更改)。., want ; (注意:它似乎在错误消息中缺少第二个散列值。) 据我所知，worker可能出了问题--它似乎试图比较worker的md5哈希值，但缺少其中一个值？不过，我不知道它到底比什么。有没有人知道

浏览 7提问于2018-12-18得票数 6

1回答

谷歌colab中的apache-beam[gcp]问题

python、google-colaboratory、apache-beam

我在google colab上运行apache-beamgcp时遇到了问题。如果我运行以下单元 !pip install -q apache-beam[gcp] p | beam.Create/lib/python3.6/dist-packages/cachet

浏览 22提问于2020-06-23得票数 0

1回答

未能为亚洲东南1区的TestDataflowRunner提供工作人员

google-cloud-dataflow

我创建了一个使用DataflowRunner运行的波束管道(Java)。我将工作人员部署在属于网络的区域asia-southeast1中。管道在DataflowRunner中正常运行。因此，我还希望使用@ValidatesRunner创建TestDataflowRunner测试。我使用相同的服务帐户和相同的网络运行了测试。执行图看起来也很好，但未能提供给工作人员。下面是我用来运行测试的命令。stagingBucket", "--service

浏览 0提问于2020-08-13得票数 0

2回答

Apache :无法从GCP PubSub读取消息。错误是AttributeError：“SubscriberGrpcTransport”对象没有属性“通道”

python、apache-beam、apache-beam-io

我的Mac中安装了python、venv、apache beam和gcloud。我还登录了gcloud傀儡。执行代码，转到gcloud poubsub主题并发布一个简单的消息代码读取消息并创建一个输出文件代码：parser = argpars

浏览 5提问于2021-02-08得票数 2

2回答

Apache束流在无界侧输入上被阻塞

google-cloud-dataflow、apache-beam

但是，我在那里尝试了解决方案(将GlobalWindows()应用于侧输入)，但它似乎没有解决我的问题。如果没有关联的日志，多余的侧输入可以删除。为了说明这种行为，我在下面做了简化的测试用例。_name = name

浏览 15提问于2022-05-07得票数 0

回答已采纳

1回答

数据流模板"Pub/Sub Avro to Bigquery“解码失败

google-cloud-dataflow、avro、google-cloud-pubsub、dataflow、confluent-schema-registry

string"],"default":null},{"name":"TIMESTAMP","type":["null","string"],"default":null}]} 保存的schema.avsc中没有换行符:101) org.apache.beam.sdk.util.CoderUtils.decodeFromByteArray(CoderUtils.java:92) org.

浏览 32提问于2021-01-22得票数 0

2回答

无法实例化com.faster.jackson.module.scala.DefaultScaleModule

java、spring-boot、junit、apache-flink、apache-beam

</groupId> <version>${apache.beam.versionapache.beam.version}</version> <dependency>

浏览 0提问于2021-04-19得票数 0

1回答

耗尽从PubSub读取并写入的数据流作业时的数据丢失

java、google-cloud-dataflow、apache-beam

当将固定数目的字符串(用于测试的80万1KB )放入PubSub主题并在Dataflow中运行以下Apache (2.1.0)作业时，完全按照预期保持一次语义。import org.apache.beam.sdk.Pipeline;import org.apache.beam.sdk.io.gcp.pubsub.PubsubIO; import org.<e

浏览 0提问于2017-11-17得票数 0

回答已采纳

1回答

添加ReadAllFromText转换时管道失败

apache-beam、apache-beam-io

我正在尝试在Apache光束中运行一个非常简单的程序来测试它是如何工作的。import apache_beam as beam def process(self, element): return element(Split())) 在运行这段代码时，我得到以下错误 .... some more stack....File "/home/rahee

浏览 23提问于2019-03-05得票数 2

回答已采纳

2回答

google-cloud-dataflow vs apache-apache

google-cloud-dataflow、apache-beam

令人困惑的是，每个关于数据流的谷歌文档都说它现在是基于Apache光束的，并将我引导到光束网站。此外，如果我查找github项目，我会发现google dataflow项目是空的，并且所有的项目都转到apache see repo。假设我现在需要创建一个管道，根据我从Apache光束中读到的，我会这样做：from apache_beam.options.pipeline_options然而，如果我使用google-cloud-dataflow，我会得到错误：no module named 'op

浏览 1提问于2017-06-16得票数 3

2回答

无法在python2.7中使用google pubsub-0.37.2导入WriteToPubSub

python-2.7、google-cloud-dataflow、apache-beam、google-cloud-pubsub

from beam_utils.sources import CsvFileSourcefrom apache_beam.ioimport WriteToTextfrom apache_beam.io.gcp.pubsubimport ReadFro

浏览 0提问于2018-08-25得票数 0

1回答

'_InvalidUnpickledPCollection‘对象没有属性’窗口‘

apache-beam

我正在尝试用Apache创建一个管道，第一步是通过取输入PCollection的平均值，然后用一个Map从平均值中减去每个元素，从而将输入时间序列中心设为0。但是，运行以下脚本将导致以下错误：import apache_beamas beamfrom apache_b

浏览 6提问于2022-08-01得票数 0

回答已采纳

1回答

使用DataFlowRunner时未实现波束/ DataFlow意外错误ProtocolMessageEnum

protocol-buffers、google-cloud-dataflow、apache-beam、dataflow

当在本地运行我的Beam管道时，它完全按预期工作，但是当尝试在DataflowRunner上运行它时，我突然得到下面的错误。老实说，我甚至不知道从哪里开始评估它，因为DataflowRunner似乎是一个黑匣子。(BeamUrns.java:27) at org.apache.beam.runners.core.construction.PTransformTranslation.at org.apache.beam.sdk.runne

浏览 0提问于2019-01-14得票数 1

1回答

在apache_beam中反序列化to记录的方法是什么？

python、tensorflow、google-cloud-dataflow

我在apache_beam中找到了专门用于tfrecords的io函数，这可以实现：classVerifyOutput(beam.DoFn): try: pcollection =(pipeline | ReadFromTFRecord(opt.input_path, compres

浏览 2提问于2017-09-19得票数 2

回答已采纳

1回答

使用p.run()函数时的Apache* Beam问题*

python、google-cloud-dataflow、apache-beam

我在我的Apache光束脚本中遇到了一个问题。目前，它仍然是一个草案，我正在DirectRunner上运行它。但我一直收到一个错误，这对我来说毫无意义。| 'Fix Nickname' >> beam.Map(add_nickname, n_tbl=beam.pvalue.AsList(nickname_tbl_ex), return_n=False)| 'Check Sponsor' >> beam.Map(check_pol, p_tbl

浏览 0提问于2018-10-30得票数 0

1回答

使用Kafka运行Apache梁时的依赖错误

maven、google-cloud-dataflow、apache-beam

当我使用Direct运行我的Apache代码时，我会得到以下错误： </dependency>

浏览 3提问于2020-03-16得票数 2

回答已采纳

2回答

当我将environment_type设置为“`PROCESS`”时，Beam* SDK线束仍然试图启动对接器*

apache-kafka、apache-beam

根据 "--environment_type=PROCESS", ] "secu

浏览 18提问于2022-06-02得票数 1

回答已采纳

1回答

将计时器设置为不同元素的不同定时器不会按预期触发。

java、apache-beam

我试图编写一个示例，展示定时器和状态如何在ApacheBeam中工作，并使用beam操场测试这段代码。然后我用这个KV运行一个statefulDoFn。对于可被2整除的数字，我已经将计时器设置为在x秒之后过期，对于可被3整除的数字，我设置为y秒。但是，测试没有在x和y秒之后打印它们。我在测试用例中遗漏了什么吗？org.apache.beam.sdk.values.PCollectionList; import org.apache.<

浏览 4提问于2022-07-20得票数 1

回答已采纳

点击加载更多