开发者社区

文档建议反馈控制台

文章/答案/技术大牛

发布

社区首页 >问答首页 >使用DataFlowRunner时未实现波束/ DataFlow意外错误ProtocolMessageEnum

问使用DataFlowRunner时未实现波束/ DataFlow意外错误ProtocolMessageEnum
EN

Stack Overflow用户

提问于 2019-01-14 10:58:21

回答 1查看 1.1K关注 0票数 1

当在本地运行我的Beam管道时，它完全按预期工作，但是当尝试在DataflowRunner上运行它时，我突然得到下面的错误。老实说，我甚至不知道从哪里开始评估它，因为DataflowRunner似乎是一个黑匣子。

Jan 14, 2019 11:26:51 AM org.apache.beam.runners.dataflow.DataflowRunner fromOptions
INFO: PipelineOptions.filesToStage was not specified. Defaulting to files from the classpath: will stage 165 files. Enable logging at DEBUG level to see which files will be staged.
Exception in thread "main" java.lang.IncompatibleClassChangeError: Class org.apache.beam.model.pipeline.v1.RunnerApi$StandardPTransforms$Primitives does not implement the requested interface com.google.protobuf.ProtocolMessageEnum
        at org.apache.beam.runners.core.construction.BeamUrns.getUrn(BeamUrns.java:27)
        at org.apache.beam.runners.core.construction.PTransformTranslation.<clinit>(PTransformTranslation.java:58)
        at org.apache.beam.runners.core.construction.UnconsumedReads$1.visitValue(UnconsumedReads.java:49)
        at org.apache.beam.sdk.runners.TransformHierarchy$Node.visit(TransformHierarchy.java:666)
        at org.apache.beam.sdk.runners.TransformHierarchy$Node.visit(TransformHierarchy.java:649)
        at org.apache.beam.sdk.runners.TransformHierarchy$Node.visit(TransformHierarchy.java:649)
        at org.apache.beam.sdk.runners.TransformHierarchy$Node.visit(TransformHierarchy.java:649)
        at org.apache.beam.sdk.runners.TransformHierarchy$Node.access$600(TransformHierarchy.java:311)
        at org.apache.beam.sdk.runners.TransformHierarchy.visit(TransformHierarchy.java:245)
        at org.apache.beam.sdk.Pipeline.traverseTopologically(Pipeline.java:458)
        at org.apache.beam.runners.core.construction.UnconsumedReads.ensureAllReadsConsumed(UnconsumedReads.java:40)
        at org.apache.beam.runners.dataflow.DataflowRunner.replaceTransforms(DataflowRunner.java:868)
        at org.apache.beam.runners.dataflow.DataflowRunner.run(DataflowRunner.java:660)
        at org.apache.beam.runners.dataflow.DataflowRunner.run(DataflowRunner.java:173)
        at org.apache.beam.sdk.Pipeline.run(Pipeline.java:313)
        at org.apache.beam.sdk.Pipeline.run(Pipeline.java:299)
        at (my code: pipe.run().waitUntilFinish();)

google-cloud-dataflow

protocol-buffers

EN

回答 1

Stack Overflow用户

发布于 2019-02-11 16:13:05

检查beam等的版本，并在可能的情况下升级依赖项。

我也有同样的错误，在看到你得到这个错误后，我认为这一定是一个依赖冲突，因为它以前不存在。

我使用scio来部署到数据流，只是引用了他们正在使用的内容。我还更新了芭乐和https://github.com/spotify/scio/blob/v0.7.1/build.sbt。

我知道你用的是java，但是试着把beam更新到2.9.0，也许还有芭乐，protobuf...

票数 0

EN

页面原文内容由Stack Overflow提供。腾讯云小微IT领域专用引擎提供翻译支持

原文链接：

https://stackoverflow.com/questions/54180175

复制

相关文章

Python中对错误NameError: name ‘xxx‘ is not defined进行总结

最近在使用python过重遇到这个问题，NameError: name 'xxx' is not defined，在学习python或者在使用python的过程中这个问题大家肯定都遇到过，在这里我就这个问题总结以下几种情况：

奈何缘浅wyj

2021/01/26

124.5K0

Python中对错误NameError: name ‘xxx‘ is not defined进行总结

Python中的用户定义异常与NZEC错误

当代码出错时，Python会引发错误和异常，这可能导致程序突然停止。Python还通过try-except提供了异常处理方法。一些最常见的标准异常包括IndexError，ImportError，IOError，ZeroDivisionError，TypeError和FileNotFoundError。用户可以使用异常类创建自己的错误。

用户7466307

2020/07/09

1.6K0

Python中的用户定义异常与NZEC错误

python 编码测试程序异常

当代码出错时，Python会引发错误和异常，这可能导致程序突然停止。Python还通过try-except提供了异常处理方法。一些最常见的标准异常包括IndexError，ImportError，IOError，ZeroDivisionError，TypeError和FileNotFoundError。用户可以使用异常类创建自己的错误。

用户8460142

2023/07/07

1720

Python中的用户定义异常与NZEC错误

Python中的用户定义异常与NZEC错误

当代码出错时，Python会引发错误和异常，这可能导致程序突然停止。Python还通过try-except提供了异常处理方法。一些最常见的标准异常包括IndexError，ImportError，IOError，ZeroDivisionError，TypeError和FileNotFoundError。用户可以使用异常类创建自己的错误。

PHP开发工程师

2021/04/21

1.6K0

Python用户定义类实现

class Worker: def init(self, name, pay): self.name = name self.pay = pay def lastName(self): return self.name.split( )[-1] def giveRaise(self, percent): self.pay *= (1.0 + percent ) bob = Worker('A', 5

用户7705674

2021/11/01

5310

Python用户定义类实现

class Worker: def init(self, name, pay): self.name = name self.pay = pay def lastName(self): return self.name.split( )[-1] def giveRaise(self, percent): self.pay *= (1.0 + percent ) bob = Worker('A', 50

用户7718188

2021/11/03

6380

Python用户定义类实现

Python用户定义类实现 class Worker: def init(self, name, pay): self.name = name self.pay = pay def lastName(self): return self.name.split( )[-1] def giveRaise(self, percent): self.pay *= (1.0 + percent ) bob =

用户7365393

2021/11/02

5240

Python 解决：NameError: name ‘reload’ is not defined 问题

python java 编程算法 https

参考网站： Reloading module giving NameError: name ‘reload’ is not defined http://stackoverflow.com/questions/961162/reloading-module-giving-nameerror-name-reload-is-not-defined

全栈程序员站长

2022/07/07

1.1K0

git 配置本地用户名称和邮件名称

很多次配置git用户名和邮箱了，总是会忘记，然后在网络上搜索，今天进行记录下来，防止遗忘：

西湖醋鱼

2020/12/30

2.3K0

NameError: name 'CreateSparkContext' is not defined

可能是由于对齐问题，主程序使用空格，而函数定义使用了Tab，两个看起来一样，实际上不一样。

迷乐

2020/11/22

1.3K0

使用VBA在工作表中列出所有定义的名称

有时候，工作簿中可能有大量的命名区域。然而，如果名称太多，虽然有名称管理器，可能名称的命名也有清晰的含义，但查阅起来仍然不是很方便，特别是想要知道名称引用的区域时，如果经常要打开名称管理器查找命名区域，会非常麻烦，也浪费时间。

fanjy

2022/11/16

6.6K0

完美解决丨#在python中，如果引用的变量未定义，则会报告NameError: name ‘变量名‘ is not defined。

nameerror 变量解决方案索引异常

在python中，如果引用的变量未定义，则会报告NameError: name '变量名' is not defined。

不吃西红柿

2023/04/21

2.9K0

golang预定义的系统名称

Golang syslist Golang预定义的OS列表 aix android darwin dragonfly freebsd hurd js linux nacl netbsd openbsd plan9 solaris windows zos Golang预定义的Arch(架构)列表 386 amd64 amd64p32 arm armbe arm64 arm64be ppc64 ppc64le mips mipsle mips64 mips64le mips64p32 mips64p32le p

老高的技术博客

2022/12/28

8160

如何批量导入名称没有规律的图片

大家在使用条码标签软件制作标签时，会遇到批量导入图片的情况，比如制作产品标签时需要放上产品图片，工作证或者学生证要放上证件照片，而且图片和内容要一一对应，不能搞错。图片一般都按照有规律的序列号命名，但是也有时没有规律，比如证件照片可能是按照姓名来命名的。下面我们就用一个例子详细介绍如何批量导入这样的图片。

神奇像素科技

2021/12/17

1.2K0

如何批量导入名称没有规律的图片

关于“NameError: name '

代码如图在运行python脚本时报出“NameError: name 'raw_input' is not defined”错误查看当前使用的python版本修改代码，python3不再支

py3study

2020/01/10

9370

NameError: name 'reduce' is not defined

原来自 Python3 之后，这个函数从全局命名空间中移除，放在了 functools模块，因为如果想正确执行，必须这样

大江小浪

2018/09/19

1.4K0

webpack中动态import()打包后的文件名称定义

webpack 打包 javascript 编程算法

动态import()打包出来文件的name是按照0,1,2...依次排列，如0.js、1.js等，有的时候我们希望打包出来的文件名是打包前的文件名称。要实现这，需要经历3个步骤： 1.在webpack配置文件中的output中添加chunkFilename。命名规则根据自己的项目来定，其中[name]就是文件名，这一块更详细的说明请点击这里。

kai666666

2020/10/18

2.8K0

【错误记录】执行 Python 程序报错 ( NameError: name ‘reload‘ is not defined )

python nameerror 程序脚本解决方案

在 Windows 的 cmd 命令行运行 python 脚本时 , 报如下错误 :

韩曙亮

2023/03/29

1.3K0

【错误记录】执行 Python 程序报错 ( NameError: name ‘reload‘ is not defined )

完美解决丨except NameError:

python nameerror 变量函数原理

当出现报错的时候，可以使用如上的方法来解决该问题，第一种和第三种方法是使用 try/except 来捕获错误，第二种方法是使用 locals() 函数来检查变量是否存在。

不吃西红柿

2023/04/21

3500

点击加载更多

相似问题

如何使用GitLab管道部署Azure资源？

12

Firebase测试实验室是否支持XCUITests？

15

Gitlab管道: Firebase deploy 403

10

Gitlab是否有任何api来编辑现有标签上的发布说明？

17

是否有任何moodle来获取测试数据？

113

添加站长进交流群

领取专属 10元无门槛券

AI混元助手 在线答疑

关注 腾讯云开发者公众号

洞察 腾讯核心技术

剖析业界实践案例