当运行带有Python 3的Apache Beam v2.2.5时，我应该使用哪个版本的dill？
在运行带有Python 3的Apache Beam v2.2.5时，您应该使用dill的版本0.3.1。dill是一个Python库，用于序列化Python对象，它可以在Apache Beam中用于将数据在不同的节点之间传输和处理。
dill的主要优势是它可以序列化几乎所有的Python对象，包括函数、类、闭包等。相比于Python标准库中的pickle模块，dill提供了更高级的序列化功能，并且可以处理一些pickle无法处理的特殊对象。
在Apache Beam中，dill通常用于序列化用户自定义的函数，以便在分布式计算中进行传输和执行。通过使用dill，您可以方便地在Apache Beam中使用Python 3和自定义函数。
腾讯云提供了一系列与Apache Beam相关的产品和服务，例如腾讯云数据流计算（Tencent Cloud DataStream），它是一种大规模、低延迟的数据处理和分析服务，可以与Apache Beam集成使用。您可以通过以下链接了解更多关于腾讯云数据流计算的信息：https://cloud.tencent.com/product/ds。
请注意，本答案仅供参考，具体的版本兼容性和推荐版本可能会受到其他因素的影响，建议在实际使用中参考官方文档和社区支持。
相关·内容
3回答
当运行带有Python 3的Apache Beam v2.2.5时，我应该使用哪个版本的dill？
python-3.x、google-cloud-platform、google-cloud-dataflow、apache-beam、dill
我正在尝试使用Apache Beamv2.25和Python3.7运行一个数据流作业。在使用DirectRunner时，一切运行正常，但是当它试图从另一个私有Python模块调用函数时，作业会出错。_dill' from '/usr/local/lib/python3.7/site-packag
浏览 17提问于2020-11-20得票数 1
1回答
谷歌云DataFlow: ModuleNotFoundError:没有名为'main‘的模块
google-cloud-functions、google-cloud-dataflow、apache-beam
我正在尝试在云数据流上运行apache-beam管道。原来的函数已经被部署为云函数，它应该创建一个读取文本文件并插入到大型查询中的数据流作业。但它无法在数据流上运行。函数和误差如下所示。result = p.run()
浏览 20提问于2020-02-16得票数 2
2回答
从Cloud Function触发数据流作业时出现dill错误
python、google-cloud-functions、google-cloud-dataflow、google-cloud-pubsub、dill
它们也与错误无关，因为如果我从云外壳运行此代码，并使用argparse.ArgumentParser()传递参数，则此代码可以正常工作。)我尝试过的
假设我可以从云shell运行相同的管道，但使用参数解析器而不是指定选项，我认为所述选项的方式就是问题所在因此，我尝试了不同<
浏览 12提问于2020-09-22得票数 1
1回答
带有DataFlowRunner的Apache管道在从云函数部署时运行到_dill.py："ModuleNotFoundError:没有名为‘main’的模块
google-cloud-functions、google-cloud-dataflow、python-3.7、apache-beam、dill
我正在尝试使用Python从GCP上的云函数执行数据流管道。在使用DataFlowRunner的笔记本服务器上测试代码。但是，当使用云函数调用管道时，我得到以下信息：Traceback (most recent call last): File "/env/local/lib/python3.7/site-packagesFile
浏览 2提问于2020-03-10得票数 0
回答已采纳
2回答
使用Apache光束notebooks启动数据流作业时处理名称错误
google-cloud-platform、jupyter-notebook、google-cloud-dataflow、apache-beam
当我在Google Cloud Platform的网站上运行the example notebook Dataflow_Word_count.ipynb时，我可以使用Apache Beam notebooks| "lower_count" >> beam.combiners.Count.PerElement() 如果我使用一个新函数重构提取单词的部分，如下所示 def
浏览 23提问于2020-10-05得票数 0
回答已采纳
1回答
在上部署Google DataFlow作业时出错
python、google-app-engine、google-cloud-dataflow、apache-beam
(从继续)我在管道/script.py文件夹中有一个DataFlow脚本(用python编写)。在本地(使用Apache DirectRunner)或在google (使用DataFlowRunner)上运行此脚本可以正常工作。但是，当将作业部署到应用程序引擎上定期运行它时，
浏览 2提问于2017-10-18得票数 1
回答已采纳
1回答
Python :在数据流工作者上没有名为*的模块
python、python-2.7、google-cloud-dataflow、apache-beam
摘要:一些本地包可以工作，而有些则不能-setup.py
-app/main.py
-package1，通过使用python -m app.main：
apache_beam<
浏览 0提问于2018-09-27得票数 2
1回答
在Python数据流中没有名为“sentry_sdk”的模块由地形上传
python、google-cloud-dataflow、sentry
我正在上传GCP数据流与地形。我的terraform构建、部署和运行数据流 provisioner "local-exec" {
command= "python3 -m venv venv && venv/bin/pip install wheel 'apache
浏览 8提问于2022-10-26得票数 0
回答已采纳
2回答
ImportError:在云DataFlow上运行我的代码时，没有名为ViewCopg2.Extensions的模块
python、postgresql、google-cloud-platform、google-cloud-dataflow
您好，我正在尝试从cloud shell运行我的云数据流代码，我使用以下代码import argparseimport apache_beam as beamfrom apache_
浏览 1提问于2018-09-21得票数 1
4回答
GCP数据流与python。"AttributeError:无法在模块'dataflow_worker.start‘上获得属性'_JsonSink’
python、json、google-cloud-platform、google-cloud-dataflow
我是GCP数据流的新手。
我尝试将文本文件(一行JSON字符串)从GCP云存储中读取为JSON格式，然后根据特定字段的值将其拆分并输出到GCP云存储(作为JSON字符串文本文件)。File "C:\ProgramData\Miniconda3\lib\site-packages\apache_beam\runners\dataflow\dataflow_runner.py",/site-packages/apache</e
浏览 6提问于2019-10-16得票数 5
2回答
在数据实验室上安装tensorflow_transform和apache_beam
tensorflow、google-cloud-platform、apache-beam、google-cloud-datalab、tensorflow-transform
我正在复习谷歌云Coursera课程中的这些示例，尽管它们直到几周前还有效，但我不能再在Datalab上安装tf.transform或apache_beam。在安装tensorflow_transform时，我得到以下错误：pip install --upgrade --force tensorflow_transform==0.6.0
twistedapache-airflow 1.9.0有bleach==2.1.2需求，但你会有不兼容的</e
浏览 23提问于2018-08-29得票数 0
1回答
Google Python云-数据流实例在没有新部署的情况下中断(失败的pubsub导入)
python、pip、google-cloud-dataflow、google-cloud-pubsub、requirements.txt
我最后一次部署是2018年5月3日。纵观日志，我发现2018年5月22日，我的一份工作开始失败。作业失败，导致堆栈跟踪导致错误导入，如下所示。/local/lib/python2.7/dist-packages/apache_beam/internal/pickler.py", line 225, in loads
return dill.load
浏览 1提问于2018-06-06得票数 1
1回答
导入apache_beam元类冲突
python-2.7、google-cloud-dataflow、apache-beam
from apache_beam import io
File "/home/toor/pfff/local/lib/python2.7/site-packages/apache_beam/io/_，在这个环境中，我通过安装带有pip的google数据流来安装apache_beam，因为我</em
浏览 1提问于2017-09-19得票数 12
回答已采纳
1回答
Conda UnsatisfiableError即使看起来没有任何冲突
python、conda、apple-m1、conda-forge、mini-forge
下面是我尝试相应地创建环境时的输出Collecting package metadata (repodata.jsonconflicts for:
apache-beam==2.31.0 -> crcmod[version='>=1.7,<2.0'] -> python[version='3.8.*|>=2.7|>=<
浏览 4提问于2021-10-28得票数 1
1回答
ImportError:运行数据流作业时没有名为language_v1.gapic的模块
python、python-2.7、nlp、google-cloud-dataflow、apache-beam
我正在构建数据流作业，以从云存储获取数据，并将其传递给NLP API以执行情绪分析，并将结果导入到BigQuery 作业在本地成功运行(我没有使用数据流运行器) import apache_beam()
main() 这是我得到的错误，我试图导入不同版本的Google Cloud语言，但我所有的尝
浏览 27提问于2019-08-14得票数 0
回答已采纳
1回答
tensorflow数据验证tfdv在google云数据流上失败，“无法获得属性'NumExamplesStatsGenerator‘”
tensorflow、google-cloud-platform、google-cloud-dataflow、apache-beam、tensorflow-data-validation
我正在遵循 "get started“tensorflow教程，介绍如何在google数据流上的apache上运行tfdv。我的代码非常类似于本教程中的代码：from apache_beam.options.pipeline_options/apache_beam/internal&#
浏览 7提问于2022-03-17得票数 0
回答已采纳
1回答
提交作业时出现数据流酸洗错误
python、google-cloud-dataflow、pickle、apache-beam
我在向GCP DataFlow提交apache-beam作业时遇到了这个奇怪的问题。有时代码运行得很好，执行也很成功。但是，当我尝试提交相同的作业时，偶尔会遇到以下与酸洗相关的错误(没有代码更改)。/apache_beam/internal/pickler.py", line 261, in loads
return dill.loa
浏览 13提问于2019-12-19得票数 2
1回答
Dataflow中的自定义Apache Beam Python版本
python、google-cloud-dataflow、apache-beam
我想知道是否有可能有一个自定义的阿帕奇光束Python版本运行在谷歌数据流。在公共存储库中不可用的版本(在撰写本文时: 0.6.0和2.0.0)。例如，来自Apache Beam官方存储库的HEAD版本，或与此相关的特定标签。
我知道打包定制包(例如私有的本地包)的可能性，正如官方中所描述的那样。这里有关于如何
浏览 16提问于2017-07-27得票数 4
回答已采纳
3回答
导入错误: ApacheBeam上没有名为'google.cloud‘的模块
python、google-cloud-datastore、google-cloud-dataflow
我在导入apache beam的google数据存储api.I时遇到导入错误。我在我的Windows10 64位系统上安装了Python3的一个版本。 有人能帮帮我吗？我试过解决它，但我做不到 # -*- coding: utf-8 -*-from <em
浏览 8提问于2020-01-16得票数 0
回答已采纳
1回答
GCP数据流: ImportError:没有名为IPython.core的模块
python、python-2.7、google-cloud-dataflow、importerror
我刚开始谈梁/数据流。我阅读了文档，运行了示例，现在我正在对示例脚本进行小编辑，以查看是否可以应用我所读的内容。我对“最小字数”脚本做了一个小编辑-见下文。(我删除了GCP的信息。)当我使用DirectRunner运行它时，它运行良好，并将结果上传到我的GCP云存储桶。我知道这意味着缺少一个模块，但我不知道如何
浏览 1提问于2018-03-21得票数 0
云服务器
ICP备案
对象存储
实时音视频
即时通信 IM
腾讯云开发者
