我的Google Dataflow作业使用本地运行器在本地运行，但无法使用DataflowRunner构建用于运行管道的包。我仍然面临着无法调试包设置的问题，因为Dataflow构建其容器的确切方式相当不透明。 我的问题与我的setup.py无关，否则sdist构建将无法正常工作。Dataflow的Docker镜像构建过程与dataflow.gcr.io/v1beta3/python:2.6.0不
浏览 14提问于2019-04-17得票数 1
我的代码总是在1小时1分钟被卡住，并说:数据流似乎被卡住了。在挖掘Dataflow堆栈驱动程序的堆栈跟踪时，我遇到了说Failed to install packages: failed to install workflow: exit status 1的错误from setuptools import setup, find_packages
'numpy==1.14.0',
'google-c
浏览 0提问于2018-02-09得票数 4
回答已采纳
1回答
根据，可以通过将名称指定为custom-<number of cpus>-<memory in mb>来设置数据流操作的自定义机器类型
"(4092fe7df5a10577)：无法创建工作流如果仍然无法<
浏览 1提问于2017-07-20得票数 1
回答已采纳
1回答
我正在尝试运行来自google云函数的管道。不幸的是，我无法通过我找到的所有示例的第一行。我安装了google apis：这是我现在尝试运行的代码：constdataflow = google.dataflow('v1b3');c
浏览 9提问于2018-02-28得票数 0
回答已采纳
2回答
我试图在Google平台中作为数据流作业执行apache管道。', install_requires=[ "google-cloud-pubsub>=0.1.0", "google</e
浏览 1提问于2021-09-17得票数 1
回答已采纳
我在错误消息中看不到任何指示它无法创建VM的原因。下面的错误消息是在DataFlow web控制台的日志“标签”下找到的。我在任何地方都找不到更多细节或任何其他错误。2016年3月23日下午1:07:09 (d408c858b9bd6602)：工作流失败。原因：(7bc822af77dd216)：无法创建VM。content/groups/staging/</url>
<dependencie
浏览 0提问于2016-03-24得票数 1
浏览了文档之后，我的印象是worker运行一个特定的预定义Python2.7环境，而没有任何选项来更改它。是否可以为工作人员提供自定义VM映像(由特定应用程序需要的库、外部命令构建)。在Gcloud Dataflow上运行Python 3是可能的吗？
浏览 0提问于2018-02-14得票数 5
回答已采纳
最近，由于无法找到要加载到Big中的json文件，Dataflow作业失败了。我的理解是，json文件是由Dataflow生成的，这是一个意外的状态。2015年10月26日，下午3:13:32 S15：(1c654a773802760a)：工作流失败。原因：(1c654a773802735f)：BigQuery导入作业"dataflow_job_11909924374132686736“失败。原因：(1c654a773802
浏览 4提问于2015-10-27得票数 1
我试图使用以下代码从Python函数调用Dataflow flex模板：request = dataflow.projects().templates().launch( gcsPath=template(event_objec
浏览 0提问于2020-10-23得票数 3
为了检测JSON消息的字段何时发生变化，我在流python管道中使用有状态处理。当使用DirectRunner运行时，它工作得很好，但是使用DataflowRunner，我得到了一个“工作流失败”。使用有状态处理的函数： BAG_SPEC: BagStateSpec = BagStateSpec('changes', StrUtf8Coder/log_type: "system"
datafl
浏览 5提问于2021-06-16得票数 1
回答已采纳
我正在从google cloud composer运行Dataflow，该dataflow脚本包含一些非标准依赖项，如zeep、googleads。它们需要安装在数据流工作节点上，所以我用setup.py将它们打包。因此，我创建了pythonvirtualenvoperator，并安装了所有需要的非标准依赖项，并尝试运行数据流作业，但它仍然抱怨导入zeep和googleads。下面是我的代码库： task_id=PROCE
浏览 0提问于2019-03-05得票数 1
sample.sh
Using cached google-cloud-dataflow-0.4.4.zip
Saved /tmp/tmpSoHiTi/google-clo
浏览 3提问于2017-01-14得票数 2
回答已采纳
我想使用最新的google bigquery和dataflow sdk，它可用于python 2.7。* keywords=[** license="Apache Software License",** 'google-cloud-bigquery/setup.py"
环境:数据流视图上的
浏览 1提问于2019-11-19得票数 0
我尝试使用"python setup.py install“在linux上安装conpot。但它失败了。错误信息无法执行'i586-linux-gnu-gcc'：没有这样的文件或目录错误:安装脚本退出，错误:命令'i586-linux-gnu-gcc‘退出失败，退出状态为1如何解决？
浏览 4提问于2016-02-26得票数 0
"/usr/local/lib/python2.7/dist-packages/google/cloud/pubsub.py", line 17, in <module>>>
浏览 1提问于2018-06-06得票数 1
我正在按照这个来创建一个数据流管道https://codelabs.developers.google.com/codelabs/modern-data-pipeline-firestore-bigquery-dataflow-templates我收到此错误消息：“工作流失败。原因: Project XXXX配额不足，无法在区域us-Causes 1中使用1个实例执行此工作流。配额摘要(必需/可用)：1
浏览 21提问于2020-09-28得票数 1
4回答
我只需要每天运行数据流管道，但在我看来，像这样需要构建整个web应用程序的解决方案似乎有点过了。我正考虑在Compute引擎Linux中运行来自cron作业的管道，但这可能太简单了:)。这样做有什么问题，为什么没有人(我猜除了我)会建议这样做？
浏览 11提问于2017-05-06得票数 18
回答已采纳
1回答
无法在Python3.8.8中安装HTTP模块。
警告:丢弃 (来自)。退出状态1错误的命令: python setup.py egg_info检查日志以获得完整的命令输出。
浏览 9提问于2021-12-12得票数 1
目前希望在一个巨大的数据集上分发Google Dataflow上的文本检测。我使用的是tesseract的python包，安装时没有问题。安装tesseract-ocr程序包时出现问题。它看起来像是在安装一个旧版本的tesseract-ocr。 我已经尝试将版本号添加到包中，或者通过tar.gz文件进行安装。我还尝试使用ppa-alex-p包管理器。'],
['pip', 'install', 'pyt
浏览 34提问于2019-05-10得票数 0
根据<code>C0</code>和<code>C1</code>，Google数据流似乎在某种程度上支持有状态管道<code>A2</code><code>A3</code>
因此，我开始不确定是否Dataflow不支持使
浏览 11提问于2019-03-29得票数 1
云服务器
ICP备案
云直播
对象存储
实时音视频
腾讯云开发者
