我正在运行Python数据流(beam 2.5)，并且想知道为什么在beam.Map(lambda x: x.decode('utf-8'))之后没有显示步骤度量。一切都很好，但是元素的数量消失了。 ? 如你所见，从这一点开始的数字是零。 我是不是漏掉了什么？
浏览 15提问于2019-02-09得票数 0
回答已采纳
我尝试在Google Cloud Dataflow中运行Apache光束管道(Python)，这是由Google Cloud Coomposer中的DAG触发的。)中，我设置了setup_file选项并将其传递给数据流： default_dag_args = { 'dataflow_default_options': {Google Cloud Composer (Ap
浏览 16提问于2020-01-13得票数 2
我正在尝试启动一个Dataflow flex模板。作为构建和部署过程的一部分，我正在预构建一个自定义SDK容器映像，以减少工人启动时间。数据流作业的权限，工人无法启动；没有工人activityWorkers无法安装requirements。当给定一个数据流时(预先安装了依赖项)，数据流作业就会启动，但是它不会在同一个作业上运行管道，而是尝试使用相同的名称为管道启动一个数据流作业，这会导致error.
浏览 15提问于2022-10-18得票数 1
我在使用从CircleCI启动的GCP Dataflow runner运行python Apache光束管道时遇到了严重的问题。基本上，我运行的是在数据流中运行并使用google-api-python-client-1.12.3的python Apache光束管道。如果我在我的机器(python3 main.py --runne
浏览 10提问于2020-10-13得票数 2
回答已采纳
在启动时，它从BigQuery读取大约10.000个元素/秒，过了很短的时间，它会慢到几百个元素/秒，然后完全挂起。在下一个处理步骤(BQImportAndCompute)上观察“添加的元素”，值会增加，然后再次减小。在我看来，有些已经加载的数据被删除，然后再次加载。堆栈驱动程序日志记录控制台包含包含java.lang.OutOfMemoryError的各种堆栈跟踪错误，例如：
错误报告工作项进度更新到数据流服务
浏览 3提问于2016-04-22得票数 4
4回答
我正在尝试遵循中的这个简单的数据流示例。
我已经成功地安装了数据流管道插件和gcloud SDK (以及Python2.7)。我还在谷歌云上建立了一个项目，并启用了账单和所有必要的API-正如上面的说明所指定的那样。at com.google.cloud.dataflow.sdk.repackaged.com.google.common.base.Preconditions.checkArgumen
浏览 0提问于2016-03-19得票数 7
一旦使用Python和DataflowRunner在Google的云数据流中设计和测试了Apache管道，那么在Google中使用它并管理其执行是一种方便的方法吗？什么是部署和管理的Python Beam管道执行的方便方法？最好没有第三方工具，或者在Google<
浏览 1提问于2019-01-27得票数 2
回答已采纳
根据<code>C0</code>和<code>C1</code>，Google数据流似乎在某种程度上支持有状态管道<code>A2</code><code>A3</code>
因此，我开
浏览 11提问于2019-03-29得票数 1
1回答
我正在用Python在Google平台上构建一个管道。我的数据在Cloud /Sub中。我想使用Dataflow将其存储到Bigtable中。到目前为止，我在java中有一些从Pub/Sub到Bigtable的流数据示例。有人能帮我提供一些资源或链接，介绍如何使用Python中的Dataflow将数据从Pub/Sub流流到Bigtable吗？
浏览 1提问于2017-08-23得票数 2
2回答
我需要从Cloud函数触发Cloud管道。但是云函数必须用Java编写。所以云函数的触发器是的Function /Create事件，也就是说，当一个文件上传到GCS桶中时，云函数必须触发云数据流。当我创建数据流管道(批处理)并执行该管道时，它将创建一个dataflow管道模板并创建一个Dataflow作业。;
import com.google.api.services.dataflow.Dataf
浏览 14提问于2020-08-21得票数 9
回答已采纳
我一直在用beam 2.27.0启动我的数据流flex工作流，它一直都很好 entrypoint: python - --runner=DataflowRunner - --region=$_/template/setup.py
浏览 3提问于2021-08-07得票数 0
回答已采纳
我正试图在google中构建python管道，而google云数据流似乎是一个不错的选择。当我研究文档和开发人员指南时，我发现apache梁总是附在数据流上，因为它是基于它的。我可能会在apache beam中找到处理我的数据文件的问题。
如果我想用DataFlow在原生python中构建我的ETL脚本，这可能吗？还是有必要用阿帕奇光束进行ETL
浏览 4提问于2021-08-23得票数 1
我想使用最新的google bigquery和dataflow sdk，它可用于python 2.7。我的管道设置如下：*setup(** version==0.28.0',** packa
浏览 1提问于2019-11-19得票数 0
我为自己设定了一个目标，仅使用Google解决MNIST皮肤癌数据集。我见过很多示例，它们如何将csv文件提供给它们的模型，但没有使用图像数据的示例。应该把所有的to记录复制到，这样我才能像这样将数据提供给我的模型吗？或者有什么更好的方法吗？
提前谢谢。
浏览 0提问于2019-01-11得票数 1
回答已采纳
2回答
但是，当我尝试在google数据流环境中运行它时，我只在本地控制台上看到这些日志信息，但是它们没有出现在Google控制台上，用于数据流作业，也没有出现在他们的StackDriver日志记录页面中。下面是我在本地控制台运行数据流运行程序代码时所做的工作： -Dexec.args但是，当我在浏览器上的<
浏览 1提问于2017-09-16得票数 7
回答已采纳
4回答
我只需要每天运行数据流管道，但在我看来，像这样需要构建整个web应用程序的解决方案似乎有点过了。我正考虑在Compute引擎Linux中运行来自cron作业的管道，但这可能太简单了:)。
浏览 11提问于2017-05-06得票数 18
回答已采纳
我正试图在DataflowRunner上测试我的数据流管道。我的代码总是在1小时1分钟被卡住，并说:数据流似乎被卡住了。在挖掘Dataflow堆栈驱动程序的堆栈跟踪时，我遇到了说Failed to install packages: failed to install workflow: exit status 1的错误from setuptools import setup, find_packages
浏览 0提问于2018-02-09得票数 4
回答已采纳
我使用带有模板的Google : CI服务器(连续集成)将模板部署到GCS，然后使用gcloud dataflow jobs run命令从该模板启动批处理作业。现在，在管道本身中，我想知道这个确切管道的启动时间(用于输出文件的名称)。
这种反思是否可以在光束/数据流中进行？是否有可能从作业本身的内部获取作业名称和作业启动时间？(也就是说，在Dataflow在VM上执行的代
浏览 0提问于2019-05-14得票数 0
我使用使用google云数据流服务已经有一段时间了。数据流管道
apache_beam.runners.dataflow.dataf
浏览 0提问于2018-05-07得票数 4
嗨，我有一个带有Foreach循环的管道，其中我有一个Dataflow任务，它在我设置的集成运行时上运行，有10分钟的生存时间。当我使用三个文件触发管道时(即Foreach中的Dataflow任务将执行三次)，我看到每个数据流执行的集群启动时间几乎相同(4-6分钟)。我认为使用10分钟TTL的IR将大大减少集群的启动时间(至少在第二次或第三次执行时)，但看起来并非
浏览 18提问于2021-04-02得票数 1
云服务器
ICP备案
云直播
对象存储
实时音视频
腾讯云开发者
