2回答
为了重现性，我希望能够构建包含数据流作业的jars，然后使用不同的参数运行它们(例如，通过不同的帐户提升它们)。这也将简化回滚，因为构建将是不可变的。如何从jar中直接运行数据流作业？
浏览 0提问于2017-04-26得票数 0
按照这里的说明，我无法使用wordcount示例创建自定义Google Cloud数据流模板：https://cloud.google.com/dataflow/docs/guides/templatesword_lengths_dist.result.mean)
logging.getLo
浏览 23提问于2019-04-08得票数 0
我创建了一个服务帐户，并将Dataflow developer角色、Compute角色和角色分配给临时桶。OUTBUCKET=outputbucket --input gs://dataflow-samples/shakespeare/kinglear.txt \
--output gs://$OUTBUCKET
浏览 1提问于2020-01-06得票数 0
我希望为我们的Dataflow作业建立一个适当的部署管道，允许对我们的作业的特定版本进行持续的交付和QA测试。有更好的方法来完成我想做的事吗？
浏览 0提问于2017-04-13得票数 2
回答已采纳
/latest/Stream_GCS_Text_to_Cloud_PubSub_metadata"gcloud dataflow jobs run template_test \--staging-location=gs:/my_bucketdependen
浏览 2提问于2020-04-24得票数 0
回答已采纳
1回答
我想要创建一个数据流作业模板，该模板接受GCS中的文件名，并将其发布到PubSub主题。我在链接上学习了教程，但这似乎不适合我。我的班级定义如下-import com.google.cloud.dataflow.sdk.io.PubsubIO;
import com.google.cloud</e
浏览 0提问于2017-02-01得票数 0
回答已采纳
在尝试运行eclipse中的Google cloud dataflow Wordcount示例时，这里引用了“更新层次结构”过程中发生内部错误。尝试为不存在PipelineOptions类型的Java项目“my Project name”创建TypeHierarchyPipelineOptionsHierarchy
根据下面的stackoverflow根据我对这个问题的研究，看起来google-cloud-dataflow<
浏览 16提问于2017-01-17得票数 1
回答已采纳
1回答
我想使用PYTHON执行模板。实际上，我一直在使用Dataflow REST API或Cloud Functions集成执行数据流模板。这是我在邮递员中的数据流模板执行：
网址： https://dataflow.googleapis.com/v1b3/projects/{{my-project-id}}/templates:launchgcsPath=gs://{{my-
浏览 0提问于2018-09-18得票数 2
回答已采纳
我试图使用以下代码从Python函数调用Dataflow flex模板：Traceback (most recent call last): File "/env/local/lib/python3.7/site-packages/google&
浏览 0提问于2020-10-23得票数 3
2回答
我的目标是创建一种机制，当一个新文件上传到云存储中时，它将触发一个云函数。最终，这个云函数将触发一个云数据流作业。在用Go编写的Cloud中，问题是Apache中没有定义template-location变量。这就是我不能创建数据流模板的原因。而且，由于没有数据流模板，我从云函数调用<e
浏览 0提问于2019-01-13得票数 4
回答已采纳
4回答
我正考虑在Compute引擎Linux中运行来自cron作业的管道，但这可能太简单了:)。这样做有什么问题，为什么没有人(我猜除了我)会建议这样做？
浏览 11提问于2017-05-06得票数 18
回答已采纳
我能够使用maven exec: WordCount命令使用DataflowPipelineRunner成功地运行DataflowPipelineRunner示例，该命令显示在文档中。但是，当我尝试在我自己的1.8VM中运行它时，它不起作用。/google-cloud-dataflow-java-examples-all-manual_build-A9j6W_hzOlq6PBrg1oSIAQ.jar|google-cloud-data
浏览 0提问于2014-12-24得票数 2
对于这种情况，我可以使用一个最小的Python代码示例，因为这似乎无法从Google平台或Apache文档中获得。如果能看到一些Python代码，我可以从执行以下操作的Datalab单元中运行这些代码，这将对我很有帮助。为了解决这个问题，我尝试使用Google和Apache文档中的单
浏览 0提问于2019-01-11得票数 0
回答已采纳
我试图在Python中对模块语音进行相对简单的导入。google-cloud-container==0.1.1google-cloud-dataflow==2.4.0
google-cloud-datastoreg
浏览 0提问于2018-06-18得票数 1
回答已采纳
我已经使用Apache光束为Google Cloud Dataflow创建了一个管道，但我不能在本地拥有Python依赖项。但是，远程安装这些依赖项是没有问题的。在我的本地(开发)环境中，有没有可能在不执行Python代码的情况下运行作业或创建模板？
浏览 1提问于2019-09-27得票数 0
2回答
我需要从Cloud函数触发Cloud管道。但是云函数必须用Java编写。所以云函数的触发器是的Function /Create事件，也就是说，当一个文件上传到GCS桶中时，云函数必须触发云数据流。当我创建数据流管道(批处理)并执行该管道时，它将创建一个dataflow管道模板并创建一个Dataflow作业。但是，当我在Java中创建一个云函数并上传一个文件时，状态只表示"ok&q
浏览 14提问于2020-08-21得票数 9
回答已采纳
我正在从google cloud composer运行Dataflow，该dataflow脚本包含一些非标准依赖项，如zeep、googleads。当我尝试在dag中运行它时，composer正在验证数据流文件并抱怨No module names Zeep , googleads。下面是我的代码库： task_id=PROCESS_TASK_ID,
python_callable
浏览 0提问于2019-03-05得票数 1
我想知道是否有可能有一个自定义的阿帕奇光束Python版本运行在谷歌数据流。在公共存储库中不可用的版本(在撰写本文时: 0.6.0和2.0.0)。但我还没有设法得到当前的Apache光束开发版本(或标记的版本)，该版本可在其官方存储库的主分支中获得，以便打包并将我的脚本发送到Google Dataflow。PiP处理的链接将是：git+https://github.com/apache/beam.git@v2.1.0-RC2#egg=apache_
浏览 16提问于2017-07-27得票数 4
回答已采纳
我们使用Dataflow Flex Templates (FROM gcr.io/dataflow-templates-base/python3-template-launcher-base:20210120_RC00)并将图像存储在我们自己的artifactory上，而不是google cloud Container Registry。在此之前，一切工作正常，但如果我运行dataflow flex模板，我会在创建启动器VM期间收到
浏览 15提问于2021-03-19得票数 0
4回答
我正在尝试遵循中的这个简单的数据流示例。 at com.google.cloud.dataflow.sdk.
浏览 0提问于2016-03-19得票数 7
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
腾讯会议
云直播活动推荐
腾讯云开发者
