腾讯云
开发者社区
文档
建议反馈
控制台
首页
学习
活动
专区
工具
TVP
最新优惠活动
文章/答案/技术大牛
搜索
搜索
关闭
发布
登录/注册
精选内容/技术社群/优惠产品,
尽在小程序
立即前往
文章
问答
(597)
视频
沙龙
1
回答
波束
/
数据流
自定义
Python
作业
-
云
存储
到
PubSub
python
、
google-cloud-storage
、
apache-beam
、
google-cloud-pubsub
、
dataflow
我需要对一些数据执行一个非常简单的转换(从JSON中提取一个字符串),然后将其写入
PubSub
-我正尝试使用一个
自定义
的
python
Dataflow
作业
来完成此操作。我已经写了一个
作业
,它成功地写回了
云
存储
,但我尝试写回
PubSub
(无转换)的最简单尝试都会导致错误:JOB_MESSAGE_ERROR: Workflow failed.有没有人成功地通过
数据流
从GCS写入
PubSub
? 有人能解释一下这里出了什
浏览 21
提问于2019-07-03
得票数 4
回答已采纳
0
回答
Google Dataflow -调度
google-cloud-platform
、
google-cloud-dataflow
、
dataflow
在谷歌
云
平台-
数据流
中,当流式传输未绑定的PCollection (比如使用PubSubIO的
PubSub
主题)时,有没有一种有效的方法来启动和停止
数据流
中的
波束
管道?(示例在一天开始时运行,在一天结束时结束)是让调度程序拥有Cron App engine服务并启动上面的管道
作业
然后停止该
作业
的唯一方法吗?只是看看有没有其他的选择。另外,如果我为无界PCollection选择窗口(比如从
PubSub
),有没有办法把文件写到一个可配置的目录中呢?每个窗口
浏览 8
提问于2018-07-14
得票数 3
回答已采纳
3
回答
创建主题公共订阅失败,错误:未授权用户执行此操作
java
、
google-cloud-dataflow
、
google-cloud-pubsub
当我尝试使用服务帐户部署
数据流
作业
时,它会失败,并出现以下错误: 工作流失败。
浏览 0
提问于2019-05-31
得票数 1
回答已采纳
4
回答
调度
作业
的最简单方法
google-cloud-dataflow
我只需要每天运行
数据流
管道,但在我看来,像这样需要构建整个web应用程序的解决方案似乎有点过了。我正考虑在Compute引擎Linux中运行来自cron
作业
的管道,但这可能太简单了:)。
浏览 11
提问于2017-05-06
得票数 18
回答已采纳
1
回答
如何通过谷歌提供的
PubSub
to BigQuery
数据流
模板使用现有的
PubSub
订阅
google-cloud-dataflow
、
google-cloud-pubsub
我正在尝试使用谷歌提供的模板
PubSub
to BigQuery设置一个
数据流
作业
。我看到一个用于指定
云
发布/订阅输入主题的选项,但我没有看到任何用于在GCP控制台UI中指定发布/订阅输入订阅的选项。在我的工作中,我没有任何复杂的转换要做
浏览 3
提问于2018-01-12
得票数 3
回答已采纳
1
回答
从谷歌
云
存储
下载数据的更好方法?
google-cloud-platform
、
google-cloud-storage
、
google-cloud-pubsub
我正在尝试使用类似于本文末尾详细介绍的apache
数据流
管道:<code>C0</code>。我尝试下载的goes-16数据集是:<code>C1</code>。因此,我可以创建一个pub/sub主题并将文本
数据流
式传输到我的pub/sub主题,然后使用apache stream从pub/sub主题下载,但这对我来说似乎是一种倒退。有没有一种方法可以让我在更新时直接使用apache-
pubsub
从
云
存储
桶中下
浏览 21
提问于2020-08-06
得票数 0
2
回答
如何使用Google Pub/Sub与Google Dataflow/Beam一起使用
Python
?
python
、
google-cloud-dataflow
、
google-cloud-pubsub
然后,使用Beam/Dataflow,我需要将数据输入
到
PCollection中。我怎样才能做到这一点?
浏览 0
提问于2018-03-15
得票数 0
回答已采纳
2
回答
如何从GCP中的
云
函数调用用Go编写的
数据流
作业
python
、
go
、
google-cloud-functions
、
google-cloud-dataflow
、
apache-beam
我的目标是创建一种机制,当一个新文件上传到
云
存储
中时,它将触发一个
云
函数。最终,这个
云
函数将触发一个
云
数据流
作业
。在用Go编写的Cloud中,问题是Apache中没有定义template-location变量。这就是
浏览 0
提问于2019-01-13
得票数 4
回答已采纳
1
回答
如何从GCP中的
云
函数调用用
Python
(3.x)编写的
数据流
作业
google-cloud-functions
、
google-cloud-dataflow
我的目标是创建一种机制,当新文件上传到
云
存储
中时,它将触发
云
函数。最终,此Cloud function将触发Cloud Dataflow
作业
。我有一个限制,
云
数据流
作业
应该用
Python
编写,
云
函数也应该用
Python
编写。我现在面临的问题是,我不能从Cloud Function调用Cloud Dataflow
作业
。
浏览 1
提问于2019-08-30
得票数 1
1
回答
监视工作或识别数据管道中的瓶颈
google-cloud-platform
、
google-cloud-dataflow
、
apache-beam
我正在使用谷歌
云
数据。我的一些数据管道需要优化。我需要了解工作人员是如何在这些行的
数据流
集群中执行任务的。1.使用了多少内存?目前,我正在使用java代码记录内存使用情况。2.磁盘操作是否存在瓶颈?
浏览 0
提问于2018-05-09
得票数 0
回答已采纳
1
回答
人工智能平台预测
存储
桶触发器
google-cloud-platform
、
google-cloud-firestore
、
google-cloud-storage
、
google-ai-platform
当用户在我的ios应用程序上选择一个图像时,我希望该图像上传到一个
存储
桶中,在该图像上运行我的tf模型--输出另一个图像,然后将这个输出图像保存到
云
桶中。我应该在上传到
存储
桶时使用带有触发器的
云
函数,然后从
云
函数调用我的ai平台预测模型,然后使用
云
函数保存输出映像吗? 或者我是否可以跳过
云
函数,只使用ai平台预测和
自定义
预测例程。然后在后处理中上传输出图像到我的
存储
桶。我不确定我能不能从上传到
存储
桶中触发ai平台预测
浏览 3
提问于2021-04-10
得票数 0
回答已采纳
1
回答
我想通过
pubsub
批量处理文件
到
google
云
存储
中
google-cloud-pubsub
我需要使用
python
脚本通过
pubsub
将文件批处理/流式传输到google
云
存储
中。我已经使用了下面的
python
文件,能够看到从topic发布
到
订阅的消息,现在我想将这些单独的消息上传到一个文件中,需要加载到
云
存储
中。你能建议我们在哪里可以修改以下脚本中的代码,将消息数据作为文件加载到
云
存储
中(批量处理单个消息) 在path下面我们有
python
脚本:
python
浏览 1
提问于2018-04-20
得票数 0
1
回答
数据流
作业
GCS
到
Pub/sub最大批次大小
google-cloud-platform
、
google-cloud-storage
、
google-cloud-pubsub
、
google-dataflow
我将默认的
数据流
模板GCS用于Pub/Sub。
云
存储
中的输入文件大小为300 of,每一行有2-3百万行。启动
数据流
批处理
作业
时,会引发以下错误 提前谢谢你的帮助。
浏览 6
提问于2020-08-26
得票数 1
2
回答
如何通过运行Google Compute Engine cron
作业
来调度
数据流
作业
google-app-engine
、
cron
、
google-compute-engine
、
apache-beam
、
dataflow
在Dataflow FAQ中,列出了在计算引擎上运行
自定义
(cron)
作业
进程是调度
数据流
管道的一种方法。我搞不懂到底该怎么做:如何在计算引擎上启动
数据流
作业
和启动cron
作业
。 谢谢!
浏览 29
提问于2020-08-19
得票数 1
回答已采纳
1
回答
谷歌
云
数据流
:在
PubSub
流模式下,TextIO.Read使用大量的vCPU时间
streaming
、
google-cloud-platform
、
google-cloud-dataflow
、
google-cloud-pubsub
管道看起来像这样:PCollection<String
浏览 8
提问于2017-03-14
得票数 0
3
回答
Google Dataflow和
Pubsub
-无法实现精确的一次交付。
google-cloud-platform
、
google-cloud-dataflow
、
apache-beam
、
google-cloud-pubsub
用例非常简单: .to(1000000)“归档”
数据流
作业
从我想测试一下“负面”的情况: “归档”
数据流
作业
开始工作,但我在处理过程中停
浏览 1
提问于2018-09-20
得票数 2
1
回答
Apache / Google
数据流
-将数据从导出到
云
存储
中的文件
google-app-engine
、
google-cloud-datastore
、
google-cloud-storage
、
google-cloud-dataflow
、
google-cloud-pubsub
每个用户都为文件报告选择过滤器,我的应用程序应该在
云
存储
中生成一个文件,并发送一个带有生成的文件链接的通知。
浏览 1
提问于2018-12-11
得票数 0
1
回答
数据流
管道将整个GCS纯文本文件内容、路径和创建时间加载到
PubSub
json格式的消息中。
java
、
python
、
google-cloud-dataflow
、
apache-beam
我有一个非常具体的需求,就是使用
云
数据流
将数亿个纯文本文件从GCS
存储
桶中读取到
云
PubSub
中。我需要在一条消息中包含文件的全部内容,但我能找到的唯一示例只能逐行读取文件,如CSV或JSON。
pubsub
消息还应该包含GCS对象的完整路径和GCS对象的“创建时间”。
PubSub
消息格式应与以下内容类似: { "g
浏览 11
提问于2021-04-04
得票数 0
2
回答
从
云
函数启动
数据流
作业
- ModuleNotFoundError:没有名为“google.cloud.functions”的模块
python
、
google-cloud-platform
、
google-cloud-functions
、
apache-beam
、
dataflow
这就是我所执行的逻辑:每当一个新文件上传到桶中时,
PubSub
主题就会发布消息然后,CloudFunction侦听有关该主题的订阅,并启动一个读取文件的DataFlow
作业
,执行数据处理并将其保存到同一桶上的一个新文件中。我已经能够执行所有的逻辑,但是我很难通过CloudFunction实例启动Dataflow
作业
。我的函数启动
作业
时没有出现任何问
浏览 14
提问于2021-06-25
得票数 0
回答已采纳
1
回答
如何在gcloud中执行“实时请求批处理”
google-cloud-platform
、
routes
以下是我的情况:谢谢!
浏览 1
提问于2021-05-31
得票数 0
点击加载更多
扫码
添加站长 进交流群
领取专属
10元无门槛券
手把手带您无忧上云
相关
资讯
弃用 Lambda,Twitter 启用 Kafka 和数据流新架构
Pinterest 推出高效可扩展云原生系统 MemQ
官宣:Apache Flink 1.14.0 发布
单机每秒最多可处理10亿条数据!eBay开源数据处理框架Accelerator
腾讯云 Serverless 衔接 Kafka 上下游数据流转实战
热门
标签
更多标签
活动推荐
运营活动
广告
关闭
领券