腾讯云
开发者社区
文档
建议反馈
控制台
首页
学习
活动
专区
工具
TVP
最新优惠活动
文章/答案/技术大牛
搜索
搜索
关闭
发布
登录/注册
精选内容/技术社群/优惠产品,
尽在小程序
立即前往
文章
问答
(1244)
视频
沙龙
1
回答
python
数据流
作业
在
部署
时
使用
requirements_file
参数
后
不接受
来自
pubsub
订阅
的
消息
python
、
google-cloud-platform
、
google-cloud-dataflow
、
dataflow
在
写入大型查询之前,我想
使用
数据流
作业
对
来自
pubsub
订阅
的
即将到来
的
消息
进行加密。我
使用
pycryptodome==3.9.8,cryptography==3.1
python
库来做这件事。在
数据流
作业
中,我
使用
了以下两个导入 从加密导入随机从Crypto.Cipher导入AES 当我尝试
在
没有--
浏览 6
提问于2020-09-25
得票数 1
回答已采纳
1
回答
当云端函数触发
数据流
时
,如何在
数据流
中传递requirements.txt
参数
?
python
、
google-cloud-platform
、
google-cloud-dataflow
目标-I有一个
数据流
模板(用
python
编写),它依赖于熊猫和nltk,我还想从云函数触发
数据流
作业
。为此,我已经将代码上传到桶中,并准备
在
云函数中指定模板位置。Problem-如何传递
requirements_file
参数
,当您
使用
从云函数中发现google模块触发
数据流
作业
时
,通常会传递这个
参数
来安装任何第三方库?Prerequisites- --我知道,当您通过本地机器通过指
浏览 1
提问于2020-04-06
得票数 3
回答已采纳
1
回答
排出DataFlow
作业
并立即启动另一个
作业
,导致
消息
重复
google-cloud-dataflow
、
google-cloud-pubsub
我有一个
数据流
任务,
订阅
来自
PubSub
的
消息
: p.apply("
pubsub
-topic-read", PubsubIO.readMessagesWithAttributes() .fromSubscription(options.getPubSubSubscriptionName()).withIdAttribute("uuid")) 我
在
文档中看到,不能保证不复制,比姆建议
使用
wit
浏览 21
提问于2019-04-05
得票数 1
1
回答
如何在gcloud中执行“实时请求批处理”
google-cloud-platform
、
routes
以下是我
的
情况: I有一个运行在GPU上
的
相当慢
的
tensorflow模型(每个预测2到3秒)--对单个‘实体’
的
预测和对8‘实体
的
预测
的
预测几乎同时
使用
--这意味着,只要简单地将同一个请求中
的
多个预测组合起来,我就可以提高8倍
的
效率--我
在
人工智能平台上有一个服务,向该模型提供请求<<代码>H19<//代码>,但是服务
的
扩展速度很慢(任何超过4个Q
浏览 1
提问于2021-05-31
得票数 0
0
回答
如何在BigQuery插入错误时崩溃/停止DataFlow发布/
订阅
摄取
google-bigquery
、
google-cloud-dataflow
、
google-cloud-pubsub
我正在寻找一种方法,使谷歌DataFlow
作业
停止摄取从发布/
订阅
时
,一个(特定
的
)异常发生。
来自
发布/
订阅
的
事件是
使用
TableRowJsonCoder通过PubsubIO.Read.Bound<TableRow>读取
的
JSON,并
使用
BigQueryIO.Write.Bound直接流式传输到相反,我想要做
的
是停止接收
来自
发布/
订
浏览 5
提问于2017-06-10
得票数 5
回答已采纳
1
回答
如何通过谷歌提供
的
PubSub
to BigQuery
数据流
模板
使用
现有的
PubSub
订阅
google-cloud-dataflow
、
google-cloud-pubsub
我正在尝试
使用
谷歌提供
的
模板
PubSub
to BigQuery设置一个
数据流
作业
。我看到一个用于指定云发布/
订阅
输入主题
的
选项,但我没有看到任何用于
在
GCP控制台UI中指定发布/
订阅
输入
订阅
的
选项。 如果我提供了主题,job会自动创建一个
订阅
来读取所提供
的
主题中
的
消息
。这样做
的
问题是,在<
浏览 3
提问于2018-01-12
得票数 3
回答已采纳
2
回答
数据流
:
来自
不同项目的流发布/子
消息
python
、
google-cloud-platform
、
google-cloud-dataflow
、
apache-beam
、
publish-subscribe
我
在
项目A中有一个pub/子主题。我现在想将
来自
该主题
的
消息
流流到一个运行在另一个项目B中
的
数据流
管道中。我遵循了
的
例子,当主题与
数据流
管道
在
同一个项目中
时
,一切都可以工作。但是,当尝试从不同项目中
的
主题流
消息
时
,我会得到以下权限错误: INFO:apache_beam.runners.dataflow.dataflow_runner:2022-11-0
浏览 8
提问于2022-11-09
得票数 0
1
回答
模板化
数据流
中
的
Pub/Sub输入完全忽略了NestedValueProvider
google-cloud-platform
、
apache-beam
、
subscription
、
google-cloud-pubsub
、
dataflow
我已经为Dataflow创建了模板,它正在读取
来自
Pub/Sub
的
消息
。问题是,NestedValueProvider不可能通过选项值修改发送
的
消息
,而且我也不知道为什么--
在
一些屏幕下面 代码:结果:如果有人问我为什么要嵌套它--我只想添加subscriptionID,只需
在
路径
的
其余部分添加前缀。编辑1.正在读取Pub/Sub
浏览 7
提问于2020-05-26
得票数 1
回答已采纳
2
回答
在
Google /Sub中处理
订阅
过滤器更改
的
最佳方法是什么?
google-cloud-platform
、
google-cloud-pubsub
问题:我知道Google Pub/Sub
订阅
无法修补以更新过滤器。我只是想出其他方法来处理产品中
的
更新来过滤。我可以想出
的
方法: 由于这两种
订阅
浏览 0
提问于2021-07-13
得票数 1
1
回答
数据流
在
数据流
托管服务中运行时不读取
PubSub
消息
python
、
google-cloud-platform
、
apache-beam
、
publish-subscribe
、
dataflow
我们
的
python
Dataflow管道
在
本地工作,但在Google Cloud平台上
使用
Dataflow托管服务
部署
时
就不能工作。它没有显示连接到
PubSub
订阅
的
迹象。我们已经尝试
订阅
订阅
和主题,但都不起作用。
消息
在
PubSub
订阅
中累积,
数据流
管道不显示被调用或其他任何迹象。我们已经仔细检查了项目是否相同
浏览 22
提问于2020-06-26
得票数 1
0
回答
Google cloud dataflow java API未读取其他项目的
pubsub
主题
google-cloud-dataflow
、
google-api-java-client
、
google-cloud-pubsub
、
dataflow
、
apache-beam-io
我只有一个主题是在生产项目中创建
的
。我想在dev环境中运行我
的
数据流
作业
,该环境需要
使用
生产
pubsub
主题。当我
在
dev项目中提交我
的
数据流
作业
时
,它不工作,并且总是显示在
数据流
UI中运行,但没有从
pubsub
读取任何元素。如果我提交到生产项目中,它可以完美地工作。 为什么它不读取
来自
不同项目主题
的
消息
?我<
浏览 9
提问于2017-12-04
得票数 1
1
回答
在从CircleCI启动
的
数据流
/Apache-beam
作业
上找不到库
python
、
google-cloud-dataflow
、
apache-beam
、
circleci
、
google-api-python-client
我
在
使用
从CircleCI启动
的
GCP Dataflow runner运行
python
Apache光束管道
时
遇到了严重
的
问题。基本上,我运行
的
是在
数据流
中运行并
使用
google-api-
python
-client-1.12.3
的
python
Apache光束管道。如果我
在
我
的
机器(
python
3 main.py --runne
浏览 10
提问于2020-10-13
得票数 2
回答已采纳
1
回答
如何在
数据流
管道中实现PubSubIO中
的
流量控制设置
google-cloud-platform
、
google-bigquery
、
google-cloud-dataflow
、
apache-beam
、
google-cloud-pubsub
在
我们
的
应用程序中,我们在
数据流
管道中
使用
PubsubIO从
PubSub
读取数据。下面是代码。table", ParDo.of(new ReadRawdataFromBiqueryTable())); 但是,当我们在此管道中附加BigQuery读取
时
,由于BigQuery读取速度较慢,因为我们
在
ParDo中执行此操作,似乎
在
PubSub
订阅
服务器中实现了一些默认
浏览 12
提问于2020-03-25
得票数 1
1
回答
在
数据流
模板
作业
完成
后
将
消息
发布到发布/
订阅
google-cloud-dataflow
我想在
数据流
作业
成功完成
后
将
消息
发布到发布/
订阅
主题。 为此,我
使用
wait_until_finish(),然后
在
确认管道已完成(当前状态为JOB_STATE_DONE)
后
发布一条
消息
。当我
在
本地执行管道(
使用
DirectRunner或DataflowRunner)
时
,我得到了所需
的
结果。但是,当我将此管道
部署
到模板,然后从模板创建<e
浏览 13
提问于2019-08-30
得票数 0
1
回答
Google Cloud Dataflow -
Python
Streaming JSON to
PubSub
- DirectRunner和DataflowRunner之间
的
差异
python
、
json
、
google-cloud-dataflow
、
apache-beam
、
google-cloud-pubsub
试图做一些概念上简单
的
事情,但却让我
的
头撞到了墙上。我尝试
在
Python
语言中创建一个流式
数据流
作业
,它
使用
来自
PubSub
主题/
订阅
的
JSON
消息
,对每个
消息
执行一些基本操作(
在
本例中,将温度从C转换为F),然后将记录发布回不同
的
主题: ) if __name__ ==
浏览 3
提问于2018-06-29
得票数 1
1
回答
从电子邮件中
的
超链接获取CSV到Google可能存储
google-cloud-platform
每天我都会收到一封电子邮件,里面有一个链接,然后触发一个CSV文件
的
下载,我需要下载到Google Cloud存储中,以便最终包含在BigQuery表中。到目前为止,我每天早上都手动下载文件,然后将其上传到GCS,但肯定有更好
的
方法。提前感谢你能给我
的
任
浏览 1
提问于2019-03-01
得票数 2
2
回答
如何
使用
python
异步运行2个云函数?
python-3.x
、
asynchronous
、
parallel-processing
、
google-cloud-functions
我有3个用
python
编写
的
GCP云函数,分别是CF1,CF2,CF3。CF1会检查某些条件,因此它应该并行执行CF2和CF3。
浏览 1
提问于2019-11-04
得票数 1
1
回答
这是用于API请求
的
云函数(Gen 2)
的
正确策略吗?
python
、
google-cloud-platform
、
google-cloud-firestore
、
google-cloud-functions
、
google-cloud-scheduler
我正在寻求一些关于我
的
方法
的
一些建议,关于这是否是正确
的
策略,或者是否有更好
的
方法来实现我想要
的
。 函数2 (
使用</e
浏览 16
提问于2022-11-09
得票数 1
1
回答
GCP
数据流
的
推拉
google-cloud-platform
、
apache-beam
、
google-cloud-pubsub
、
dataflow
我想知道
在
GCP中应该创建什么类型
的
订阅
,以便处理
来自
公共主题
的
高频数据。我将以每秒100多条
消息
的
数据流
摄取数据。将退出或推动
订阅
真的很重要,它将如何影响速度和所有。
浏览 1
提问于2020-07-20
得票数 1
回答已采纳
2
回答
数据流
流式
作业
未缩减规模
java
、
google-cloud-platform
、
google-cloud-dataflow
、
apache-beam
我有一个
数据流
作业
,它处理从
pubsub
主题
使用
的
数据,并将数据转换/写入到bigtable实例。然而,自12月11-12日以来,
数据流
工作者
的
数量一直
在
持续增加,达到最大数量(15个),这导致我们
的
数据流
使用
成本很高。正如文档中提到
的
(参考:):如果流管道积压低于10秒,并且工作人员
在
几分钟
的
时间内平均
使用
少于75%
浏览 1
提问于2020-12-21
得票数 2
点击加载更多
扫码
添加站长 进交流群
领取专属
10元无门槛券
手把手带您无忧上云
相关
资讯
弃用 Lambda,Twitter 启用 Kafka 和数据流新架构
9012年了,我不允许你还不会玩IPFS!
大数据实时项目必备技能二:kafka有话说
Reids哨兵模式详解
异步编程
热门
标签
更多标签
云服务器
即时通信 IM
ICP备案
对象存储
实时音视频
活动推荐
运营活动
广告
关闭
领券