腾讯云
开发者社区
文档
建议反馈
控制台
首页
学习
活动
专区
工具
TVP
最新优惠活动
文章/答案/技术大牛
搜索
搜索
关闭
发布
登录/注册
精选内容/技术社群/优惠产品,
尽在小程序
立即前往
文章
问答
(9999+)
视频
沙龙
2
回答
如何
使用
python
API
列出
所有
数据流
作业
python
、
google-cloud-platform
、
google-cloud-dataflow
我的用例涉及到获取项目中存在的
所有
流式
数据流
作业
的
作业
id并取消它。更新我的
数据流
作业
的源并重新运行它。 我正在尝试
使用
python
来实现这一点。直到现在,我还没有接触到任何有用的文档。我想过
使用
python
的库子进程来执行gcloud命令作为一种解决办法。但同样,我无法存储结果并
使用
它。 有人能指导我做这件事的最好方法是什么吗?
浏览 13
提问于2020-07-20
得票数 2
回答已采纳
2
回答
作业
监视器
google-cloud-platform
、
google-cloud-dataflow
、
apache-beam
我正在编写一个应用程序来监控和查看谷歌
数据流
作业
。为了获得有关google
作业
的元数据,我将在这里研究
列出
的REST: 1)如果我们提供了一个
作业
ID列表(每个
作业
ID都有一个
API
,但我希望ID列表相同),就可以获得
作业
详细信息。2)在
作业
name.Or的基础上搜索或过滤
作业
,过滤除
作业
状态以外的任何其他条件的
作业
。
浏览 4
提问于2017-11-24
得票数 2
回答已采纳
1
回答
如何
查看或
列出
数据流
作业
VPC/网络?
google-cloud-platform
、
gcloud
、
dataflow
我在不同的VPC中启动了一些
数据流
作业
,有些不在VPC中 在哪里可以看到
数据流
作业
运行在哪个VPC/子网?这应该是显而易见的,但我在web UI中找不到此信息。
如何
列出
项目XYZ中的
所有
数据流
作业
并获得一个类似于<job name> : <VPC/subnetwork>的表。
浏览 16
提问于2020-08-26
得票数 0
2
回答
如何
删除gcloud
数据流
作业
?
google-cloud-dataflow
数据流
作业
在我的仪表板上乱七八糟,我想从我的项目中删除失败的
作业
。但在仪表板中,我看不到任何删除
数据流
作业
的选项。我至少在寻找下面这样的东西,要删除
所有
作业
, $ gcloud beta dataflow jobs delete
浏览 0
提问于2017-09-04
得票数 17
1
回答
Google Dataflow
API
按
作业
名称筛选
google-cloud-dataflow
有没有办法
使用
REST
API
按
作业
名称过滤
数据流
作业
?我正在寻找一种方法来获得按
作业
名称过滤的
作业
详细信息列表。目前,我可以通过云
数据流
控制台来实现,但不能通过
数据流
rest
api
来实现。
浏览 2
提问于2020-11-07
得票数 0
1
回答
在从CircleCI启动的
数据流
/Apache-beam
作业
上找不到库
python
、
google-cloud-dataflow
、
apache-beam
、
circleci
、
google-api-python-client
我在
使用
从CircleCI启动的GCP Dataflow runner运行
python
Apache光束管道时遇到了严重的问题。如果有人能给我一些关于
如何
解决这个问题的提示,我将不胜感激,我已经尝试了
所有
的方法,但似乎都不起作用。基本上,我运行的是在
数据流
中运行并
使用
google-
api
-
python
-client-1.12.3的
python
Apache光束管道。如果我从CircleCI中运行相同的
作业
,则会创建<
浏览 10
提问于2020-10-13
得票数 2
回答已采纳
1
回答
使用
google-
api
-php-client-services在google cloud ml引擎中进行预处理
google-cloud-ml-engine
我正在
使用
google-
api
- PHP -client-services在google云中训练我的PHP网站的数据。
如何
使用
这个库在中进行预处理?在PHP中有没有替代google-
api
-php-client与ml_engine交互的方法?
浏览 2
提问于2017-07-21
得票数 0
2
回答
如何
通过运行Google Compute Engine cron
作业
来调度
数据流
作业
google-app-engine
、
cron
、
google-compute-engine
、
apache-beam
、
dataflow
在Dataflow FAQ中,
列出
了在计算引擎上运行自定义(cron)
作业
进程是调度
数据流
管道的一种方法。我搞不懂到底该怎么做:
如何
在计算引擎上启动
数据流
作业
和启动cron
作业
。 谢谢!
浏览 29
提问于2020-08-19
得票数 1
回答已采纳
2
回答
Google Cloud Dataflow - Java SDK与
Python
java
、
python
、
google-cloud-platform
、
google-cloud-dataflow
、
apache-beam
我开始
使用
进行批处理和流处理。正在开发的工作主要用于摄取来自不同来源(MySQL、Kafka和文件系统)的数据,清理它们,进行流和沐浴聚合,并将其写回。考虑到这些任务,是否有
使用
Java 或
Python
编写
作业
的建议?他们之间在性能和功能方面有什么明显的差异吗? 例如,我注意到对于Java,内置的I/O PTransform JdbcIO是可用的。这个PTransform在JDBC上读写数据,这在
Python
中是不可用的(到目前为止)。是否可能只
使用
Java创建从MySQL数
浏览 3
提问于2020-07-07
得票数 0
回答已采纳
1
回答
数据流
进程挂起
google-cloud-platform
、
google-cloud-dataflow
、
google-data-api
我正在
数据流
上运行批处理
作业
,从BigQuery进行查询。当我
使用
DirectRunner时,一切正常,结果被写到一个新的BigQuery表中。web UI中的图表显示
作业
已开始。前3步显示"Running",其余3步显示"not started“。
所有
步骤都没有显示任何转换的记录(即,输出集合都显示'-')。10s restarting failed container=
python
pod=......因此,似乎为Dataflow r
浏览 13
提问于2018-02-07
得票数 1
回答已采纳
1
回答
在Apache Aurora调度程序中
列出
所有
作业
的命令是什么?
apache-aurora
我应该
使用
什么命令来
列出
/查看集群中的任务?
浏览 0
提问于2016-06-10
得票数 0
1
回答
在
数据流
作业
中安装
Python
包
python
、
dataflow
在我的
数据流
(beam)工作流中,我
使用
来自
Python
的datetime包(在gcp上
使用
jupyter notebook )。当我用pip安装缺少的包时,一切都很好。现在我想在gcp上运行我的转换为
数据流
作业
。我总是得到错误的"NAME ERROR“,因为datetime是未知的(当我
使用
Apache beam SDK for
Python
时得到这个错误),有人能给我一个提示
如何
将
Python
包添加到<
浏览 1
提问于2020-11-16
得票数 0
1
回答
无法停止google云上的
数据流
google-cloud-dataflow
google cloud (Apache beam 2.5)上运行着一个流式
数据流
。
数据流
显示了一些系统延迟,因此我尝试
使用
--update标志更新该
数据流
。现在旧
数据流
处于更新状态,而在更新过程之后启动的新
数据流
处于挂起状态。现在,在这一点上,一切都被卡住了。我现在无法停止/取消
作业
。旧
作业
仍处于更新状态,不允许执行任何状态更改操作。我尝试
使用
gcloud dataflow
作业
取消和REST
ap
浏览 17
提问于2019-05-05
得票数 0
1
回答
Flink数据集
api
交付保证和检查点
apache-flink
Flink文档提到
数据流
api
的交付保证只有一次或至少一次,但是,我没有发现数据集
api
的相同参考。是否保证消息只传递给数据集中的
所有
转换一次;此外,在没有检查点机制的情况下,唯一的逻辑方法是从头开始执行
作业
? 是否可以
使用
数据流
api
进行批处理
作业
,会有什么损失?
浏览 0
提问于2017-10-22
得票数 0
2
回答
如何
在
python
代码中向
数据流
传递--autoscaling_algorithm=NONE标志?
python
、
google-cloud-platform
、
google-cloud-dataflow
、
apache-beam
、
dataflow
我正在
使用
python
dataflow.projects().templates().launch()函数启动
数据流
模板,以启动从jdbc到bigquery模板的
数据流
作业
。
如何
在这个
python
函数中传递"--autoscaling_algorithm=NONE“标志?
浏览 1
提问于2020-11-19
得票数 0
2
回答
如何
在google中获取现有
作业
的"templateLocation“参数值
google-cloud-platform
、
google-cloud-dataflow
我有一个在google
数据流
中运行的现有
作业
的列表。我想
列出
最后x天运行的
作业
,并希望以编程方式回收这些
作业
。为此,我需要用于特定
作业
的模板的名称。我们可以在Job视图中从控制台轻松地获取此信息。但是,我想知道是否有任何方法可以从Gcloud命令或
API
获取这些信息。谢谢萨朗
浏览 2
提问于2022-09-27
得票数 0
1
回答
数据流
API
不会在GCP中激活。
google-app-engine
、
google-cloud-dataflow
我试图在我的项目中
使用
数据流
API
。在云仪表板中,我
使用
指定的链接启用了
所有
API
:由: java.lang.RuntimeException:未能创建工作流
作业
引起:项目尚未启用
API
。请
使用
为您的项目激活“
数据流
”
API
。请
使用
为您的项目激活‘
数据流
’<em
浏览 2
提问于2016-03-20
得票数 0
回答已采纳
2
回答
从HTTP请求
API
拉取数据到Google Cloud
api
、
google-app-engine
、
google-bigquery
、
cloud
、
google-cloud-storage
我有一个应用程序,从
API
发送数据给我。数据是半结构化的(json数据) 我想把这个数据发送到Google Big Query,以便储存
所有
的信息。 但是,我不知道
如何
才能正确地做到这一点。到目前为止,我已经在自己的服务器上
使用
Node通过POST请求获取数据。 你能帮帮我吗?特纳克。
浏览 17
提问于2019-10-15
得票数 0
1
回答
以编程方式编辑Dataprep配方
google-cloud-platform
、
google-cloud-dataflow
、
google-cloud-dataprep
我们有一个dataprep
作业
来处理输入文件并产生一个干净的文件。可以从
Python
代码(远程)编辑dataprep
作业
的配方吗?如果是,是否可以从
Python
代码触发dataprep
作业
浏览 1
提问于2018-06-15
得票数 1
2
回答
如何
以编程方式取消运行时间过长的
数据流
作业
?
google-cloud-dataflow
、
apache-beam
我通过
Python
API
在Dataflow上
使用
Apache光束从Bigquery读取数据,对其进行处理,然后将其转储到Datastore接收器中。不幸的是,
作业
经常会无限期地挂起,我不得不手动停止它。当数据被写入到Datastore和Redis中时,从
数据流
图中,我注意到只有几个条目被卡住,
作业
被挂起。因此,当具有15台16核计算机的
作业
运行9小时(正常情况下,该
作业
运行30分钟)时,会导致巨大的成本。 也许有一种方法可以设置计时器,在超过时间限制
浏览 3
提问于2018-06-25
得票数 0
点击加载更多
扫码
添加站长 进交流群
领取专属
10元无门槛券
手把手带您无忧上云
相关
资讯
如何使用Oozie API接口向非Kerberos环境的CDH集群提交Java作业
如何使用Python计算列表中所有数字的平均值
Spark Streaming与Kafka 整合的改进
官宣:Apache Flink 1.14.0 发布
Spark Streaming 2.2.0 Example
热门
标签
更多标签
活动推荐
运营活动
广告
关闭
领券