腾讯云
开发者社区
文档
建议反馈
控制台
首页
学习
活动
专区
工具
TVP
最新优惠活动
文章/答案/技术大牛
搜索
搜索
关闭
发布
登录/注册
精选内容/技术社群/优惠产品,
尽在小程序
立即前往
文章
问答
(572)
视频
沙龙
1
回答
DataFlow
管道
:
项目
配额
不足
、
我正在按照这个来创建一个数据流
管道
https://codelabs.developers.google.com/codelabs/modern-data-pipeline-firestore-bigquery-
dataflow
-templates/index.html#9,但是我的数据流由于我的
配额
而失败。原因: Project XXXX
配额
不足
,无法在区域us-Causes 1中使用1个实例执行此工作流。有关请求更多
配额
,请参阅http
浏览 21
提问于2020-09-28
得票数 1
1
回答
GCP数据流
配额
问题
、
、
、
我正在设置一个数据流作业,从发布/订阅主题收集数据并将其发送到bigquery,但我遇到了
配额
问题。请参见下面的错误代码。我期待着有一个建议。请帮帮忙。", "resource": { "labels": { "project_id/region": &q
浏览 16
提问于2021-05-08
得票数 0
1
回答
运行一个n2标准2机器类型的数据流作业,该数据流作业将在任何时候只使用2 vCPU运行,还是可以自动缩放到
配额
限制。
、
我理解数据流使用默认机器类型n1-standard-1进行批处理,并且我们在亚洲有
配额
问题-- n1机器类型为South1。我们被要求使用N2机器类型代替。machine_type n2-standard-2 \我的理解是,机器类型是启动工人时使用的数据流,但在自动缩放和基于作业的情况下,vCPU的数量可以更多地基于
项目
配额
浏览 3
提问于2021-04-15
得票数 0
回答已采纳
1
回答
云数据流上的25个作业限制是否可以延长?
、
我目前正在评估Google Cloud
Dataflow
。据报道,you may run up to 25 concurrent
Dataflow
jobs per Cloud Platform project.。 这似乎很低。我可以看到运行100个中小型作业的很大价值,能够支持并行部署、测试和模块化
管道
(许多小作业似乎更容易更新/升级,即使
Dataflow
有一些对就地
管道
升级的支持)。这个限制可以以某种方式增加吗,就像许多
配额
可以在GCP上一样?绕过这一限制的常见做法是什么?
浏览 19
提问于2017-03-12
得票数 2
回答已采纳
1
回答
使用PubSubIO读取数据流的速度非常慢
、
、
、
、
我在使用从PubSub读取和写入BigQuery的数据流
管道
时遇到了一些问题。1)我们使用数据流自动缩放,我尝试使用更强大的工作进程(n1-standard-64)启动
管道
,并将其限制为10个工作进程,但它也不会提高性能也不会自动缩放(它只保留最初的工作进程)3)检查了PubSub
配额
和pull/pu
浏览 3
提问于2017-08-19
得票数 0
1
回答
如何调试Google数据流流引擎中断?
、
、
、
我们正在使用流引擎选项在中运行一些流处理。今天早上有些数据丢失了,所以我试着做一些故障排除。我发现的唯一一件事似乎是重新启动了工作人员(请参阅日志文件的屏幕截图)。日志中没有显示任何错误或异常。我们对GCP非常陌生,所以我们不太了解我们的方式。是否有任何方法找到重新启动工作人员的根本原因?或者这只是一个基础设施错误?
浏览 1
提问于2019-12-11
得票数 0
2
回答
可以订阅的PubSub主题的数量是否有限制?
、
、
我创建了一个数据流,其中包含了30条
管道
,它们都在PubSub上订阅了自己的主题。当我尝试启动时,随机订阅总是失败的。但是,如果我将
管道
分成几个数据流,那么所有订阅都是成功的。
浏览 0
提问于2016-06-03
得票数 3
回答已采纳
2
回答
Google Cloud
Dataflow
-自动缩放不起作用
、
、
我正在运行一个Google
Dataflow
pipeline job,它的作业ID是:2018-08-17_03_35_19-3029795715446392897谢谢你的帮助!
浏览 0
提问于2018-08-17
得票数 0
1
回答
如何在Java Maven中生成mysqldump脚本?
、
、
、
我正在处理Google Cloud
Dataflow
中的信息,我们试图使用JPA将数据插入或更新到mysql数据库中,但这些查询占用了我们的服务器。所以我们决定改变我们的路径...
浏览 3
提问于2016-01-26
得票数 0
2
回答
达到云数据流
配额
限制
、
突然,我们的一条
管道
开始收到以下警告:这是与BigQuery应用编程接口相关的
配额
耗尽吗(消息中没有明确)?
浏览 0
提问于2015-11-13
得票数 2
2
回答
大数据集下数据流BigQuery插入作业立即失败
、
、
、
我使用beam库设计了一个beam /数据流
管道
。这条
管道
大致做了以下工作: 限制BigQu
浏览 0
提问于2019-04-22
得票数 1
1
回答
数据流到BigQuery
配额
、
对于这个问题,我找到了几个相关的问题,但谷歌小组没有给出明确的答案: 云
DataFlow
的作业,写信给BigQuery,是否仅限于每秒100 K行的BigQuery
配额
(即BQ流限制)?我成功地运行了作业,作业显示>180 K行/秒,这些作业是通过
Dataflow
监视UI处理的。
浏览 0
提问于2015-11-19
得票数 4
回答已采纳
1
回答
使用Google Cloud
Dataflow
SDK读取流数据
、
、
我想使用Google Cloud
Dataflow
SDK读取这些数据。我使用的是Java 1.8谁能让我知道在哪里可以找到使用Google Cloud
Dataflow
SDK读取流数据的完整示例。 提前谢谢。
浏览 2
提问于2016-12-23
得票数 0
2
回答
使用Apache读取大量文件的可伸缩方法?
、
我正在编写一条
管道
,在该
管道
中,我需要使用500.000+从位于GoogleCloud桶上的读取元数据文件( 文件)。它甚至没有出现在
Dataflow
职务列表中。
管道
看起来是这样的: meta = ( pipeline
浏览 3
提问于2021-01-22
得票数 0
回答已采纳
2
回答
当GCP中多个数据流作业并行运行时触发警报
、
、
我正在使用google云数据流来执行一些资源密集型数据流作业。在给定的时间内,我的系统必须并行执行最多不超过两个作业。我尝试实现一个custom_count,它在每个作业开始后递增。但是,custom_couter只在作业执行后显示。到那时触发警报可能为时已晚。
浏览 15
提问于2022-09-28
得票数 1
1
回答
DataFlow
工作者BigQuery权限错误
、
我一直试图在我的
项目
中执行
Dataflow
管道
(Python),其中我的GCP帐户分配了"Owner“角色。 错误:这在Di
浏览 1
提问于2021-08-20
得票数 0
1
回答
google数据流运行极慢
、
、
、
我已经写了一些简单的程序来读取CSV (电子邮件),并在数据存储中查找相关的id。这也搜索AES加密电子邮件。使用- DataflowPipelineOptions options = PipelineOptionsFactory.as(DataflowPipelineOptions.class); PipelineOptions options = PipelineOpti
浏览 0
提问于2018-11-26
得票数 0
2
回答
PERMISSION_DENIED:
项目
配额
不足
以满足请求:资源
、
、
(gcloud.container.clusters.resize) PERMISSION_DENIED:没有足够的
项目
配额
来满足请求:资源"CPUS_ALL_REGIONS":请求需要'9.0‘并且短于
项目
配额
为“12.0”,可用“6.0”。对于创建命令,这是一个错误: ResponseError: code=403,message= (1)区域
配额
不足
以满足请求:资源"CPUS":请求需要'3.0‘,且短于'1.
浏览 2
提问于2019-09-05
得票数 4
回答已采纳
1
回答
订阅Google发布/订阅主题到云存储Avro文件出现“
配额
超出”错误-在初学者教程中?
、
、
、
但是,当我尝试运行作业时,在执行完教程中提到的操作后,我得到一个错误,告诉我我的
项目
没有足够的
配额
来执行工作流。在消息的
配额
摘要中,我注意到它显示为1230/818 disk GB。
浏览 26
提问于2019-05-23
得票数 0
回答已采纳
2
回答
Gitlab CICD会议时间不够吗?
、
引用他们的文件:因此,如果是每个组,如果我创建不同的组并在那里添加
项目
,我能获得更多的CICD分钟吗?
浏览 2
提问于2020-05-19
得票数 0
回答已采纳
点击加载更多
扫码
添加站长 进交流群
领取专属
10元无门槛券
手把手带您无忧上云
相关
资讯
谷歌开源 TFRecorder,几行代码即可高效创建数据集
使用Java部署训练好的Keras深度学习模型
谷歌推出Bigtable联邦查询,实现零ETL数据分析
过去一年,Spotify最大一次数据流优化实践
vivo AI 计算平台的 K8s 分级配额管理实践
热门
标签
更多标签
云服务器
ICP备案
实时音视频
即时通信 IM
对象存储
活动推荐
运营活动
广告
关闭
领券