腾讯云
开发者社区
文档
建议反馈
控制台
首页
学习
活动
专区
工具
TVP
最新优惠活动
文章/答案/技术大牛
搜索
搜索
关闭
发布
登录/注册
精选内容/技术社群/优惠产品,
尽在小程序
立即前往
文章
问答
(1989)
视频
沙龙
1
回答
丢弃
延迟
消息
的
云
数据流
指标
google-cloud-dataflow
Apache光束是否会发出任何
指标
来衡量
丢弃
了多少(
延迟
)
消息
? 无论是在DirectRunner上还是在DataflowRunner上。谢谢!
浏览 22
提问于2019-03-22
得票数 0
1
回答
计算总管道
延迟
(
云
函数->发布/订阅->
数据流
-> BQ)
google-cloud-platform
、
google-api
、
google-bigquery
、
google-cloud-dataflow
、
stackdriver
我目前在GCP中有一个管道,它使用
云
函数摄取数据,将其存入PubSub,在
数据流
中进行处理,最后将其插入到BigQuery中。我正在尝试计算平均
消息
从
云
函数摄取到BigQuery需要多长时间(包括插入时间)。 我了解Stackdriver
指标
/仪表板以及GCP
的
API仪表板。我很想简单地将每个服务
的
所有
延迟
值相加,但我不确定它是否涵盖了我无法控制
的
延迟
值(例如,插入到BQ,从
数据流
推送到p
浏览 2
提问于2019-11-21
得票数 0
1
回答
云
数据流
流作业
的
重发系统滞后
google-cloud-dataflow
根据定义,系统滞后是一个元素等待处理
的
最大时间。假设
数据流
正在消耗来自
云
PubSub
的
消息
。如果碰巧有一条
消息
由于某种原因而没有被确认,那么系统
延迟
就会持续上升(仅仅是因为这1条
消息
)。是否有任何方法在不终止作业
的
情况下重置流作业
的
系统
延迟
?
浏览 3
提问于2017-09-13
得票数 2
回答已采纳
1
回答
从Google cloud
数据流
收集应用程序
指标
google-cloud-platform
、
google-cloud-dataflow
在谷歌
云
数据流
/光束中,我们可以使用这个Metrics API收集应用程序
指标
,并且可以使用另一个API在应用程序中查询它。但我需要将这些
指标
持久化到Bigquery/Prometheus中,以实现实时监控和警报机制。请建议如何在谷歌
云
数据流
中实现这一点。
浏览 33
提问于2020-01-14
得票数 0
回答已采纳
1
回答
如何将
数据流
内存使用添加到堆栈驱动程序?
google-cloud-dataflow
、
google-cloud-stackdriver
问题:有没有一种方法可以将
云
数据流
内存使用添加到堆栈驱动程序中?
浏览 1
提问于2019-03-07
得票数 1
回答已采纳
1
回答
Kafka
消息
写入
延迟
apache-kafka
、
confluent-platform
、
cdc
、
ibm-infosphere
、
ibm-data-replication
我们正在尝试在Infosphere CDC- Confluent kafka设置中测量
消息
写入
的
延迟
。我们有虚拟
的
表和虚拟
的
事务将被执行。
数据流
- MF DB2表--> IIDR --> Kafka主题 (对于Kafka,制片人是iidr) 在没有任何企业监控工具
的
情况下,找出样本事务
的
写入
延迟
的
正确方法是什么?我们是否可以检查写入日志并考虑每个事务时间戳,并与cdc事务日志进行比较,以找出写入
延
浏览 67
提问于2019-03-05
得票数 0
1
回答
GCP
数据流
:用于Pub/Sub IO流
的
系统滞后
streaming
、
google-cloud-platform
、
google-cloud-dataflow
、
dataflow
我们使用“系统滞后”检查我们
的
数据流
工作
的
健康状况。例如,如果我们看到系统滞后增加,我们将尝试看看如何降低这一
指标
。关于这个
指标
,几乎没有什么问题。 2)这个度量
浏览 2
提问于2017-03-01
得票数 7
回答已采纳
1
回答
数据流
错误监测和报警
google-cloud-platform
、
google-cloud-dataflow
对
数据流
错误设置
数据流
资源监视和警报
的
最佳方法是什么?检查
云
监视-
数据流
没有列出那里-没有可用
的
指标
。检查错误报告-它也是空
的
,尽管我
的
一些流失败。
浏览 2
提问于2016-10-20
得票数 1
回答已采纳
1
回答
在使用PubsubIO
的
数据流
中,全局窗口中是否存在
延迟
数据
的
可能性?
google-cloud-dataflow
、
google-cloud-pubsub
在使用全局窗口时,假设数据总是在没有任何
消息
丢弃
(
延迟
数据)
的
情况下传递,这样做安全吗?从水印和
延迟
的
概念中,我得出结论,在使用基于事件
的
触发器接收
的
数据上应用自定义窗口
的
情况下,这些
指标
是至关重要
的
。
浏览 1
提问于2018-04-03
得票数 0
1
回答
未在
数据流
流管道中处理
的
快照中
的
发布/子
消息
google-cloud-platform
、
google-cloud-dataflow
、
apache-beam
、
google-cloud-pubsub
我们有一个来自Pub/Sub
的
数据流
,并以流
的
形式写入bigquery。由于颁发许可证,管道被卡住,
消息
没有被消耗,我们重新启动管道,将未加标记
的
消息
保存在快照中,重放
消息
,但它们被
丢弃
。我们解决了这个问题,用一个新
的
主题订阅重新部署了管道,并且所有事件都在流中消耗,而没有问题。 对于第一次订阅中累积
的
所有未加标记
的
消息
(2000万),我们创建了一个快照。然后
浏览 5
提问于2022-11-21
得票数 0
1
回答
云
发布/订阅和
云
数据流
将工作进程固定到主题
google-cloud-platform
、
google-cloud-dataflow
、
google-cloud-pubsub
我有一个谷歌
云
发布/订阅和
云
数据流
处理架构,我需要保证
消息
排序。是否可以将订阅
消息
流设置为每个主题固定
数据流
工作进程,以便
消息
通过相同
的
数据流
工作进程路由,因此应该实现
消息
排序。 谢谢
浏览 0
提问于2018-06-30
得票数 1
1
回答
查看shell上
的
消费者和生产者统计信息: kafka
apache-kafka
、
kafka-consumer-api
我是卡夫卡
的
新手。我
的
任务是以优化
的
吞吐量和
延迟
发送2kb
的
消息
。我真的不知道如何对这两个
指标
进行基准测试并设置我
的
集群。我没有任何集群监控工具可用,只能在启动生产者和消费者时查看终端上
的
统计数据。谁能告诉我,在
数据流
进行
的
过程中,我可以使用哪个脚本来查看消费端
的
相关统计数据?
浏览 1
提问于2020-07-06
得票数 0
1
回答
主题
的
状态
gmail-api
、
publish-subscribe
、
google-cloud-pubsub
/myproject/topics/mytopic'gmail.users().watch(userId='me', body=request).execute() 如何获取主题在任何给定时间点
的
状态问题是,有时我无法从Gmail收到任何收到
的
电子邮件
的
推送。
浏览 0
提问于2018-11-02
得票数 1
2
回答
云
日志中自定义
指标
在
云
监控中无数据
google-compute-engine
、
google-cloud-platform
、
google-cloud-logging
、
google-cloud-monitoring
、
stackdriver
我在
云
日志UI中创建了2个用户自定义
的
指标
。这些
指标
显示在
云
监控中,但它们
的
图形总是显示“找不到图形数据”。是否有解决此问题
的
步骤,或者是否有其他要求使来自用户定义
的
日志
指标
的数据在
云
监控中可见?
浏览 1
提问于2016-03-19
得票数 6
1
回答
相同
的
google
云
函数不同
的
执行时间和
延迟
firebase
、
google-cloud-platform
、
google-cloud-functions
我目前有2个项目开发和沙盒(完全相同
的
设置和地区)在Firebase:我到底该如何调试才能理解这个问题
的
原因呢?请看两个项目的函数#1
的
7天
指标
截图和14天
延迟
跟踪截图: 功能#1 14天
延
浏览 0
提问于2021-01-18
得票数 1
1
回答
numLateRecordsDropped:这对运营商意味着什么?
apache-flink
、
flink-streaming
在task-1中,我分配了一个时间戳并生成水印,我使用
的
是BoundedOutOfOrdernessTimestampExtractor,maxOutOfOrderness等于2分钟。让我们将这个聚合和下沉
的
链式任务称为Task-2。numLateRecordsDropped:看看这个
指标
,它告诉The number of records this operator/task has dropped due to arriving问:当我窗口元素时,我分配了0个允许
的
延迟
。所以它可能
丢弃
浏览 20
提问于2019-11-07
得票数 0
回答已采纳
1
回答
IAM权限被拒绝- Google创建度量
google-cloud-platform
、
google-cloud-iam
、
google-cloud-monitoring
虽然系统
的
管理给了我监视编辑器、监视撰稿人和监控管理员
的
角色,但这个错误仍在发生。 创建基于自定义/日志
的
度量需要哪些权限设置?即使在我
的
IAM权限设置中有这些角色,在创建度量时仍然会出现红色警报错误。
浏览 16
提问于2022-11-14
得票数 1
回答已采纳
1
回答
Google Dataprep与
消息
代理
的
集成
google-cloud-platform
、
google-cloud-pubsub
、
google-cloud-dataprep
如果是这样的话,当在visual studio (减去购买或下载工具
的
能力)上编辑示例时(减去购买或下载工具
的
能力),而调试生产流程(相同
的
“类型”数据“)是在这些工具(在我们最喜欢
的
IDE上编码Scala/Java )之外
的
任何工具上执行时,我应该期待什么”最佳实践“部署考虑因素?
浏览 1
提问于2018-09-12
得票数 0
1
回答
用于获取服务级别性能
指标
的任何API
monitoring
、
kubernetes
我们想知道是否有一种方法可以获得服务级别监控参数,如(每秒请求数、
延迟
/请求等)来自Kubernetes Service?我知道,如果Kubernetes服务是用LoadBalancer类型创建
的
,那么我们可以利用
云
提供商接口来实现这些
指标
;但是,我想知道是否有任何规定可以在服务级别或容器级别获得上述
指标
,而不会有任何
延迟
浏览 2
提问于2016-03-18
得票数 3
1
回答
有没有办法让Stackdriver Alert变得更具体?
policy
、
stackdriver
、
google-cloud-stackdriver
、
google-cloud-monitoring
我正在创建几个
指标
的监控警报。从它创建基于日志
的
度量和警报是很好
的
。但它非常通用。如何锁定特定详细信息,如此
数据流
作业(作业名称)失败或此用户创建
的
数据流
作业失败?防火墙规则也是如此,我如何知道更新了所有规则中
的
哪条规则?使用以下筛选器创建防火
浏览 0
提问于2019-12-04
得票数 0
点击加载更多
扫码
添加站长 进交流群
领取专属
10元无门槛券
手把手带您无忧上云
相关
资讯
高通量低延迟的云环境大数据流水线架构
弃用 Lambda,Twitter 启用 Kafka 和数据流新架构
为什么BAT互联网都爱用kafka?看完你就知道了
公共安全领域 Kafka 应用实践
腾讯游戏打通 Apache Pulsar 与 Envoy,构建高效 OTO 营销平台
热门
标签
更多标签
云服务器
即时通信 IM
ICP备案
对象存储
实时音视频
活动推荐
运营活动
广告
关闭
领券