腾讯云
开发者社区
文档
建议反馈
控制台
首页
学习
活动
专区
工具
TVP
最新优惠活动
文章/答案/技术大牛
搜索
搜索
关闭
发布
登录/注册
精选内容/技术社群/优惠产品,
尽在小程序
立即前往
文章
问答
(9999+)
视频
沙龙
1
回答
优化
下游
订阅
的
状态
存储
主题
apache-kafka
、
apache-kafka-streams
、
confluent-platform
我有一个使用Streams 1.1.1
的
微服务(计划很快升级到2.1 ),即将聚合记录发布到一个压缩
的
主题
(“customer- KTable”),以供
下游
微服务作为其输入事件使用。这最终创建了两个
主题
,它们具有相同信息
的
完全相同
的
副本。“customer-events”是一个;另一个是为支持
状态
存储
而在幕后创建
的
内部事件。两者具有完全相同
的
键和值。 有没有办法...A)
优化
内部<
浏览 21
提问于2019-02-05
得票数 1
回答已采纳
2
回答
有没有办法在GCP中对批处理数据流作业进行排队?
google-cloud-platform
、
batch-processing
、
apache-beam
、
publish-subscribe
、
dataflow
长话短说,我有一个cron任务,每天在指定
的
时间将一堆文件上传到云
存储
桶中。所有这些
存储
桶都有一个关联
的
发布/
订阅
通知
主题
,该
主题
在文件创建事件时触发。每个事件都会触发一个数据流作业来处理该文件。每个作业都用HTTP请求猛烈抨击我
的
下游
服务。这些服务无法足够快地扩展,并开始抛出连接被拒绝
的
错误。 为了限制这些请求,我限制了每个数据流作业可用
的
工作线程数量。此外,为我
的
<e
浏览 2
提问于2021-06-11
得票数 0
1
回答
Kafka全局商店是否可从多个应用实例中看到
apache-kafka
、
apache-kafka-streams
我
的
问题是-我有Kafka流处理微服务,它可以侦听多个
主题
。聚合来自多个
主题
的
状态
,并将其
存储
在
状态
存储
中。我们将聚合后
的
消息提前发送到
下游
系统。
下游
系统会返回不同Kafka
主题
的
其他消息。需要创建对我
的
所有微服务实例都可见
的
全局
状态
存储
。有没有可能使用全局
存储
在karka中
浏览 4
提问于2021-01-09
得票数 0
1
回答
GCM
主题
或
下游
消息
android
、
google-cloud-messaging
我读到了发送消息给Topics:
的
帖子,上面写着: 我现在正在考虑是否使用GCM
主题
实际上是一
浏览 3
提问于2015-10-30
得票数 0
回答已采纳
1
回答
Rx .net subject OnNext异常正在失去
下游
观察者
system.reactive
、
rx.net
目前,我有一个包含rx
主题
的
使用者类,将所使用
的
更新委托给
下游
消费者: public IObservable<IUpdate> UpdateStream),其中subject.HasObservers属性为false (换句话说,
下游
订阅
列表丢失了)。OnError代码行确实命中了,但是
下游
订阅
者没有得到通知(因为
订阅
丢失)。我尝试使用Observer.Eve
浏览 0
提问于2018-12-14
得票数 1
回答已采纳
1
回答
我可以将多个转换器/处理器附加到Apache Kafka中
的
单个流中吗?
apache-kafka
、
apache-kafka-streams
在所有的例子中,我看到了Kafka
的
一个简单
的
单转换器/处理器拓扑。我怀疑我们能否通过分解成多个转换器/处理器来模块化应用程序逻辑,然后应用于单个输入流。请在下面找到用例: 当前
的
应用程序配置是包含所有处理逻辑任务
的
单个处理器,如过滤、验证、应用程序逻辑、延迟(Kafka对于dbs来说太快)和调用SP/push流。但我们现在正计划通过将每个任务分解为Kstream
的
独立处理器/变压器来实现所有这些操作
的
解耦。由于我们对Kafka还比较陌生,所以我们
浏览 0
提问于2018-05-20
得票数 1
1
回答
KTable对KSqlDb
apache-kafka-streams
、
ksqldb
、
ktable
我想了解KTable和KsqlDb之间
的
区别。我需要来自我
的
“
状态
”
主题
的
两个数据流: 我可以创建紧凑
的
主题
,并使用KTable作为键值
存储
,并更新1种情况。此外,我还将使用使用者
订阅
第二种情况下
的
状态
事件。在这些情况下可以使用K
浏览 5
提问于2022-08-10
得票数 0
1
回答
在glassfish中
的
嵌入式activeMQ消息服务器上发送消息
glassfish
、
ejb
、
jms
、
activemq
我开发了一个带有嵌入式activeMQ消息服务器
的
Java应用程序(在GlassFish上)。我可以向我
的
消息驱动Bean发送消息。现在,我想通过我
的
activeMQ代理将消息发送回另一个
主题
。不会将任何消息传递到
主题
“答案”。我在activeMQ-web-前端看到了它,没有抛出异常。 @MessageDriven(activationConfig = { @Activatio
浏览 1
提问于2014-08-22
得票数 3
2
回答
Azure事件网格触发函数在500上重试
azure
、
function
、
event-handling
、
azure-eventgrid
我已经创建了EventGridTrigger类型
的
Azure函数,作为事件网格中
主题
的
订阅
者。该函数使用rest客户端调用
下游
api。但是,在某些情况下,
下游
api是不可维护
的
,或者在从EventGridLtrigger调用
下游
api时会出现异常。在这种情况下,我观察到EventGridTopic仍然显示已交付
的
事件,而不是在失败时重新尝试。 是否可以让EventGrid重试传递,或者在处理失败时将事件添加到死信队列中?
浏览 7
提问于2022-06-29
得票数 0
1
回答
一个完整
的
Kafka流缓存作为内部操作
的
原因是什么?
apache-kafka-streams
还是只会导致驱逐最古老记录
的
前向行动? 我
的
目标是能够监视我
的
kafka流应用程序,并理解我所看到
的
度量标准?
浏览 2
提问于2020-03-31
得票数 1
回答已采纳
1
回答
不
订阅
获取当前ngrx
状态
javascript
、
angular
、
redux
、
ngrx
我想为OAuth2服务使用Ngrx,我需要获得当前
的
存储
状态
,而不需要使用
订阅
。这是我
的
OAuth函数,用于从localStorage获取令牌: const token = JSON.parse(localStorage.getItemtoken.access_token }); }在这种情况下,可以使用Redux
存储</em
浏览 0
提问于2017-10-06
得票数 2
1
回答
rxjs shareReplay ( refCount off )直到第一个
下游
订阅
者才
订阅
源
angular
、
rxjs
当消费者
订阅
时,他们应该立即收到最后
的
价值,并在未来得到新
的
价值。 我
的
理解是:如果我添加上面所示
的
shareReplay,并且关闭了refCount,它将
订阅
它
的
上游可观测性(即。(在本例中,dataSubject )立即保存最后一个值,当存在
下游
订阅
者时,发出最后一个值以及任何未来
的
值。相反,如果我正确理解,会发生什么:如果第一个
下游
订阅
者比源中
的
第一个值来得
浏览 0
提问于2020-11-02
得票数 2
回答已采纳
1
回答
使用shared_preferences在iOS和Android上
存储
我
的
FCM
订阅
是安全
的
吗?
android
、
ios
、
flutter
、
firebase-cloud-messaging
我有一个颤栗
的
应用程序,用户可以
订阅
和取消
订阅
一个FCM
主题
。用户是否可以使用OS数据/缓存清除来删除iOS或android上
的
共享prefs,而FCM
订阅
仍然保持活动
状态
。在
浏览 12
提问于2022-01-31
得票数 0
1
回答
如何从KTable中删除旧密钥
java
、
apache-kafka
、
apache-kafka-streams
、
spring-kafka
我有一个生产者,谁发布
的
记录与A或B
的
一个卡夫卡
主题
的
关键字。 在streams应用程序中,我将每个键为A
的
记录平面映射到键为U、V或W
的
记录,将每个键为B
的
记录映射为键为X、Y或Z
的
记录。每个平面映射操作创建
的
记录数量各不相同。例如,具有关键字A
的
特定记录可以被映射到具有关键字U
的
一个记录,但是另一个记录可以被映射到关键字V和关键字W中
的
一个。但是,我希望此KTable
的
浏览 13
提问于2020-06-04
得票数 1
回答已采纳
1
回答
Azure服务总线-删除来自
主题
的
预定消息
azure
、
azureservicebus
、
azure-servicebus-topics
我看了几个例子,说明可以从队列中删除蔚蓝服务总线中
的
预定消息,请问是否可以从
主题
中删除预定
的
消息? 当计划消息
的
时间延迟到期时,一个或多个
订阅
将根据筛选器侦听来自
主题
的
消息。Azure函数/侦听
浏览 5
提问于2022-01-16
得票数 0
2
回答
在Kafka流中使用
状态
存储
(RocksDB)将一条记录转换为多条记录
java
、
apache-kafka
、
apache-kafka-streams
我想使用
状态
存储
(RocksDB)将一条记录转换为多条记录。TransformerSupplier> transformerSupplier,final String...stateStoreNames)但是如何返回多个KeyValue对,以便以后可以使用分支发布到受人尊敬
的
主题
有一种方法可以将数据转发到
下游
,但我如何再次使用该数据? Kafka版本- 1.1.0
浏览 8
提问于2019-11-19
得票数 0
回答已采纳
1
回答
具有非空检查
的
Kafka流应用程序
apache-kafka
、
apache-kafka-streams
我有一个流媒体应用程序,它
订阅
了两个
主题
,并发布了一个
主题
。一个
订阅
的
主题
来自我无法控制
的
数据源,它给了我空值,而不应该是空值。所以我正在考虑在这个流应用程序中实现一个空检查,但我需要知道最新发布
的
消息,因为目前流应用程序是一种无
状态
。因此,我将添加一个
状态
存储
到流应用程序,在那里我可以查询最新
的
消息。 这是合法
的
方法吗?除了在流媒体应用中添加“
状态</e
浏览 16
提问于2020-04-24
得票数 0
回答已采纳
2
回答
当
主题
不可用时,如何关闭Kafka streams应用程序?
java
、
apache-kafka
、
apache-kafka-streams
我正在使用SpringBoot应用程序
的
Kstreams。我已经添加了下面给出
的
代码来处理流
的
关闭。Throwable e) { System.exit(1);然而,当一个使用过
的
主题
在
浏览 0
提问于2020-08-04
得票数 1
3
回答
谷歌IoT核心:我如何知道消息来自哪个设备?
google-cloud-functions
、
mqtt
、
google-cloud-dataflow
、
google-cloud-pubsub
、
google-cloud-iot
在Google Cloud中,我有一个IoT核心注册表,其中包含许多设备(通过MQTT连接)和两个发布/
订阅
主题
:事件
主题
(针对设备遥测事件)和
状态
主题
(针对设备
状态
事件)。我正在使用数据流作业处理来自事件
主题
的
消息。 问:我如何知道给定
的
消息来自哪个设备?我是否需要使用某种设备ID手动丰富消息(在设备端),或者它是由Google Cloud以某种方式提供
的
?最后,我希望能够将消息
存储
在数
浏览 47
提问于2019-05-02
得票数 2
1
回答
卡夫卡流应用程序重置globalTable和输入
主题
java
、
apache-kafka
、
apache-kafka-streams
我正在构建一个kafka流应用程序,目的是在业务逻辑失败
的
情况下进行水平缩放和数据再处理。到目前为止,我尝试使用globalTable来提供来自全局
主题
的
数据,但是当我重置应用程序以使用历史数据时,我不确定它
的
行为。据我所知,应用程序重置后,所有m
浏览 1
提问于2022-08-08
得票数 0
点击加载更多
扫码
添加站长 进交流群
领取专属
10元无门槛券
手把手带您无忧上云
相关
资讯
十二张图,一脚踹开消息队列的大门
什么是 Azure 服务总线?
深夜更新-一文读懂MQ消息队列
Spring Cloud 实现可靠消息一致性
聊聊 Pulsar: Pulsar 的核心概念与基础架构
活动推荐
运营活动
广告
关闭
领券