1回答
我还使用了Spring Cloud Streams，它在此基础上增加了另一个级别的复杂性。我有一个规则引擎，它读取Kafka事件，处理事件，返回匹配的规则列表，并将其写入另一个主题。IndicatorEvaluation> analyze(final String host, final ProcessNode process) {}
一些有状态规则如下所示some condition] FOLLOWEDBY [some condition] WITHIN 1 M
浏览 11提问于2020-02-19得票数 1
在Kafka Broker上，建议对消息日志使用多个驱动器来提高吞吐量。这就是为什么他们有一个log.dirs属性，可以有多个目录，这些目录将以循环方式分配给分区。我们已经为事件驱动的kafka应用程序安装了很多这样的安装，我们有4个节点，每个节点有5个磁盘。现在，我们希望使用带有键值存储的Kafka流，在该存储库中，我们将计算出来的数据持久化，用于快速范围查询。我们看到Kafka-Streams将
浏览 6提问于2020-03-16得票数 1
回答已采纳
2回答
我已经阅读了有状态流处理，如果我理解正确的话，RocksDB被用作键值存储的默认实现的一个主要原因是，与内存中的集合不同，它可以处理大于可用内存的数据，因为它可以刷新到磁盘。例如，我注意到我的持久状态存储为每个主题分区创建了一些.log文件，但它们都是空的。
简而言之，我想知道用内存中的存储替换持久性存储的性能好处和可能的风险。
浏览 1提问于2018-03-08得票数 12
回答已采纳
消费者收到一个Kafka流，流中的消息需要基于一些Validator Micro服务和Enricher API调用进行丰富和验证。它还将消息持久化到数据库中。流程是这样的- Kafka Stream consumer ->每个消息->调用Rule Validator Rest API ->调用富API ->通过持久化REST API保存到数据库。显然，Kafka</e
浏览 0提问于2020-03-22得票数 1
我有一个将(X，Y)坐标保存到SQL表的系统。然后，我有一个端点，当被调用时，它返回(X，Y)坐标。 但是，我的系统需要30分钟来处理(X，Y)坐标并将其存储到SQL表中。从这个意义上说，我使用KSQL来更快地获取数据。 我已经在我提到的后端的端点中添加了对KSQL的调用。问题是这个调用给我的请求增加了6秒的额外时间。我的端点包含一个查询，如下所示 SELECT feature_a,feature_b FROM ksql_table; 之前的两个流已经对ksql_table进行了预处理。在我的理解
浏览 29提问于2019-02-04得票数 1
回答已采纳
在许多文章中，我读到过压缩的Kafka主题可以用作数据库。但是，在查看Kafka时，我无法找到允许我根据键查询主题值的方法。
那么，一个紧凑的卡夫卡主题可以作为一个(高性能，只读)键值数据库吗？在我的体系结构中，我想给组件提供一个紧凑的主题。我想知道这个组件是否需要在其本地数据库中复制这个主题，或者它是否可以使用这个压缩的主题作为一个键值数据库。
浏览 4提问于2020-11-24得票数 4
回答已采纳
2回答
存储流事件的建议
、、、
我们正在评估持久化流事件的可能方法(用户单击来自多个不同用户的web浏览器中的事件)，以便我们能够构建定制的用户仪表板，以便稍后分析这些单击事件。我们计划使用Kafka作为中间层，吸收来自不同用户浏览器的大量流数据。我可以想象如果使用Kafka作为持久DB，那么可能是降低存储成本的一种可能的解决方案。总的来说，为了能够设计一个定制的仪表板来查询已摄入的事件流，是否应该使用K
浏览 18提问于2022-03-30得票数 0
1回答
我们正在使用spark 2.4.3运行一个结构化的流式处理过程，它从kafka读取数据，转换数据(使用udf平面化并创建一些列)，然后将数据写回kafka到不同的主题。这个流是每两分钟processingTime一次。10-12小时后，我们注意到由于高内存消耗，我们的pod正在下降。正如我上面解释的那样，我们没有聚合，也没有在数据集上使用持久化。我们注意到
浏览 17提问于2019-07-08得票数 1
我有一个应用程序，它需要在分布在地理区域的实例的状态之间进行有趣的编排，同时需要一个可伸缩的分布式数据库。目前，我认为具有日志压缩的Kafka将满足我对状态维护和实例间消息交换的需要，而Cassandra将满足我对持久化数据的大量分布式读写的需要。然而，有相当多的数据是这样重复的:通过Kafka交换的许多数据也需要存储到Cassandra以进行分布式数据访问。将Kafka用于消息传递和分布式数据查询
浏览 6提问于2021-12-08得票数 0
回答已采纳
我有一个使用状态存储的kafka streams应用程序。我从一些地方了解到，状态存储位于/tmp目录下的本地rocksdb实例中。但在我的应用程序中，如果我停止它并从/tmp中删除应用程序kafka流目录，我仍然能够将我的状态存储恢复到以前的状态。这意味着要么根本不存储在rocksdb中，要么同时存储在kakfa和本地roc
浏览 0提问于2021-07-20得票数 1
1回答
我们将KTable具体化到一个内部状态存储中。 a.)我如何以及在哪里指定，这个内部状态存储应该是持久的，并自动备份到另一个kafka主题？b.)我们如何指定，这个Internal-State-Store应该是全局的，这样我的任何流任务都可以引用它？ c.)是否存在将传入messaageRecords写入内部状态存储区的频率？会不会发生这样的情况，一个特定的MessageRecor
浏览 39提问于2020-10-06得票数 0
我刚刚开始使用Spring Cloud Stream Kafka。然后，计算出的聚合将通过请求-响应层在UI中提供。我想知道Spring cloud stream和/或Kafka中是否支持聚
浏览 5提问于2017-01-06得票数 0
据我所知，处理Kafka流的状态在内存、磁盘或Kafka主题中都是本地的，因为所有的输入数据都来自一个分区，其中所有的消息都是由一个定义的值键控的。大多数情况下，计算可以在不知道其他处理器的状态的情况下完成。如果是这样的话，您有另一个Streams实例来计算结果。如图所示：Flink到底在哪里存储它的状态？Flink是否也可以在本地存储状态，或者总是将它们发布到所有实例(任务)？是否可以将Flink配置为将</em
浏览 0提问于2019-02-10得票数 3
我们有两个拓扑(流)。一个没有内部状态存储，另一个有内部状态存储。该流的活动任务和备用任务在两个节点的两个单独的kubernetes荚中运行。当我没有选择的时候，请纠正我，并且不知道
浏览 3提问于2020-09-01得票数 1
回答已采纳
当我正在使用最新版本的Akka时，我注意到耐用的邮箱现在已经从Akka移除了。
我需要确保我的消息在崩溃后重新启动时被恢复。是否有另一种不使用持久邮箱或其他人自定义实现的工作方式。我也尝试过Akka持久化，但是它会重播这些消息，而且我不想在崩溃时发送两次相同的消息，因为所有消息的执行成本都很高。
浏览 5提问于2015-09-18得票数 10
回答已采纳
1回答
例如，由于KSQL是为使用Kafka而构建的，因此当我从主题创建表时，或者当我编写查询时，表或查询结果存储在哪里？更具体地说，KSQL是使用某种类型的指针指向主题分区内的段内的事件，还是在我从主题创建表时复制事件？
浏览 12提问于2019-10-30得票数 1
回答已采纳
我的意图是使用Java (更确切地说是Quarkus本机)从可配置流中将任意Kafka消息内容读取为JSON，并将其持久化，然后使用初始消息中的内容将新消息写入另一个可配置流。所有这些都不需要对JSON内容进行反序列化，从而使其对应用程序所传递的内容不透明。当然，它可以是其他一些格式，比如Avro，但是只要我能够使代码与任何流中的任何内容一起工作，它仍然可以解决这个问题。
这样做的
浏览 1提问于2021-07-14得票数 0
回答已采纳
1回答
我正在使用spark v2.4.0，我正在阅读kafka的两个不同的流，并对每个流进行一些不同的转换，现在我想坚持这两个流数据帧，但是只有其中一个被保存，另一个似乎不能同时工作，我非常感谢提供的任何帮助clickStreamDF = spark \ .format("kafka") \
.option("kafka.bootstrap.serversclickStream_writing_sink.awai
浏览 3提问于2021-07-18得票数 0
1回答
我目前正在研究一个跟踪用户与平台交互的用例，从而生成一个事件流，这些事件流存储在kafka中，随后将在Kafka Streams/KSQL中进行处理。但是，我遇到了一个关于状态存储和更改主题保留策略的问题。用户会话可能在时间上无限期地发生，因此，我必须保证状态将在此期间持久存在，并在节点和集群范围内发生故障时恢复。在我们的搜索过程中，我们获得了以下信息：
卡夫卡流允许有状态流<
浏览 5提问于2020-03-04得票数 1
回答已采纳
在UserService中，我使用的是MongoDb。当我在UserService中创建新用户时，我希望将基本用户信息同步到ShoppingService。在UserService中，我使用了像事件源这样的东西。当我创建新的User时，我首先创建UserCreatedEvent，然后将事件应用到域User对象。我想知道是应该将Events集合作为User文档的嵌套属性来持久化，还是应该在单独的Use
浏览 0提问于2021-10-25得票数 0
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
腾讯会议
云直播
对象存储活动推荐
腾讯云开发者
