1回答
我使用Kafka头来传递用于日志记录的关联id，然后由Kafka拦截器使用它放入MDC。我的问题是头部信息到底存储在哪里，我的postgres DB没有任何用于存储消息头部信息的列，那么kafka将这些信息存储在哪里呢？它使用哪个数据存储区？下面是我的kafka_message表的列名。所有列
浏览 21提问于2021-09-02得票数 0
假设我从kafka生产者向kafka消费者发送一些消息，那么它将存储在哪里？有没有用来存储消息的数据库？消息存储了多长时间？
有没有人能解释一下。
浏览 0提问于2018-04-23得票数 6
回答已采纳
Elasticsearch和Kafka是分布式系统的两个例子，但它们对数据生产者的智能都采取了不同的方法--在ES中，数据生产者对数据的存储位置没有发言权。他们只是要求集群存储数据。在Kafka中，生产者知道集群的内部状态(它知道主题的分区在哪个节点上)，并且能够告诉集群将数据存储在特定的分区上。很明显，Kafka和ES是为不同的</em
浏览 7提问于2017-08-19得票数 6
我是Eclipse Hono的新手。我已经安装了eclipse，使用Helm图表和kubernetes()，它已经启动并运行，我正在用AMQP网络发送来自MQTT的消息。这是我的一些疑问和问题。保存所有消息的，以及如何获取访问和查看数据。如何将Hono数据库更改为是存储Eclipse文件的。
浏览 8提问于2022-09-29得票数 0
我试图通过spark-shell中的Spark structured streaming来阅读Kafka的主题，但似乎我没有从Kafka那里得到任何线条。Kafka单独运行良好(使用控制台-消费者和控制台-生产者进行测试)：ds1 = spark .fo
浏览 4提问于2017-12-12得票数 1
回答已采纳
我打算使用Spring boot和webSocket以及Kafka实现一个聊天室，但是我需要知道Kafka是否提供了异步消息传递服务
浏览 2提问于2019-07-02得票数 0
据我所知，处理Kafka流的状态在内存、磁盘或Kafka主题中都是本地的，因为所有的输入数据都来自一个分区，其中所有的消息都是由一个定义的值键控的。大多数情况下，计算可以在不知道其他处理器的状态的情况下完成。如果是这样的话，您有另一个Streams实例来计算结果。如图所示：Flink到底在哪里存储它的状态？Flink是否也可以在本地存储状态，或者总是将
浏览 0提问于2019-02-10得票数 3
2回答
我有卡夫卡作为服务器生态系统中的消息代理，我能以某种方式使MySQL成为消费者吗？
我需要直接用卡夫卡的数据库来写数据。
浏览 7提问于2015-07-07得票数 1
回答已采纳
我想从kafka主题消费AvroConfluent格式的消息，并将它们存储在一个点击表中，所以我用kafka引擎创建了一个表，我在表设置中输入了我的模式注册url，但模式注册服务器需要基本的身份验证，我不确定我应该把我的用户信息放在哪里和如何放置像kafka认证配置一样，我试着把我的信息放在config.xml文件中，用于点击房屋服务器，但显然它不起作用
浏览 17提问于2021-09-14得票数 0
2回答
所以他们中的一个会得到问题，然后做一些事情，然后改变这个问题的状态。其他可能涉及这一问题的应用程序应该获得新的信息。这种情况一直持续到问题达到最终结束状态为止。问题在于必须映射问题，因为这些应用程序并不都支持相同的数据格式。
谢谢你的建议
浏览 2提问于2017-10-11得票数 1
回答已采纳
我想通过.net应用程序在kafka中使用自定义分区。我创建了一个主题，该主题分为15个分区。我有多条消息传给我们的web服务。我想以这样一种方式使用分区，即当我们的服务到达时，每个消息都会转到它的分区。每条消息都有唯一的标识符，并且总是带有该标识符。因此，假设消息来自2345id，并且它第一次被存储在分区1中，那么总是该消息应该在该分区上。
在java中，我发现了一些使用基于散列的</em
浏览 0提问于2019-01-14得票数 2
我正在将Kafka连接器从ECS集群迁移到运行在Kubernetes上的新集群。通过删除Postgres源连接器并在精确的复制槽上重新创建它们，我成功地迁移了Postgres源连接器。但是现在要移动AWS s3接收器连接器，我首先在新集群中创建了一个非关键的s3连接器，其名称与旧集群中的名称相同。为了避免丢失数据，我打算在删除旧的数据之前等几分钟。令我惊讶的是，(基于akhq.io提供的UI )，这个新的s3连接器上的</em
浏览 8提问于2022-05-16得票数 0
回答已采纳
2回答
我读了很多关于kafka用作活动商店和CQRS的潜在候选者的文章。我想知道，由于kafka中的消息有一个有限的保留时间，那么消息从kafka保留消息的磁盘中删除后，事件将如何重播？从逻辑上讲，当这些消息从kafka外部(在读取kafka主题的消息之后)存储在数据库(sql/nosql
浏览 3提问于2019-11-16得票数 0
我见过很多Apache Beam的例子，你从PubSub读取数据并将其写入GCS bucket，但是有没有使用KafkaIO并将其写入GCS bucket的例子呢？在哪里可以解析消息，并根据消息内容将其放入适当的存储桶中？例如我的用例是将数据从Kafka流式传输到GCS存储桶，所以如果有人在GCP中提出了一些更好的方法，也很受欢迎。
浏览 12提问于2020-03-17得票数 1
我对Kafka和阅读文档有点陌生。卡夫卡办公网站有一个。其中应用程序被绑定到一个主题，并且消息一到达就被处理。结果会回发到主题或数据库。Spring Kafka注解@KafkaListener具有相同的功能。例如，我尝试过。在这里，我们也会监听一个主题，并在发布内容时对其进行处理。
所以我很好奇地想知道1.这2个有什么不同?2.在哪种情况下更喜欢哪一种？
浏览 5提问于2018-01-18得票数 1
1回答
我正在处理kafka消息，并使用spark streaming和手动偏移量提交插入到kudu表中。这里是我的代码。commit}
让我们在向kudu中插入数据时列出此示例，我得到了再次处理这些消息所需的错误，如果我停止作业并再次启动它，我能够获得未提交的消息我们不能在流中获得所有未提交的消息吗？
浏览 0提问于2019-03-28得票数 0
1回答
我的组织正在研究使用Kafka数据流作为我们应用程序的一部分的可能性。
为了更好地理解这一点，我在网上做了一些研究，认为我已经掌握了对Kafka的高度理解，它的目的和优点等等。但我想更多地了解如何系统测试一个使用Kafka的应用程序，但是我一直在努力寻找大量的信息，这些信息在这个领域提供了一些指点，所以我希望有一个人能够亲身体验到这一点，并能帮助我找到正确的方向。目前，我有更多的问
浏览 0提问于2017-03-05得票数 5
当hdfs不可用时，有没有办法确保数据的安全性？场景是: kafka-source，flume memory-channel，hdfs-sink。如果flume服务宕机，是否可以存储topic分区的偏移量，并在恢复后从正确的位置消费？
浏览 3提问于2016-06-12得票数 0
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
腾讯会议
云直播活动推荐
腾讯云开发者
