2回答
据我所知，我的消息将使用默认的内置分区程序在分区之间均匀分布。另一方面，我有一个Kafka消费者的线程池。每个Kafka使用者都将在自己的专用线程中运行，使用来自主题的消息。这些消费者中的每一个都被给予相同的group.id。这将允许并行使用消息。每个消费者都将被分配到其公平份额的分区中进行读取。
我希望我<e
浏览 20提问于2017-08-26得票数 7
回答已采纳
我使用的是ProtoBuf而不是Kafka。我们正在创建大量的ProtoBuf消息，但是我们被这两个选项卡住了。想知道做这件事的最好方法是什么？希望问题不会被降级，因为它是基于某种观点的！比如说，我想在Kafka上发送员工信息。我想使用"id“作为kafka键，使用value作为"Employee”消息，如下所示。
选项-1包括"id“。在此选项<em
浏览 0提问于2020-08-13得票数 0
使用火花和卡夫卡实现这一目标的最佳方法是什么？也就是说，处理文件非常昂贵，特别是在today.xml和第二行更新中，这与昨天的数据有关，但是由于发生了更新，所以应该将其视为今天的更新。我需要将新的(和更新的)数据写入数据库(作为接收器)。的目的是向同一专业的人推荐新的记录。也就是说，如果我的专业是IT，那么在登录时，我会得到推荐的OppTit1，一旦我打开这个Op
浏览 1提问于2020-05-11得票数 0
我正在做的项目，应该写通过kafka到hdfs。假设有在线服务器将消息写入kafka。每条消息都包含时间戳。我想创建一个作业，根据消息中的时间戳，输出将是一个或多个文件。例如，如果kafka中的数据是 ...我想得到3个文件作为输出
浏览 0提问于2013-07-02得票数 11
回答已采纳
1回答
我使用的是合流3.3.0。我使用jdbc-source-connector将消息插入到我的Oracle表中的Kafka中。这个很好用。
我想检查一下是否可以“重新插入”。我的意思是，如果我有一个学生表，有3列id(数字)、name(varchar2)和last_modified(时间戳)。每当我插入新行时，它都会被推送到Kafka (使用timestamp+auto增量字段)。但是当我更新行时，应该更新Kafka<e
浏览 1提问于2018-08-01得票数 0
1回答
基于哪些csv文件，我想将它们放在hdfs中的不同目录中。
我有11个csv文件，它们将由unix服务器A上的kafka producer发送给kafka。csv文件的第一个元素将包含一个密钥。我想把第一个元素作为kafka消息的关键字。另外，我想在kafka中发送数据的值作为消息。当它命中kafka集群时，将有一个flume代
浏览 1提问于2016-10-28得票数 0
这个主题应该只包含每个X的最新“文档X更新”事件。但我无法正确配置主题，它保留了多个副本。"cleanup.policy" -> "compact，但它总是在第一次运行时接收所有生成的消息，并在
浏览 2提问于2017-06-22得票数 1
我如何查询kafka并获得最新的、最近的消息的时间戳/偏移量/分区，以及主题和消息键？
我们的应用程序有高丽和爪哇。然而，任何解决办法都是受欢迎的。提前谢谢。
浏览 8提问于2022-06-17得票数 1
1回答
我有一个数据负载，它对于一条消息来说太大了。record Comments {...} Likes likes; string body;
} 假设点赞和评论是很大的集合，如果将它们和帖子一起传递，它将超过最大消息大小，我认为增加到10-20MB是不正确的。我想把一条消息分成三条:帖子正文，评论和点赞。但是，我希望数据库插入是原子性，因此我希望在消费者内存中对这些消息进行分组
浏览 72提问于2019-04-29得票数 0
回答已采纳
作为我的客户端站点设计决策的一部分，http请求-响应流中涉及的组件(微服务)允许生成关于kafka主题()的消息，但不允许使用来自kafka主题的消息。这类组件(微服务)可以读写数据库，可以与其他组件对话，可以生成主题消息，却不能使用来自卡夫卡主题的消息。
相反，设计建议编写单独的实用程序，使用kaf
浏览 2提问于2021-01-29得票数 0
1回答
我最近正在尝试使用kafka streaming进行一些敏感数据处理。我希望实现的目标是，当敏感数据被加密时，微服务架构的能力不会受到影响，即，紧密耦合的服务和流数据处理。我的问题是，在kafka流中，有没有可能我用一个密钥解密传入的消息，然后用另一个密钥再次加密？我有一个计划，但由于我不熟悉kafka streaming，我不能证明kafka
浏览 34提问于2020-01-14得票数 0
回答已采纳
2回答
我正在写一个kafka消费者，应该反序列化来自avro的传入消息。我确实有消息的模式，我想知道在vanilla kafka中反序列化这些消息的最好方法是什么。我搜索了一段时间，但我看到的所有示例都是针对文件反序列化的，比如这个http://avro.apache.org/docs/1.9.
浏览 33提问于2020-08-07得票数 2
post将最大轮询记录设置为1，以保证一个流文件中的事件来自同一分区。https://community.hortonworks.com/articles/223849/simple-backup-and-restore-of-kafka-messages-via-ni.html这是否意味着如果使用消息分隔符，同一FlowFile中的事件可以来自不同的分区？https://github.com
浏览 11提问于2019-01-19得票数 0
回答已采纳
1回答
当我使用spring-boot和spring-kafka时，我的代码如下：spring.kafka.bootstrap-servers=localhost:9092spring.kafka.consumer.key- deserializer=org.apache.kafka.common.serialization.StringDeserializer
浏览 0提问于2018-07-06得票数 0
我正在尝试向具有2个分区的单个主题生成一些消息。所有消息都将只发送到2号分区。我希望生产者流会跨所有分区分发消息。const kafka = require('kafka-node')const _ = require('lodash');
const client = new kafka.KafkaClient({ kafk
浏览 16提问于2020-01-07得票数 0
我有一个Kafka主题，目前有3个分区。我希望我的消费者从相同的分区读取，但每个消息都应该以循环的方式发送到不同的消费者。有可能做到这一点吗？
浏览 0提问于2015-10-22得票数 0
2回答
所以他们中的一个会得到问题，然后做一些事情，然后改变这个问题的状态。其他可能涉及这一问题的应用程序应该获得新的信息。这种情况一直持续到问题达到最终结束状态为止。问题在于必须映射问题，因为这些应用程序并不都支持相同的数据格式。
谢谢你的建议
浏览 2提问于2017-10-11得票数 1
回答已采纳
2回答
来自
正如我们所知，代理使用特定的系统调用向使用者传递消息。然而，如果需要对信息进行一些调整，卡夫卡的性能就会显著下降。因此，如果消息没有改变，因为它使用了系统的功能，那么它可以很好地执行。
浏览 1提问于2020-02-03得票数 4
回答已采纳
1回答
我已经开始学习MQTT，因为我在目前的组织中有一个远程信息处理的用例。我想将MQTT代理(蚊子)消息集成到我的kafka中。由于每个工具都在单个组织内的MQTT代理中以其自己的主题发送数据，因此我希望将所有这些数据推送到kafka中。现在我知道用kafka创建这么多主题(超过一百万)是不可取的。此外，我不想将所有车辆数据保存在一个卡夫卡主题中，因
浏览 19提问于2019-11-28得票数 1
2回答
我正在寻找从Kafka读取消息的最佳方法(每天大约100 B)，阅读了我需要对数据进行操作并将其写入HDFS的消息。如果我需要以最好的性能完成这个任务，那么从Kafka读取消息并将文件写入HDFS的最佳方法是什么？
我是否需要考虑使用像斯派克这样的解决方案？
浏览 0提问于2018-05-14得票数 2
云服务器
ICP备案
腾讯会议
云直播
对象存储
腾讯云开发者
