0回答
我尝试使用Long as类型的消息键，但我得到streamsConfiguration.put(StreamsConfig.KEY_SERDE_CLASS_CONFIG, Serdes.Long.getClass().getName());KStream&
浏览 1提问于2017-12-05得票数 0
回答已采纳
1回答
我读过流密码可以用来加密任意长度的消息/流(cf )。流密码标签的描述)。但是，有一些流密码器可以创建固定长度的密钥流和XORs消息，并一点一点地创建密钥流。因此，我想知道，如果消息长度大于密钥流的长度，会发生什
浏览 0提问于2017-08-15得票数 3
回答已采纳
1回答
星火中的集散水槽流
、、、
我正在研究在我们的设置中做一些“实时”日志处理的能力，我有一个关于如何进行的问题。
/var/log/CUSTOMER/logfile.log
在服务器C上，我们有一个侦听来自服务器A和服务
浏览 1提问于2015-04-09得票数 1
2回答
所以他们中的一个会得到问题，然后做一些事情，然后改变这个问题的状态。其他可能涉及这一问题的应用程序应该获得新的信息。这种情况一直持续到问题达到最终结束状态为止。问题在于必须映射问题，因为这些应用程序并不都支持相同的数据格式。
谢谢你的建议
浏览 2提问于2017-10-11得票数 1
回答已采纳
post将最大轮询记录设置为1，以保证一个流文件中的事件来自同一分区。https://community.hortonworks.com/articles/223849/simple-backup-and-restore-of-kafka-messages-via-ni.html这是否意味着如果使用消息分隔符，同一FlowFile中的事件可以来自不同的分区？https://githu
浏览 11提问于2019-01-19得票数 0
回答已采纳
在我们的事务处理系统中实现了kafka流处理。该解决方案实现如下：
Kafka producer将事件发布到kafka topic，流处理器处理输入事件并进行聚合操作。流处理完成后，该事件将发布到另一个主题。由于第一个topic中没有实现消费者，如何从第一个topic中移除已处理的消息。
浏览 0提问于2017-08-14得票数 1
1回答
我最近正在尝试使用kafka streaming进行一些敏感数据处理。我希望实现的目标是，当敏感数据被加密时，微服务架构的能力不会受到影响，即，紧密耦合的服务和流数据处理。我的问题是，在kafka流中，有没有可能我用一个密钥解密传入的消息，然后用另一个密钥再次加密？我有一个计划，但由于我不熟悉kafka streaming，我不
浏览 34提问于2020-01-14得票数 0
回答已采纳
我在Apache中建立了一个简单的管道，从twitter中提取一些tweet，并将它们转储到kafka主题中。Tweet被丢弃到主题中，没有错误，但是我不知道为什么主题消息的键没有设置。我使用了一个"EvaluateJSONPath“处理器来设置从通过"GetTwitter”处理器提取的JSON中提取的流文件的属性。如果我暂停并看到进入"publishKafkaRecord“处理器<em
浏览 9提问于2021-03-27得票数 0
我想问你，如果我不使用状态流，我的KafkaStreamsConfiguration中是否需要复制因子。我不使用这个RockDB。据我所知，复制因子设置是针对changelog和repartition主题的。我理解这个changelog主题，但是这个重新划分主题让我有点困惑……有人能用非常简单的语言给我解释一下这个道歉主题是什么吗?如果我不在我的流媒体应用中使用状态，我是否应该关心这个复制因素？
问候
浏览 1提问于2021-04-23得票数 1
我的要求是使用kafka流DSL跳过或避免从输入主题接收的重复消息(具有相同的密钥)。源系统->输入主题-> Kafka流->输出主题
目前，我正在使用flatMap来生成多个有效负载密钥，但是flatMap是无状态的，因此在接收到输
浏览 1提问于2019-04-23得票数 1
回答已采纳
我将根据一些配置动态地获取kafka消息的密钥。现在我想知道，消息密钥长度是否有单独的设置，或者只受(整个)消息大小的限制？ 我尝试搜索此信息，但所有地方都只提到消息大小。
浏览 29提问于2020-09-14得票数 3
1回答
我有一个数据负载，它对于一条消息来说太大了。record Comments {...} Likes likes; string body;
} 假设点赞和评论是很大的集合，如果将它们和帖子一起传递，它将超过最大消息大小，我认为增加到10-20MB是不正确的。我想把一条消息分成三条:帖子正文，评论和点赞。但是，我希望数据库插入是原子性，因此我希望在消费者内存中对这些消息进行分组
浏览 72提问于2019-04-29得票数 0
回答已采纳
我正在尝试理解在卡夫卡主题中是否有可能找到具体的信息。Kafka消息密钥被认为是解决这个问题的手段。 但我怀疑，该键只允许标识主题中的分区，而不是分区中的特定消息。有没有办法识别Kafka分区中的特定消息，并找到此消息以供进一步使用(例如，读取此特定消息)？ 它是关于流处理的
浏览 26提问于2021-01-28得票数 2
因此，我知道密钥流是从键生成的，是您想要发送的消息的长度，这样您就可以正确地将每一位异或。但我很难找到和理解从IV和key创建密钥流的算法。我的一个想法是，如果您有长度为100的消息和长度为10的密钥，那么您的IV是90位来覆盖消息的其余部
浏览 0提问于2020-05-10得票数 0
回答已采纳
我的要求是使用大量数据量的kafka流构建实时聚合管道.根据估计，可能的唯一密钥为30亿到40亿，总消息大小为5TB。高级架构是从一个kafka主题中读取，根据特定的关键列进行聚合，并将聚合结果发布到KTable ()中。KTable用于读取以前的状态并使用新的聚合结果进行更新。具有数十亿个唯一密钥的KTable可伸缩吗？
浏览 3提问于2020-07-30得票数 1
回答已采纳
在spring运行时，可以让kafka源模块作为处理器模块工作吗？有代码样本吗？我正试图实现这样的目标: http (xd源)、xd源(xd处理器)、xd使用者(xd接收器)stream create kafkaSourceTest --definition "http --outputType=application/json | kafka
浏览 3提问于2015-05-12得票数 0
回答已采纳
这是一个与架构相关的问题。我正在探索一种新的架构/模式(实时事件驱动)，其中前端(可以是vue.js、棱角或反应)调用多个rest服务，这些服务集成到诸如kafka这样的分布式流平台中。用于前端的简单操作，这不涉及状态更改，HTTP调用就足够了--不需要卡夫卡。用于状态更改操作，例如更新某些内容，需要HTTP调用--这就是卡夫卡可能会派上用场的地方。那么，我如何充分利用卡夫卡，使前端和后端成为真正的事件驱动架构？
浏览 4提问于2020-02-15得票数 0
val actorSystem = ActorSystem("ReactiveKafka")val publisher: Publisher[StringConsumerRecord] = kafka.consume(ConsumerProperties写消息。然而，消费者在Kafka中的意
浏览 7提问于2016-08-28得票数 0
回答已采纳
1回答
我有一个带有一些输入主题的kafka流。这是我为接受kafka流而写的代码。KafkaUtils.createDirectStream(ssc, topics,\ 然后，我创建了原始流的键和值的两个keys = kvs.map(lambda x: x[0].split(" "))
values =
浏览 10提问于2016-08-19得票数 0
云服务器
ICP备案
腾讯会议
云直播
对象存储
腾讯云开发者
