我使用通道类型KafkaChannel，以便将这些消息推送到具有10个分区的Kafka主题，稍后可以由Spark应用程序处理。
我遇到的问题是，每个文件都被写入到Kafka主题的单个分区中。其中一些文件比其他文件大得多，这意味着消息在主题分区中的分布非常不均匀。有没有办法在flume中配置KafkaChannel，以平衡主题分区中的消息，或者限制一次发送的消息数量，从而将负载分散到
浏览 6提问于2018-07-31得票数 0
回答已采纳
2016-02-26 18:25:21,775 (SinkRunner-PollingRunner-DefaultSinkProcessor) DEBUG - org.apache.flume.channel.kafka.KafkaChannel$KafkaTransaction.doTake(KafkaChannel.java:327)超时等待来自卡夫卡kafka.consumer.ConsumerTimeoutException的数据在kafka.consumer.ConsumerIterator.makeNextorg.apache.
浏览 1提问于2016-02-26得票数 0
我正在使用Knative Eventing (Kafka Source，它读取kafka集群中的数据)来触发消费者服务，如果事件/消息没有成功处理(可能是任何原因)，我希望自动重新传递消息。问题:在Knative上，一旦KafkaSource将消息发送到消费者服务，消费者服务将处理请求并发送http错误代码响应(基本上消息处理失败)，并在消费者组中显示为lag (挂起)。预期:在此场景中，希望在处理下一个顺序请求之前重新传递相同的消息。有没有可能从Kafka源重新编辑消息或消费
浏览 6提问于2020-07-24得票数 1
在Flume中，当使用Kafka频道时，是否有办法影响事件被发送到哪个分区？使用Kafka 接收器，key FlumeEvent头显然用于选择一个分区，但我找不到任何关于使用Kafka 通道的分区的文档。
浏览 3提问于2016-02-02得票数 0
回答已采纳
.sinks.sink1.channel = channel1我在本地设置了动物园管理员和两个经纪人，使用上述端口号，我有一个生产者客户端将消息推给(DefaultChannelFactory.java:42)] Creating instance of channel channel1 type org.apache.flume.channel.kafka.KafkaChannel2015-07-02 20:22:37,650 (conf-file-poller-0) [INFO
浏览 2提问于2015-07-03得票数 0
回答已采纳
我有一个任务是使用Apache Flume向Kafka主题发送消息。需要注意的是，我必须根据将出现在消息中的IP地址指定分区。有没有办法将Apache Flume配置为动态执行此操作，或者我是否必须实现自定义生产者插件？
谢谢。
浏览 1提问于2017-07-20得票数 1
回答已采纳
1回答
我有以下flume代理配置，用于从kafka源读取消息并将它们写回HDFS接收器tier 1.channels = channel1tier1.sources.source1.kafka.consumer.timeout.ms = 100
tier1.channels.channel1.type = org.apache.flume.channel.kafka.KafkaChannelavro数据，如果每个轮询周期只有一条ka
浏览 1提问于2016-10-18得票数 1
Kafka重新平衡算法可以跨主题工作吗？或者它是否只在一个主题内平衡，因此10个第一实例可能(或可能)接收所有50个分区，而其他10个实例可能保持空闲？我知道在过去的日子里，Kafka不会平衡不同的主题，但是现在的版本呢？
浏览 2提问于2020-09-13得票数 2
1回答
星火中的集散水槽流
、、、
在每个客户的文件夹中最多生成15个日志文件(每个客户1个)，结构如下：在服务器C上，我们有一个侦听来自服务器A和服务器B的Rsyslog tcp消息的Flume接收器。
浏览 1提问于2015-04-09得票数 1
我使用水槽从kafka主题HDFS文件夹加载消息。所以,
任何帮助都是非常感谢的。谢谢。)
浏览 0提问于2018-02-14得票数 1
回答已采纳
在消费者再平衡过程中如何确保消息排序。假设最初我们有四个分区: p1、p2、p3、p4和两个使用者c1和c2 (在同一组中)。因此，每个消费者获得两个分区，例如c1 : p1、p2和c2 : p3、p4。现在添加了新的消费者，比如c3和c4，这样每个消费者就可以得到一个分区，比如c1 : p1，c2:p2，c3:p3，c4:p4。在此期间，消费者c1可能正在处理来自分区p2的消息(在重新平衡之前)。
消费者c2也开始处理p2消息(在重
浏览 4提问于2016-12-06得票数 1
回答已采纳
1回答
槽辊设置不起作用
、、、
tier1.sources.source1.kafka.consumer.timeout.ms = 20000000我不完全确定的一个设置是rollCount，所以有一些额外的信息：
我得到了80字节
浏览 3提问于2015-02-24得票数 0
1回答
Flume版本:- 1.6Zookeeper版本:- 3.4.10如果有人能指出我遗漏了什么，那将是非常有帮助的。
Map<String, String> channelParamters
浏览 0提问于2018-04-18得票数 0
1回答
我有一个kafka集群，其中包含的特定主题分区太少，因此收集了大量积压的消息。在我添加额外的分区后，只有新的消息在所有新的分区之间平衡。平衡所有新分区中原始分区中的“旧”消息积压的首选方法是什么？ 我想重新读取和写入所有消息，并相应地更新偏移量，但如果新的消费者组将从该主题的开头开始消费，则会产生重复的消息。
浏览 10提问于2019-01-27得票数 1
我希望实现这样一个事实，即同一服务的两个实例以循环方式使用同一主题的消息。 System.out.println("Data received: " + payload);问题是，当我运行应用程序的两个实例时，只有一个实例接收主题的消息那么，如何实现两个实例在轮询中获取相同主题的消息的场景？
谢谢！！
浏览 1提问于2020-09-13得票数 2
kafka集群中topic的分区和副本有什么区别。我的意思是两者都将消息的副本存储在一个主题中。那么真正的区别是什么呢？
浏览 0提问于2014-11-26得票数 34
1回答
我想知道简单的主题和分区topic.As之间的区别根据我的理解平衡负载，主题已经被分区，每个消息将有偏移量和消费者将确认，以确保以前的消息已经consumed.In的情况下没有分区和消费者不匹配的再平衡由卡夫卡做它有效地管理如果创建了多个主题而不是分区，是否会影响操作效率。
浏览 3提问于2015-01-07得票数 13
回答已采纳
1回答
我通过以下两种方式完成了摄入部分的实现：(1)具有多个消费者的平原Kafka Java生成器(2) Flume代理#1 (Twitter接收器)\{e76f}\{e76f}(潜在的)代理#2( source有人能解释为什么我会使用Flume+Kafka而不是普通的卡夫卡或普通的水槽吗？
浏览 0提问于2016-11-07得票数 2
回答已采纳
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
腾讯会议
云直播
对象存储活动推荐
腾讯云开发者
