前往小程序,Get更优阅读体验!
立即前往
首页
学习
活动
专区
工具
TVP
发布
社区首页 >专栏 >Kafka多线程Consumer

Kafka多线程Consumer

作者头像
用户6070864
发布2019-08-20 15:47:40
7650
发布2019-08-20 15:47:40
举报
文章被收录于专栏:实时流式计算实时流式计算
多线程示例代码:
代码语言:javascript
复制
这里要根据自身需求开发,我这里只举一个简单的例子,就是几个分区就启动几个consumer,一一对应。
三个类:
Main:
public static void main(String[] args) {
		
		String bootstrapServers = "kafka01:9092,kafka02:9092";
		String groupId = "test";
		String topic = "testtopic";
		int consumerNum = 3;
		ConsumerGroup cg = new ConsumerGroup(consumerNum,bootstrapServers,groupId,topic);
		cg.execute();
}



import java.util.ArrayList;
import java.util.List;


public class ConsumerGroup {
	
	private List<ConsumerRunnable> consumers;
	
	public ConsumerGroup(int consumerNum,String bootstrapServers,String groupId,String topic){
		
		consumers = new ArrayList<>(consumerNum);
		
		for(int i=0;i < consumerNum;i++){
			ConsumerRunnable ConsumerRunnable = new ConsumerRunnable(bootstrapServers,groupId,topic);
			consumers.add(ConsumerRunnable);
		}
	}
	
	public void execute(){
		
		for(ConsumerRunnable consumerRunnable:consumers){
			new Thread(consumerRunnable).start();
		}
	}
}



import java.util.Arrays;
import java.util.Properties;

import org.apache.kafka.clients.consumer.ConsumerRecord;
import org.apache.kafka.clients.consumer.ConsumerRecords;
import org.apache.kafka.clients.consumer.KafkaConsumer;

public class ConsumerRunnable implements Runnable{
	
	private final KafkaConsumer<String,String> consumer;
	
	public ConsumerRunnable(String bootstrapServers,String groupId,String topic){
		
		Properties props = new Properties();
	    props.put("bootstrap.servers", bootstrapServers);
	    props.put("group.id", groupId);
	    props.put("enable.auto.commit", "true");
	    props.put("auto.commit.interval.ms", "1000");
	    props.put("key.deserializer", "org.apache.kafka.common.serialization.StringDeserializer");
	    props.put("value.deserializer", "org.apache.kafka.common.serialization.StringDeserializer");
	    props.put("auto.offset.reset","earliest");
	    this.consumer = new KafkaConsumer<>(props);
	    consumer.subscribe(Arrays.asList(topic));
	}

	@Override
	public void run() {
	    while (true) {
	        ConsumerRecords<String, String> records = consumer.poll(10);
	        for (ConsumerRecord<String, String> record : records) {
	        	System.out.printf("offset = %d, key = %s, value = %s%n", record.offset(), record.key(), record.value());
	        }
	    }
	}
}
poll方法详解:

(旧版本:多分区多线程 新版本:一个线程管理多个socket连接)

但新版本KafkaConsumer是双线程的,主线程负责:消息获取,rebalance,coordinator,位移提交等等,

另一个是后台心跳线程。

根据上边的各种配置,poll方法会找到offset,当获取了足够多的可用数据,或者等待时间超过了指定的超时时间,就会返回。

java consumer不是线程安全的,同一个KafkaConsumer用在了多个线程中,将会报Kafka Consumer is not safe for multi-threaded assess异常。可以加一个同步锁进行保护。

poll的超时参数,已经说过1000的话是超时设定,如果没有很多数据,也就等一秒,就返回了,比如定时5秒的将消息写入,就可以将超时参数设置为5000,达到效率最大化。

如果没有定时任务呢,那就设置为 Long.MAX_VALUE 未获取足够多的数据就无限等待。这里要捕获一下WakeupException。

本文参与 腾讯云自媒体同步曝光计划,分享自微信公众号。
原始发表:2019-08-18,如有侵权请联系 cloudcommunity@tencent.com 删除

本文分享自 实时流式计算 微信公众号,前往查看

如有侵权,请联系 cloudcommunity@tencent.com 删除。

本文参与 腾讯云自媒体同步曝光计划  ,欢迎热爱写作的你一起参与!

评论
登录后参与评论
0 条评论
热度
最新
推荐阅读
目录
  • 多线程示例代码:
  • poll方法详解:
领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档