----
整合Kafka 0-10-开发使用
原理
目前企业中基本都使用New Consumer API集成,优势如下:
1.Direct方式
直接到Kafka Topic中依据偏移量范围获取数据,进行处理分析...[K, V],消费策略,直接使用源码推荐的订阅模式,通过参数订阅主题即可
//kafkaDS就是从Kafka中消费到的完整的消息记录!
...[K, V],消费策略,直接使用源码推荐的订阅模式,通过参数订阅主题即可
//kafkaDS就是从Kafka中消费到的完整的消息记录!
...//3.使用spark-streaming-kafka-0-10中的Direct模式连接Kafka
//连接kafka之前,要先去MySQL看下有没有该消费者组的offset记录,如果有从记录的位置开始消费...o.untilOffset)
ps.executeUpdate()
}
ps.close()
connection.close()
}
//2.从数据库读取偏移量