我有一个场景,我有不同类型的消息从kafka producer中流式传输。
如果我不想针对不同的消息类型使用不同的主题,如何在spark-structured streaming消费者端处理它?How to identify which message is been received from Kafka topic?Please let me know how to handle this scenario at kafka consumer side?
我正在尝试使用Kafka to Storm来模拟数据流。我使用KafkaSpout从一个主题中读取一条消息,该消息是由一个生产者发送的,该生产者读取这些Tweet并将它们发送到一个主题。我的问题是,在拓扑使用了该主题中的所有tweet send之后,它会继续读取该主题中的消息两次。如何阻止KafkaSpout读取两次?(复制因子设置为1)