Kafka系列二之部署与使用

写在前面

从上一篇Kafka的架构介绍和安装中,可能,你还一直很蒙,kafka到底该怎么使用呢?接下来,我们就来介绍Kafka的部署与使用。上篇文章中我们说到,Kafka的几个重要组成是:1.producer 2.consumer 3.broker 4.topic .因此我们就是围绕这几个组件来使用我们的Kafka.

如何开始呢?

Step 1: Create a topic

bin/kafka-topics.sh --create --zookeeper localhost:2181

--replication-factor 1 --partitions 1 --topic test

解释:

--zookeeper:创建的时候必须指定zk的地址

--replication-factor 副本系数

--partitions 分区数

查看topic

bin/kafka-topics.sh --list --zookeeper localhost:2181

Step 2:Send some messages

bin/kafka-console-producer.sh --broker-list localhost:9092 --topic test

--broker-list 生产的消息放在什么地方(这个地址是之前的broker设置的)

--topic 打上之前的标签

Step 3: Start a consumer

bin/kafka-console-consumer.sh --bootstrap-server localhost:9092 --topic test --from-beginning

--bootstrap-server :文档的误差

这里应该修改为—zookeeper,所以后面的端口也是应该修改的

命令:

kafka-console-consumer.sh --zookeeper hadoop000:2181 --topic hello_topic --from-beginning

--from-beginning 加上这个参数可以接收到之前的数据

不加这个参数的话 只能够收到执行这条命令之后的,生产者生产的数据

到这里我们就部署完成了。开始测试:

ok,我们生产者生产的消息,消费者全部都是接收到了的

这里说明一下,在大数据的场景中,我们的生产者一般都是Flume的sink端,即Flume把数据输出到Kafka中去。然后,我们的消费者,就是SparkStreaming等数据处理的东西,后面,我们就来实现flume=>Kafka==>>SparkStreaming的对接…..

  • 发表于:
  • 原文链接https://kuaibao.qq.com/s/20180805G1I1I800?refer=cp_1026
  • 腾讯「云+社区」是腾讯内容开放平台帐号(企鹅号)传播渠道之一,根据《腾讯内容开放平台服务协议》转载发布内容。
  • 如有侵权,请联系 yunjia_community@tencent.com 删除。

扫码关注云+社区

领取腾讯云代金券