专栏首页Albert陈凯P05_kafka_2.9.2-0.8.1集群搭建

P05_kafka_2.9.2-0.8.1集群搭建

安装scala 2.11.4

1、将课程提供的scala-2.11.4.tgz使用WinSCP拷贝到sparkproject1的/usr/local目录下。 2、对scala-2.11.4.tgz进行解压缩:tar -zxvf scala-2.11.4.tgz。 3、对scala目录进行重命名:mv scala-2.11.4 scala 4、配置scala相关的环境变量 vi ~/.bashrc export SCALA_HOME=/usr/local/scala export PATH=$SCALA_HOME/bin source ~/.bashrc 5、查看scala是否安装成功:scala -version 6、按照上述步骤在sparkproject2和sparkproject3机器上都安装好scala。使用scp将scala和.bashrc拷贝到另外两台机器上即可。

安装Kafka包

1、将课程提供的kafka_2.9.2-0.8.1.tgz使用WinSCP拷贝到sparkproject1的/usr/local目录下。 2、对kafka_2.9.2-0.8.1.tgz进行解压缩:tar -zxvf kafka_2.9.2-0.8.1.tgz。 3、对kafka目录进行改名:mv kafka_2.9.2-0.8.1 kafka 4、配置kafka vi /usr/local/kafka/config/server.properties broker.id:依次增长的整数,0、1、2,集群中Broker的唯一id zookeeper.connect=192.168.1.105:2181,192.168.1.106:2181,192.168.1.107:2181 5、安装slf4j 将课程提供的slf4j-1.7.6.zip上传到/usr/local目录下 unzip slf4j-1.7.6.zip 把slf4j中的slf4j-nop-1.7.6.jar复制到kafka的libs目录下面

搭建kafka集群

1、按照上述步骤在另外两台机器分别安装kafka。用scp把kafka拷贝到sparkproject2和sparkproject3即可。 2、唯一区别的,就是server.properties中的broker.id,要设置为1和2

启动kafka集群

1、解决kafka Unrecognized VM option 'UseCompressedOops'问题 vi /usr/local/kafka/bin/kafka-run-class.sh if [ -z "$KAFKA_JVM_PERFORMANCE_OPTS" ]; then KAFKA_JVM_PERFORMANCE_OPTS="-server -XX:+UseCompressedOops -XX:+UseParNewGC -XX:+UseConcMarkSweepGC -XX:+CMSClassUnloadingEnabled -XX:+CMSScavengeBeforeRemark -XX:+DisableExplicitGC -Djava.awt.headless=true" fi 去掉-XX:+UseCompressedOops即可

2、在三台机器上的kafka目录下,分别执行以下命令:nohup bin/kafka-server-start.sh config/server.properties &

3、使用jps检查启动是否成功

测试kafka集群

使用基本命令检查kafka是否搭建成功

bin/kafka-topics.sh --zookeeper 192.168.1.105:2181,192.168.1.106:2181,192.168.1.107:2181 --topic TestTopic --replication-factor 1 --partitions 1 --create

bin/kafka-console-producer.sh --broker-list 192.168.1.105:9092,192.168.1.106:9092,192.168.1.107:9092 --topic TestTopic

bin/kafka-console-consumer.sh --zookeeper 192.168.1.105:2181,192.168.1.106:2181,192.168.1.107:2181 --topic TestTopic --from-beginning

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

我来说两句

0 条评论
登录 后参与评论

相关文章

  • 2019-11-26 Hazelcast Map配置文档

    map: default: in-memory-format: BINARY metadata-policy: CREATE_ON_UPDATE sta...

    Albert陈凯
  • 2018-12-19 base58 与 base64 的区别

    base58和base64一样是一种二进制转可视字符串的算法,主要用来转换大整数值。区别是,转换出来的字符串,去除了几个看起来会产生歧义的字符,如 0 (零),...

    Albert陈凯
  • Scala:统一的对象模型

    类 ? 图片展示了Scala的类层次结构。每一个类都继承自scala.Any,Any的子类可以划分为两个主要的范畴:值类型,继承自scala.AnyVal;引用...

    Albert陈凯
  • 软件工程攻略

    由于软件的开发存在这么多的问题, 其主要原因是规模太大并且缺少一种有效的方法来进行整个软件的开发 从而引出软件工程

    Mezereon
  • Akka 指南 之「容错」

    容错(fault tolerance)概念与 Actor 相关,为了使用这些概念,需要在项目中添加如下依赖:

    CG国斌
  • 大白话带你认识Kafka

    所以消息系统就是如上图我们所说的仓库,能在中间过程作为缓存,并且实现解耦合的作用。

    黄泽杰
  • Logstash使用中遇到的一些坑和解决方案

    扫帚的影子
  • Weblogic Exception in AppMerge flows' progression

    原因:经过分析是web.xml配置的问题,有些servlet上面配置了'display-name',这个weblogic是不支持的。 解决:在web.xml中...

    ydymz
  • swiper.animate实现轮播展示动画效果

    任我行RQ
  • 使用rapidJson C++库生成JSON字符串

    RapidJSON 是一个 C++ 的 JSON 解析器及生成器,它是腾讯公司开发的一款高效的 C++ JSON 解析/生成器,提供 SAX 及 DOM 风格 ...

    ccf19881030

扫码关注云+社区

领取腾讯云代金券