CDH集成Kafka

CDH集成Kafka,两种方式:离线、在线

1.离线 先下载相应版本的kafka http://archive.cloudera.com/kafka/parcels/ 然后放置相应目录,如下图:

然后直接添加组件即可

2.在线

配置相应的kafka地址 http://archive.cloudera.com/kafka/parcels/latest/ CDH会自动选择相应的kafka版本,然后保存设置

然后选择下载、分配、激活、添加组件即可!

注意: 由于1.6的spark streaming是基于kafka-0.8.2编译的,虽然官网建议kafka-0.8及其以上,但kafka-0.9在更新zk的offset的api,完全不兼容kafka-0.8的api,所以说用高版本的kafak还是有一些坑要踩的 还是需要根据自己公司情况,自行选择kafka版本

Kafka: Spark Streaming 1.6.1 is compatible with Kafka 0.8.2.1. Flume: Spark Streaming 1.6.1 is compatible with Flume 1.6.0.

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏Hadoop实操

如何修改CM及CDH元数据库配置

在前面Fayson介绍了《如何实现CDH元数据库MySQL的主主互备》和《如何实现CDH元数据库MySQL的高可用》,实现了MySQL的高可用后访问地址有了变化...

72550
来自专栏鸿的学习笔记

YARN--大数据的资源管理器

最初,Hadoop主要限于范例MapReduce,其中资源管理由JobTracker和TaskTacker完成。JobTracker将MapReduce任务传播...

20220
来自专栏云计算教程系列

在腾讯云CVM上搭建Hadoop集群

本教程将介绍如何在腾讯云CVM上搭建Hadoop集群。Hadoop中是一个Apache的框架,可以让你通过基本的编程处理跨服务器集群的分布式方式的大型数据集。H...

33540
来自专栏about云

Hadoop集群搭建总结及Hadoop2.5集群伪分布、完全分布搭建总结

问题导读 1.你认为Hadoop集群的搭建有什么共同点? 2.低版本升级高版本,你是如何操作的? Hadoop集群的搭建除了Hadoop1与Hadoop...

39280
来自专栏分布式系统和大数据处理

安装和配置Hadoop(单节点)

Hadoop生态圈仍处于欣欣向荣的发展态势,不断涌现新的技术和名词。Hadoop的HDFS、YARN、MapReduce仍是最基础的部分,这篇文章记录了如何一步...

90230
来自专栏Hadoop实操

如何在不重启Yarn服务的情况下启用DEBUG日志记录

为了解决Yarn问题,需要为不同的服务启用调试。但是,在生产集群中,可能无法立即重启Yarn服务。本篇文章Fayson主要介绍如何在不重启Yarn服务的情况下为...

18150
来自专栏pangguoming

CentOS 7安装Hadoop 3.0.0

最近在学习大数据,需要安装Hadoop,自己弄了好久,最后终于弄好了。网上也有很多文章关于安装Hadoop的,但总会遇到一些问题,所以把在CentOS 7安装H...

628110
来自专栏Hadoop实操

0463-如何使用SQuirreL通过JDBC连接CDH的Hive(方式二)

Fayson在前面的《0459-如何使用SQuirreL通过JDBC连接CDH的Hive(方式一)》简单的介绍了SQuirreL SQL Client的安装、注...

20830
来自专栏Hadoop实操

Cloudera Manager管理控制台

Cloudera Manager管理控制台(Cloudera Manager Admin Console)是一个基于Web的用户界面,用于配置,管理和监控CDH...

1.4K110
来自专栏Hadoop实操

如何为Kerberos环境的CDH集群在线扩容数据节点

Hadoop集群其中一个优点就是可伸缩性(横向扩展),通过增加计算节点使服务容量产生线性增长的能力。可伸缩的应用程序的主要特点是:只需要增加资源,而不需要对应用...

65680

扫码关注云+社区

领取腾讯云代金券