腾讯云开发者社区-腾讯云

开发者社区

文档建议反馈控制台

最新优惠活动

文章/答案/技术大牛

发布

程序萌部落

个人博客请访问 www.cxmoe.com，自19年8月起搬迁至此。

专栏作者

130

文章

289501

阅读量

27

订阅数

kafka 消息队列 CMQ 版数据处理 api

Kafka是一个高性能跨语言分布式发布/订阅消息队列系统，而Jafka是在Kafka之上孵化而来的，即Kafka的一个升级版。具有以下特性：快速持久化，可以在O(1)的系统开销下进行消息持久化；高吞吐，在一台普通的服务器上既可以达到10W/s的吞吐速率；完全的分布式系统，Broker、Producer、Consumer都原生自动支持分布式，自动实现负载均衡；支持Hadoop数据并行加载，对于像Hadoop的一样的日志数据和离线分析系统，但又要求实时处理的限制，这是一个可行的解决方案。

2019-08-08

5760

Kafka集群常用命令

kafka常用命令以下是kafka常用命令行总结： 1、kafka服务启动 ./kafka-server-start.sh -daemon ../config/server.properties 2、创建topic ./kafka-topics.sh --create --zookeeper hadoop01:2181 --replication-factor 1 --partitions 1 --topic test 2.1、为topic增加副本 ./kafka-reassign-partition

2019-08-08

1.2K0

VMware虚拟机联网

kafka bash bash 指令 zookeeper hadoop

第一次打开时一定要选择我已移动此虚拟机！否则需要重新配置IP 如果ip变了，要么重新配ip（百度），要么删掉重新拷贝一个；验证：打开hadoop01/02/03 使用ifconfig看ip地址分别应该是 192.168.146.130/131/132；

2019-08-08

1.1K0

Flume+Kafka联通

kafka bash bash 指令 zookeeper

前提是要先把flume和kafka独立的部分先搭建好。下载插件包下载flume-kafka-plus:https://github.com/beyondj2ee/flumeng-kafka-plugin 把lib目录下的

2019-08-08

9190

Kafka的应用场景

kafka 数据处理 apache

Kafka的应用场景 1 消息队列比起大多数的消息系统来说，Kafka有更好的吞吐量，内置的分区，冗余及容错性，这让Kafka成为了一个很好的大规模消息处理应用的解决方案。消息系统一般吞吐量相对较低，但是需要更小的端到端延时，并尝尝依赖于Kafka提供的强大的持久性保障。在这个领域，Kafka足以媲美传统消息系统，如ActiveMR或RabbitMQ。 2 行为跟踪 Kafka的另一个应用场景是跟踪用户浏览页面、搜索及其他行为，以发布-订阅的模式实时记录到对应的topic里。那么这些结果被订阅者

2019-08-08

1.8K0

Flume、Kafka、Storm如何结合使用

如何仔细阅读过关于Flume、Kafka、Storm的介绍，就会知道，在他们各自之间对外交互发送消息的原理。在后面的例子中，主要对Flume的sink进行重构，调用kafka的消费生产者(producer)发送消息;在Storm的spout中继承IRichSpout接口，调用kafka的消息消费者(Consumer)来接收消息，然后经过几个自定义的Bolt，将自定义的内容进行输出。

2019-08-08

9090

检查log目录，对于topic hadoop01，hadoop01为0号分区，hadoop02为1号分区。而topic hadoop02则复制了3份，都为0号分区 hadoop01-1 hadoop02-0 hadoop01-2 hadoop02-0 hadoop01-0 hadoop02-0 即：hadoop01-0,1,2 hadoop02-0,0,0

2019-08-08

2900

zkp,kfk,stm联通的问题

kafka zookeeper bash bash 指令

要注意source的使用; 在root下使用之后有时需要在hadoop用户下再source一次才可以；

2019-08-08

5740

IDEA中调试Topology出现的错误

maven kafka linux ide

在IDEA的maven项目中编写Topology出错： NoClassFound找不到主类：解决– 在pom.xml中，找到中的storm，添加<>compi<>

2019-08-08

1.4K0

没有更多了

社区活动

腾讯技术创作狂欢月

“码”上创作 21 天，分 10000 元奖品池！

Python精品学习库

代码在线跑，知识轻松学

博客搬家 | 分享价值百万资源包

自行/邀约他人一键搬运博客，速成社区影响力并领取好礼

技术创作特训营·精选知识专栏

往期视频·千货材料·成员作品最新动态