腾讯云开发者社区-腾讯云

开发者社区

文档建议反馈控制台

最新优惠活动

文章/答案/技术大牛

发布

JetpropelledSnake

专栏作者

589

文章

1151564

阅读量

61

订阅数

Kafka学习笔记之Kafka命令行操作topic+producer+consumer详解

# 启动kafka服务，三台主机分别输入此指令： kafka-server-start.sh $KAFKA_HOME/config/server.properties & //以后台的方式启动 nohup kafka-server-start.sh $KAFKA_HOME/config/server.properties & //查看topic名 kafka-topics.sh --list --zookeeper hadoop-001:2181 //创建topic名 kafka-topics.sh

Jetpropelledsnake21

2021-01-14

3880

Kafka学习笔记之Kakfa异常分析-Magic v0 does not support record headers

html kafka api https 网络安全

最近测试跟我说，某个应用消费不到交易的消息。登录到Kafka Broker看下了下日志，发现一直在报错：

Jetpropelledsnake21

2021-01-14

1.3K0

Kafka学习笔记之分区Partition和副本Replicator的区别

kafka zookeeper

本篇主要介绍kafka的分区和副本，因为这两者是有些关联的，所以就放在一起来讲了，后面顺便会给出一些对应的配置以及具体的实现代码，以供参考~

Jetpropelledsnake21

2020-12-29

9590

Kafka学习笔记之kafka常见报错及解决方法（topic类、生产消费类、启动类）

kafka zookeeper tcp/ip bash bash 指令

解决方法：Failed to acquire lock on file .lock in /var/log/kafka-logs.--问题原因是有其他的进程在使用kafka，ps -ef|grep kafka，杀掉使用该目录的进程即可；

Jetpropelledsnake21

2020-12-25

6.5K0

Kafka学习笔记之Kafka应用问题经验积累

kafka bash bash 指令 node.js unix

为了给kafka的进程添加GC日志信息，方便在以后重启的时候，加入GC日志：修改bin/kafka-server-start.sh:

Jetpropelledsnake21

2020-12-25

8520

Kafka学习笔记之kafka.common.KafkaException: Should not set log end offset on partition

kafka zookeeper

kafka单台机器做集群操作是没有问题的，如果分布多台机器并且partitions或者备份的个数大于1都会报kafka.common.KafkaException: Should not set log end offset on partition 这个错误，如果使用kafka默认的日志等级，过不了几分钟错误日志就会把磁盘刷满，导致服务器down掉。

Jetpropelledsnake21

2020-12-25

4430

Kafka学习笔记之Kafka性能测试方法及Benchmark报告

kafka 腾讯云测试服务

　　本文主要介绍了如何利用Kafka自带的性能测试脚本及Kafka Manager测试Kafka的性能，以及如何使用Kafka Manager监控Kafka的工作状态，最后给出了Kafka的性能测试报告。

Jetpropelledsnake21

2019-10-01

4.4K1

Kafka学习笔记之Kafka Consumer设计解析

kafka zookeeper

　　本文主要介绍了Kafka High Level Consumer，Consumer Group，Consumer Rebalance，Low Level Consumer实现的语义，以及适用场景。以及未来版本中对High Level Consumer的重新设计–使用Consumer Coordinator解决Split Brain和Herd等问题。

Jetpropelledsnake21

2019-09-30

8400

Kafka学习笔记之Kafka High Availability(下)

zookeeper kafka

　　本文在上篇文章基础上，更加深入讲解了Kafka的HA机制，主要阐述了HA相关各种场景，如Broker failover，Controller failover，Topic创建/删除，Broker启动，Follower从Leader fetch数据等详细处理过程。同时介绍了Kafka提供的与Replication相关的工具，如重新分配Partition等。

Jetpropelledsnake21

2019-09-30

5520

Kafka学习笔记之Kafka High Availability(上)

kafka zookeeper 数据结构 node.js

　　Kafka在0.8以前的版本中，并不提供High Availablity机制，一旦一个或多个Broker宕机，则宕机期间其上所有Partition都无法继续提供服务。若该Broker永远不能再恢复，亦或磁盘故障，则其上数据将丢失。而Kafka的设计目标之一即是提供数据持久化，同时对于分布式系统来说，尤其当集群规模上升到一定程度后，一台或者多台机器宕机的可能性大大提高，对于Failover机制的需求非常高。因此，Kafka从0.8开始提供High Availability机制。本文从Data Replication和Leader Election两方面介绍了Kafka的HA机制。

Jetpropelledsnake21

2019-09-30

3730

Kafka学习笔记之Kafka背景及架构介绍

kafka 消息队列 CMQ 版数据处理数据库 sql

　　本文介绍了Kafka的创建背景，设计目标，使用消息系统的优势以及目前流行的消息系统对比。并介绍了Kafka的架构，Producer消息路由，Consumer Group以及由其实现的不同消息分发方式，Topic & Partition，最后介绍了Kafka Consumer为何使用pull模式以及Kafka提供的三种delivery guarantee。

Jetpropelledsnake21

2019-09-24

3980

Kafka学习笔记之filebeat传输到kafka报错带解决方案

filebeat非常轻量级，正常情况下占用的资源几乎都能忽略不计，所以怀疑是filebeat本身出了问题。

Jetpropelledsnake21

2019-09-04

2.6K0

K8S学习笔记之filebeat采集K8S微服务java堆栈多行日志

https 网络安全 bash kafka

K8S内运行Spring Cloud微服务，根据定制容器架构要求log文件不落地，log全部输出到std管道，由基于docker的filebeat去管道采集，然后发往Kafka或者ES集群。

Jetpropelledsnake21

2019-08-23

2.3K0

Kafka学习笔记之如何永久删除Kafka的Topic

kafka zookeeper

使用kafka-topics --delete命令删除topic时并没有真正的删除，而是把topic标记为：“marked for deletion”，导致重新创建相同名称的Topic时报错“already exists”。

Jetpropelledsnake21

2019-08-19

1.4K0

Kafka学习笔记之Kafka日志删出策略

kafka将topic分成不同的partitions，每个partition的日志分成不同的segments，最后以segment为单位将陈旧的日志从文件系统删除。

Jetpropelledsnake21

2019-07-03

1.8K0

Kafka学习笔记之Kafka自身操作日志的清理方法(非Topic数据)

javascript bash bash 指令 kafka shell

本文主要讲Kafka自身操作日志的清理方法(非Topic数据)，Topic数据自己有对应的删除策略，请看这里。

Jetpropelledsnake21

2019-07-03

3.6K0

logstash的各个场景应用（配置文件均已实践过）

kafka 云数据库 Redis Elasticsearch Service 日志服务 https

1） datasource->logstash->elasticsearch->kibana

Jetpropelledsnake21

2019-05-19

3.5K0

ELK学习笔记之配置logstash消费kafka多个topic并分别生成索引

kafka es filebeat logstash 集群

0x00 filebeat配置多个topic filebeat.prospectors: - input_type: log encoding: GB2312 # fields_under_root: true fields: ##添加字段 serverip: 192.168.1.10 logtopic: wap enabled: True paths: - /app/wap/logs/catalina.out multiline.pattern:

Jetpropelledsnake21

2019-05-19

5.9K0

ELK学习笔记之基于kakfa (confluent)搭建ELK

kafka https 网络安全 json Elasticsearch Service

F5 HSL–>logstash(流处理）–> kafka –>elasticsearch

Jetpropelledsnake21

2019-04-09

1.7K0

Kafka学习笔记之confluent platform入门

http://www.confluent.io/download，打开后，显示最新版本3.0.0,然后在右边填写信息后，点击Download下载。

Jetpropelledsnake21

2019-03-20

3.1K0

点击加载更多

社区活动

腾讯技术创作狂欢月

“码”上创作 21 天，分 10000 元奖品池！

Python精品学习库

代码在线跑，知识轻松学

博客搬家 | 分享价值百万资源包

自行/邀约他人一键搬运博客，速成社区影响力并领取好礼

技术创作特训营·精选知识专栏

往期视频·千货材料·成员作品最新动态