Kafka 命令行操作 Kafka基础架构 📷 主题命令行操作 1)查看操作主题命令参数 bin/kafka-topics.sh -参数 -描述 –bootstrap-server <String: server toconnect to> 连接的 Kafka Broker 主机名称和端口号。 –topic <String: topic> 操作的 topic 名称。 –create 创建主题。 –delete 删除主题。 –alter 修改主题。 –list 查看所有主题。 –describe 查看主题详细
--bootstrap-server,连接的Kafka Broker主机名称和端口号。
1.pull docker ,在机器上下载最新版本的kafka和zookeeper镜像,这里使用的是wurstmeister的镜像
本文为北溟有鱼QAQ原创文章,转载无需和我联系,但请注明来自北溟有鱼QAQ
常见端口地点 HTTP服务器,默认的端口号为80/tcp(木马Executor开放此端口); HTTPS(securely transferring web pages)服务器,默认的端口号为443/tcp 443/udp; Telnet(不安全的文本传送),默认端口号为23/tcp(木马Tiny Telnet Server所开放的端口); FTP,默认的端口号为21/tcp(木马Doly Trojan、Fore、Invisible FTP、WebEx、WinCrash和Blade Runner所开放的端口); TFTP(Trivial File Transfer Protocol ),默认的端口号为69/udp; SSH(安全登录)、SCP(文件传输)、端口重定向,默认的端口号为22/tcp; SMTP Simple Mail Transfer Protocol (E-mail),默认的端口号为25/tcp(木马Antigen、Email Password Sender、Haebu Coceda、Shtrilitz Stealth、WinPC、WinSpy都开放这个端口); POP3 Post Office Protocol (E-mail) ,默认的端口号为110/tcp; WebLogic,默认的端口号为7001; Webshpere应用程序,默认的端口号为9080; webshpere管理工具,默认的端口号为9090; JBOSS,默认的端口号为8080; TOMCAT,默认的端口号为8080; WIN2003远程登陆,默认的端口号为3389; Symantec AV/Filter for MSE ,默认端口号为 8081; Oracle 数据库,默认的端口号为1521; ORACLE EMCTL,默认的端口号为1158; Oracle XDB( XML 数据库),默认的端口号为8080; Oracle XDB FTP服务,默认的端口号为2100; MS SQL*SERVER数据库server,默认的端口号为1433/tcp 1433/udp; MS SQL*SERVER数据库monitor,默认的端口号为1434/tcp 1434/udp; QQ,默认的端口号为1080/udp
在服务器本地可以使用命令行参数连接并且进行发布订阅操作,但是在外网环境就不可以了,SpringBoot连接报错:
后期要使用Canal,需要把MySQL的配置文件提取出来,所以要进行相关的配置文件的编写
https://zookeeper.apache.org/releases.html#download
为了能够方便的查看及管理Kafka集群,yahoo提供了一个基于Web的管理工具(Kafka-Manager)。这个工具可以方便的查看集群中Kafka的Topic的状态(分区、副本及消息量等),支持管理多个集群、重新分配Partition及创建Topic等功能。本篇文章Fayson主要介绍如何在CDH集群中部署Kafka-Manager并简单的介绍使用。
在本文中将从演示如何搭建一个Kafka集群开始,然后简要介绍一下关于Kafka集群的一些基础知识点。但本文仅针对集群做介绍,对于Kafka的基本概念不做过多说明,这里假设读者拥有一定的Kafka基础知识。
点击“Kafka-CDH”连接,进入Kafka集群的详细界面,下图为Kafka的统计信息
本项目完全兼容 KRaft, 不依赖 ZooKeeper,最小化的 Kafka 集群仅启动一个 Pod 即可。也可以单独用 Docker 启动,便于本地开发调试,详情请参考 Docker 启动 Kafka
很多人都认为Kafka是一个消息队列,实际上并不完全对,在官网的标题中使用了一句话来描述Kafka:
手把手教你在 Windows 系统安装运行 Apache Zookeeper 和 Apache Kafka 服务。
我这里并没有设置专业的存储设备,大家用到生产中一定要把数据存储到专业的存储设备或者带有冗余设备的磁盘上
advertised_listeners 监听器会注册在 zookeeper 中;
本文内容主要来自两个方面:一是网上的分享,二是自研的随手记。日记月累,收录kafka各种命令,会持续更新。
进入实战之前先熟悉一下topic的相关命令,使用终端命令查询创建一个新topic,用于后期实战; 特别注意:以下命令全部依据kafka文件目录中操作; 如果尚未安装kafka,请移步《centos7系统安装kafka》
最近项目中使用的数据接口服务如TSDB,kafka,订阅服务等在挂掉几次后,为了防止影响主系统的使用,我们要进行守护进程,在进程挂掉后自动拉起。
cetnos 7.4(x64) kafa本地环境搭建 安装jdk 安装zookeeper 安装kafka 安装jdk 查看是否安装jdk rpm -qa | grep Java如果存在使用rpm -
我们很多人在在使用Flume和kafka时,都会问一句为什么要将Flume和Kafka集成?那首先就应该明白业务需求,一般使用Flume+Kafka架构都是希望完成实时流式的日志处理,后面再连接上Flink/Storm/Spark Streaming等流式实时处理技术,从而完成日志实时解析的目标。第一、如果Flume直接对接实时计算框架,当数据采集速度大于数据处理速度,很容易发生数据堆积或者数据丢失,而kafka可以当做一个消息缓存队列,从广义上理解,把它当做一个数据库,可以存放一段时间的数据。第二、Kafka属于中间件,一个明显的优势就是使各层解耦,使得出错时不会干扰其他组件。
Kafka是最初由Linkedin公司开发,是一个分布式、分区的、多副本的、多订阅者,基于zookeeper协调的分布式日志系统(也可以当做MQ系统),常见可以用于web/nginx日志、访问日志,消息服务等等,Linkedin于2010年贡献给了Apache基金会并成为顶级开源项目。
本篇博主带来的是Kafka的两种监控软件。 一. Kafka Monitor 1. 上传jar包KafkaOffsetMonitor-assembly-0.4.6.jar到集群 2.在/o
1.下载Kafka:http://mirror.bit.edu.cn/apache/kafka/2.3.0/kafka_2.12-2.3.0.tgz
kafka系列分为两个篇幅,分别是实用篇,讲使用命令和一些使用中会遇到的概念名词,理论篇,讲kafka为了实现高可用和高性能做了哪些努力。这篇我们从搭建开始,然后用kafka脚本去发送和接受信息,最后用go语言展示在代码之中怎么使用。
为了方便以后扩展分布式的需要,运用Apache Kafka这个分布式消息发布订阅系统。Apache kafka的详细介绍详见官网 运行Apache Kafka,需要先安装好jdk和zookeeper。jdk安装过程就不赘述了。
https://github.com/eyjian/libmooon/releases
译自 SigNoz 博客 Maximizing Scalability - Apache Kafka and OpenTelemetry 。
当我们kafka启动运行以后,就会在zookeeper上初始化kafka相关数据,主要包括六大类:
kafka作为一个优秀的消息中间件,一个数据buffer的管道。除了它的高性能外,高课扩展性,也决定了它的优势。 可以在不需要下线的情况下进行扩容 这里只是简单说明, 暂时没能力深入
在使用Apache Kafka时,你可能会遇到一个名为 "NoBrokersAvailableError" 的异常。这篇博客文章将深入讲解这个错误的原因、可能的解决方法以及如何避免它。
ack 数据源是否需要kafka得到确认。all表示需要收到所有ISR节点的确认信息,1表示只需要收到kafka leader的确认信息,0表示不需要任何确认信息。该配置项需要对数据精准性和延迟吞吐量做出权衡。
定义:Kafka是一个基于zookeeper协调的分布式、多副本的(replica)、支持分区的(partition)系统,它的最大的特性就是可以实时的处理大量数据以满足各种需求场景:比如基于hadoop的批处理系统、低延迟的实时系统、Storm/Spark流式处理引擎,web/nginx日志、访问日志,消息服务等等,用scala语言编写的项目。
在项目中,团队也使用了Kafka作为消息中间件。经过了嵌入式redis选型的问题之后,笔者在嵌入式kafka选型时就更倾向于还在持续更新,并且维护人员是一个团队而不是个人或者松散的组织。最终,笔者选择了来自salesforce的开源项目
前言 如果看过博主之前的文章,也可以了解到我正在搭建一个大数据的集群,所以花了血本弄了几台服务器。终于在flume将日志收集到日志主控flume节点上后,下一步要进行消息队列的搭建了。中间遇到过很多坎坷和坑,下面就为大家讲解一下搭建过程和注意事项,最终的成果是kafka搭建成功并接受flume主控传来的数据。 环境 服务器:CentOS7.2 JDK: jdk1.8.0_161 flume: apache-flume-1.6.0-cdh5.7.0 zookeeper: zookeeper-3.4.5-cdh
SecondaryNameNode HTTP UI 50090 9868
我们具体说说监听器的概念,从构成上来说,它是若干个逗号分隔的三元组,每个三元组的格式为<协议名称,主机名,端口号>。这里的协议名称可能是标准的名字,比如 PLAINTEXT 表示明文传输、SSL 表示使用 SSL 或 TLS 加密传输等;也可能是你自己定义的协议名字,比如CONTROLLER: //localhost:9092。
实时数据分析门槛较高,我们如何用极少的开发工作就完成实时数据平台的搭建,做出炫酷的图表呢?
社区:幕后大佬
这些参数是用于操作和管理Apache Kafka主题的命令行工具参数,通常用于kafka-topics.sh工具。以下是每个参数的描述:
–输入以下命令:SHOWVARIABLESWHEREVARIABLE_NAME=’port’就可以查看当前连接的端口号,–例如:mysql>SHOWVARIABLESWHEREVARIABLE_NAME=’port’;
docker run -d --log-driver json-file --log-opt max-size=100m --log-opt max-file=2 --name kafka -p 9092:9092 -e KAFKA_BROKER_ID=0 -e KAFKA_ZOOKEEPER_CONNECT=192.168.11.129:2181/kafka -e KAFKA_ADVERTISED_LISTENERS=PLAINTEXT://192.168.11.129:9092 -e KAFKA_LISTENERS=PLAINTEXT://0.0.0.0:9092 -v /etc/localtime:/etc/localtime wurstmeister/kafka
可以使用腾讯云服务器 https://cloud.tencent.com/product/cvm ,相对来讲比较便宜。
Kafka 是一款分布式消息发布和订阅系统,具有高性能、高吞吐量的特点而被广泛应用与大数据传输场景。它是由 LinkedIn 公司开发,使用 Scala 语言编写,之后成为 Apache 基金会的一个顶级项目。kafka 提供了类似 JMS 的特性,但是在设计和实现上是完全不同的,而且他也不是 JMS 规范的实现。
在Kafka系列的上一篇文章中,我们介绍了Kafka的体系结构,那么本篇文章呢,我们就着手来把Kafka的运行环境搭建起来。
mysql默认端口号为3306,修改端口号方法:修改配置文件/etc/my.cnf
领取专属 10元无门槛券
手把手带您无忧上云