Kafka接入到Graylog5.1
Kafka接入到Graylog5.1
(图片点击放大查看)
一、Kafka单节点部署
1、安装JDK+kafka
yum install -y java-1.8.0-openjdk.x86_64 java-1.8.0-openjdk-devel.x86_64 java-1.8.0-openjdk-headless.x86_64
java -version
(图片点击放大查看)
(图片点击放大查看)
tar -zvxf kafka_2.13-3.5.1.tgz -C /opt
cd /opt
mv kafka_2.13-3.5.1 kafka
echo "export KAFKA_HOME=/opt/kafka" >> /etc/profile
echo 'export PATH=$PATH:$KAFKA_HOME/bin' >> /etc/profile
source /etc/profile
2、启动kafka
zookeeper-server-start.sh /opt/kafka/config/zookeeper.properties &
kafka-server-start.sh -daemon /opt/kafka/config/server.properties
(图片点击放大查看)
如果有开启防火墙，需要放通2181 9092端口
firewall-cmd --permanent --zone=public --add-port=2181/tcp
firewall-cmd --permanent --zone=public --add-port=9092/tcp
firewall-cmd --reload
(图片点击放大查看)
3、创建测试的topic并测试生产消费topic
kafka-console-producer.sh --topic security-events --bootstrap-server 192.168.31.222:9092
kafka-console-consumer.sh --topic security-events --from-beginning --bootstrap-server 192.168.31.222:9092
(图片点击放大查看)
二、Kafka接入到Graylog
1、新建Raw/Plaintext Kafka类型的Input
填入Bootstrap Servers、Zookeeper的IP地址与端口、Topic的正则表达式
(图片点击放大查看)
(图片点击放大查看)
Consumer group id根据实际情况填写
(图片点击放大查看)
(图片点击放大查看)
2、创建Stream用于单独获取Kafka Input的日志数据
(图片点击放大查看)
(图片点击放大查看)
3、最后的效果：查看Kafka接入的日志
(图片点击放大查看)
(图片点击放大查看)
本文参与 腾讯云自媒体同步曝光计划，分享自微信公众号。
原始发表：2023-08-05，如有侵权请联系 cloudcommunity@tencent.com 删除
本文分享自 WalkingCloud 微信公众号，前往查看
如有侵权，请联系 cloudcommunity@tencent.com 删除。
本文参与 腾讯云自媒体同步曝光计划 ，欢迎热爱写作的你一起参与！
评论
登录后参与评论
推荐阅读
目录
相关产品与服务
腾讯云服务器利旧
云服务器（Cloud Virtual Machine，CVM）提供安全可靠的弹性计算服务。 您可以实时扩展或缩减计算资源，适应变化的业务需求，并只需按实际使用的资源计费。使用 CVM 可以极大降低您的软硬件采购成本，简化 IT 运维工作。
腾讯云开发者
