Spring boot with ELK(Elasticsearch + Logstash + Kibana)
Spring boot with ELK(Elasticsearch + Logstash + Kibana)
netkiller old
发布于 2018-03-06 09:49:50
发布于 2018-03-06 09:49:50
本文节选自《Netkiller Java 手札》
5.31. Spring boot with ELK(Elasticsearch + Logstash + Kibana)
将 Spring boot 日志写入 ELK 有多种实现方式，这里仅提供三种方案：
- Spring boot -> logback -> Tcp/IP -> logstash -> elasticsearch 这种方式实现非常方便不需要而外包或者软件
- Spring boot -> logback -> Redis -> logstash -> elasticsearch 利用 Redis 提供的发布订阅功能将日志投递到 elasticsearch
- Spring boot -> logback -> Kafka -> logstash -> elasticsearch Kafka 方法适合大数据的情况。
5.31.1. TCP 方案
logstash 配置
input {
tcp {
host => "172.16.1.16"
port => 9250
mode => "server"
tags => ["tags"]
codec => json_lines //可能需要更新logstash插件
}
}
output {
stdout{codec =>rubydebug}
elasticsearch {
hosts => ["localhost:9200"] //这块配置需要带端口号
flush_size => 1000
}
} Spring boot logback.xml 配置
<?xml version="1.0" encoding="UTF-8"?>
<configuration>
<property resource="properties/logback-variables.properties" />
<appender name="STDOUT" class="ch.qos.logback.core.ConsoleAppender">
<encoder charset="UTF-8">
<pattern>%d{HH:mm:ss.SSS} [%thread] %-5level %logger - %msg%n
</pattern>
</encoder>
</appender>
<appender name="LOGSTASH" class="net.logstash.logback.appender.LogstashTcpSocketAppender">
<destination>172.16.1.16:9250</destination>
<encoder charset="UTF-8" class="net.logstash.logback.encoder.LogstashEncoder" />
</appender>
<!--<appender name="async" class="ch.qos.logback.classic.AsyncAppender">-->
<!--<appender-ref ref="stash" />-->
<!--</appender>-->
<root level="info"> <!-- 设置日志级别 -->
<appender-ref ref="STDOUT" />
<appender-ref ref="LOGSTASH" />
</root>
</configuration> 5.31.2. Redis 方案
Maven pom.xml 增加 Logback Redis 依赖
<!-- https://mvnrepository.com/artifact/com.cwbase/logback-redis-appender -->
<dependency>
<groupId>com.cwbase</groupId>
<artifactId>logback-redis-appender</artifactId>
<version>1.1.5</version>
</dependency> Spring boot logback.xml 配置
<?xml version="1.0" encoding="UTF-8"?>
<configuration>
<include resource="org/springframework/boot/logging/logback/defaults.xml" />
<include resource="org/springframework/boot/logging/logback/file-appender.xml" />
<property name="type.name" value="test" />
<appender name="LOGSTASH" class="com.cwbase.logback.RedisAppender">
<source>spring-application</source>
<type>${type.name}</type>
<host>localhost</host>
<key>logstash:redis</key>
<tags>test-2</tags>
<mdc>true</mdc>
<location>true</location>
<callerStackIndex>0</callerStackIndex>
<!--additionalField添加附加字段 用于head插件显示 -->
<additionalField>
<key>MyKey</key>
<value>MyValue</value>
</additionalField>
<additionalField>
<key>MySecondKey</key>
<value>MyOtherValue</value>
</additionalField>
</appender>
<root level="INFO">
<appender-ref ref="FILE" />
<appender-ref ref="LOGSTASH" />
</root>
</configuration> logstash 配置
input {
redis {
host => 'localhost'
data_type => 'list'
port => "6379"
key => 'logstash:redis' #自定义
type => 'redis-input' #自定义
}
}
output {
elasticsearch {
host => "localhost"
codec => "json"
protocol => "http"
}
} 5.31.3. Kafka 方案
暂时没有机器资源，本章节待续
本文参与 腾讯云自媒体分享计划，分享自微信公众号。
原始发表：2017-08-04，如有侵权请联系 cloudcommunity@tencent.com 删除
评论
登录后参与评论
推荐阅读
目录
相关产品与服务
Elasticsearch Service
腾讯云 Elasticsearch Service（ES）是云端全托管海量数据检索分析服务，拥有高性能自研内核，集成X-Pack。ES 支持通过自治索引、存算分离、集群巡检等特性轻松管理集群，也支持免运维、自动弹性、按需使用的 Serverless 模式。使用 ES 您可以高效构建信息检索、日志分析、运维监控等服务，它独特的向量检索还可助您构建基于语义、图像的AI深度应用。