一个简单的日志采集方案 原
一、原理
原理很简单，首先程序端使用log4j，然后配上redis的appender，将日志暂存到redis，然后logstash从redis中拉取数据，再存储到elasticsearche，最后用kibana展示。大致流程图如下：
二、搭建
这里的搭建是为了演示采集方案，未考虑HA、安全等。
2.1 搭建elasticsearch
1、访问官方网站下载程序包，https://www.elastic.co/cn/downloads/elasticsearch
2、新建一个用户es（elasticsearch要求不能用root用户）
3、编辑/etc/security/limits.conf文件
es hard nofile 65536
es soft nofile 65536目的是防止启动报错
max file descriptors [4096] for elasticsearch process is too low, increase to at least [65536]4、编辑/etc/sysctl.conf
vm.max_map_count=655360然后执行
sysctl -p目的是防止启动报错
max virtual memory areas vm.max_map_count [65530] is too low, increase to at least [262144]5、编辑配置文件elasticsearch.yml,主要修改如下属性
#指定es运行绑定ip
network.host=192.168.1.2
#指定es集群名称
cluster.name=myes6、执行如下命令启动
./elasticsearch -d7、访问http://192.168.1.2:9200，查看是否启动成功
2.2 搭建kibana
1、访问官方网站下载程序包，https://www.elastic.co/cn/downloads/kibana
2、修改配置文件kibana.yml ，主要修改如下字段
#kibana运行的ip
server.host=192.168.1.2
#es的地址
elasticsearch.url="http://192.168.1.2:9200"3、然后启动kibana
./kibana &4、访问http://192.168.1.2:5601查看是否启动成功
2.3 搭建logstash
1、访问官方网站下载程序包，https://www.elastic.co/cn/downloads/logstash
2、新建一个文件，名称为log.conf，内容如下
input{
redis{
host=>'192.168.1.97'
port=>'6379'
key=>"filmapi"
data_type=>"list"
type=>'redis-input'
}
}
output{
elasticsearch{
hosts=>'192.168.1.2:9200'
protocol=>"http"
index=>"filmapi"
}
}3、启动logstash
./logstash -f ../config/log.conf 2.4 程序集成log4j
1、添加依赖
<dependency>
<groupId>org.springframework.boot</groupId>
<artifactId>spring-boot-starter</artifactId>
<exclusions>
<exclusion>
<groupId>org.springframework.boot</groupId>
<artifactId>spring-boot-starter-logging</artifactId>
</exclusion>
</exclusions>
</dependency>
<dependency>
<groupId>com.ryantenney.log4j</groupId>
<artifactId>redis-appender</artifactId>
<version>1.0.1</version>
</dependency>
<dependency>
<groupId>net.logstash.log4j</groupId>
<artifactId>jsonevent-layout</artifactId>
<version>1.0</version>
</dependency>
<dependency>
<groupId>org.slf4j</groupId>
<artifactId>slf4j-log4j12</artifactId>
</dependency>2、修改配置文件
### set log levels ###
log4j.rootLogger = info,console,redis
#********************************************
#控制台的配置
log4j.appender.console=org.apache.log4j.ConsoleAppender
log4j.appender.console.Target=System.out
log4j.appender.console.layout=org.apache.log4j.PatternLayout
log4j.appender.console.layout.ConversionPattern=%d{yyyy-MM-dd-HH-mm} [%t] [%c] [%p] - %m%n
#********************************************
#redis的配置
log4j.appender.redis=com.ryantenney.log4j.RedisAppender
log4j.appender.redis.layout=net.logstash.log4j.JSONEventLayout
log4j.appender.redis.host=192.168.1.3
log4j.appender.redis.port=6379
#log4j.appender.redis.password=password
log4j.appender.redis.key=filmapi
log4j.appender.redis.period=500
log4j.appender.redis.batchSize=100
log4j.appender.redis.purgeOnFailure=true
log4j.appender.redis.alwaysBatch=true
log4j.appender.redis.daemonThread=true3、启动程序
三、效果
1、redis中的数据效果
2、kibana中的数据效果
本文参与 腾讯云自媒体分享计划，分享自作者个人站点/博客。
如有侵权请联系 cloudcommunity@tencent.com 删除
评论
登录后参与评论
推荐阅读
目录
相关产品与服务
云数据库 Redis
腾讯云数据库 Redis（TencentDB for Redis）是腾讯云打造的兼容 Redis 协议的缓存和存储服务。丰富的数据结构能帮助您完成不同类型的业务场景开发。支持主从热备，提供自动容灾切换、数据备份、故障迁移、实例监控、在线扩容、数据回档等全套的数据库服务。