专栏首页物流IT圈Logback文件这么配置,TPS提高至少10倍

Logback文件这么配置,TPS提高至少10倍

阅读本文,你将了解到

  • 日志输出到文件并根据LEVEL级别将日志分类保存到不同文件
  • 通过异步输出日志减少磁盘IO提高性能
  • 异步输出日志的原理

配置文件logback-spring.xml

SpringBoot工程自带logback和slf4j的依赖,所以重点放在编写配置文件上,需要引入什么依赖,日志依赖冲突统统都不需要我们管了。

logback框架会默认加载classpath下命名为logback-spring或logback的配置文件。将所有日志都存储在一个文件中文件大小也随着应用的运行越来越大并且不好排查问题,正确的做法应该是将error日志和其他日志分开,并且不同级别的日志根据时间段进行记录存储。

标签说明

  • <root>标签,必填标签,用来指定最基础的日志输出级别
    • <appender-ref>标签,添加append
  • <appender>标签,通过使用该标签指定日志的收集策略
    • name属性指定appender命名
    • class属性指定输出策略,通常有两种,控制台输出和文件输出,文件输出就是将日志进行一个持久化。ConsoleAppender将日志输出到控制台
  • <filter>标签,通过使用该标签指定过滤策略
    • <level>标签指定过滤的类型
  • <encoder>标签,使用该标签下的标签指定日志输出格式
    • <pattern>标签指定日志输出格式
  • <rollingPolicy>标签指定收集策略,比如基于时间进行收集
    • <fileNamePattern>标签指定生成日志保存地址,通过这样配置已经实现了分类分天手机日志的目标了

logback 高级特性异步输出日志

之前的日志配置方式是基于同步的,每次日志输出到文件都会进行一次磁盘IO。采用异步写日志的方式而不让此次写日志发生磁盘IO,阻塞线程从而造成不必要的性能损耗。异步输出日志的方式很简单,添加一个基于异步写日志的 appender,并指向原先配置的 appender即可

异步输出日志性能测试

既然能提高性能的话,必须进行一次测试比对,同步和异步输出日志性能到底能提升多少倍?

服务器硬件

  • CPU 六核
  • 内存 8G

测试工具

  • Apache Jmeter

同步输出日志

  • 线程数:100
  • Ramp-Up Loop(可以理解为启动线程所用时间) :0
  • 可以理解为100个线程同时启用

测试结果

重点关注指标Throughput【TPS】吞吐量:系统在单位时间内处理请求的数量,在同步输出日志中TPS为44.2/sec

异步输出日志

  • 线程数 100
  • Ramp-Up Loop:0

测试结果

TPS为497.5/sec,性能提升了10多倍!!!

异步日志输出原理

从logback框架下的Logger.info方法开始追踪。一路的方法调用路径如下图所示:

异步输出日志中最关键的就是配置文件中ch.qos.logback.classic包下AsyncAppenderBase类中的append方法,查看该方法的源码:

通过队列情况判断是否需要丢弃日志,不丢弃的话将它放到阻塞队列中,通过查看代码,这个阻塞队列为ArrayBlockingQueueu,默认大小为256,可以通过配置文件进行修改。

Logger.info(…)到append(…)就结束了,只做了将日志塞入到阻塞队列的事,然后继续执行Logger.info(…)下面的语句了。

在AsyncAppenderBase类中定义了一个Worker线程,run方法中的关键部分代码如下:

从阻塞队列中取出一个日志,并调用 AppenderAttachableImpl类中的 appendLoopOnAppenders方法维护一个 Append列表。Worker线程中调用方法过程主要如下图:

最主要的两个方法就是encode和write方法,前一个法方会根据配置文件中encode指定的方式转化为字节码,后一个方法将转化成的字节码写入到文件中去。所以写文件是通过新起一个线程去完成的,主线程将日志扔到阻塞队列中,然后又去做其他事情了。

本文分享自微信公众号 - 物流IT圈(exiter18),作者:编程仔日常

原文出处及转载信息见文内详细说明,如有侵权,请联系 yunjia_community@tencent.com 删除。

原始发表时间:2019-11-29

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

我来说两句

0 条评论
登录 后参与评论

相关文章

  • 日志是每个软件工程师关心的统一数据抽象

    我是在六年前一个令人兴奋的时刻加入到里了LinkedIn公司。从那个时候我们就开始突破传统整体的(monolithic)、集中式的数据库限制,然后切换到一个特殊...

    物流IT圈
  • 微服务的最终一致性与事件流

    微服务是指一个个单个小型业务功能的服务,由于各个微服务开发部署都是独立的,因此微服务天然是分布式的,因此,分布式系统的设计问题如CAP定理同样适合微服务架构,虽...

    物流IT圈
  • 跨境电商是怎么清关的?

    因此较之一般电商,跨境电商的关键区别在于跨境,其他如平台搭建、交易流程较于一般电商并无实际区别。从交易主体性质、进出口性质两个角度划分,跨境电商可以分为跨境出口...

    物流IT圈
  • 如何在12个小时,搞定日志监控?

    日志监控,是每个公司必须解决的一个问题。创业型公司,如何用半天的时间,搞定一个可扩展,通用的日志监控框架,是今天要聊的话题。

    架构师之路
  • 90行代码,搞定日志监控框架

    上一篇《100行代码,搞定http监控框架》介绍了通用+可扩展的http监控平台的架构: 监控平台层:调度监控项,通过后台管理监控项 信息管理层:通过服务和后台...

    架构师之路
  • 网站数据统计分析之二:前端日志采集是与非

    在上一篇《网站数据统计分析之一:日志收集原理及其实现》中,咱们详细的介绍了整个日志采集的原理与流程。但是不是这样在真实的业务环境中就万事大吉了呢?事实往往并非如...

    用户1177713
  • Web攻击日志初探

    前段时间偶然间在一朋友处获得了多个系统的web日志,并被被要求针对这些日志进行分析。一时兴起,随便打开了一个,打开后发现日志数量极大,接着又打开了好几个,发现每...

    FB客服
  • Apache(4)——配置文件里的各参数(2)

    可以看到,已经加载了,这就是默认的索引页面index.html (2)files

    gzq大数据
  • Java 日志系统

    注意:该注解也是 lombok 功能的一部分,需要先安装 lombok 插件和 lombok 依赖。

    希希里之海
  • 分布式系统模式2-Write-Ahead Log

    来源: https://martinfowler.com/articles/patterns-of-distributed-systems/

    java达人

扫码关注云+社区

领取腾讯云代金券