操作日志追踪记录之MDC入门

什么是MDC

MDC(Mapped Diagnostic Context,映射调试上下文)是 log4j 和 logback 提供的一种方便在多线程条件下记录日志的功能。某些应用程序采用多线程的方式来处理多个用户的请求。在一个用户的使用过程中,可能有多个不同的线程来进行处理。典型的例子是 Web 应用服务器。当用户访问某个页面时,应用服务器可能会创建一个新的线程来处理该请求,也可能从线程池中复用已有的线程。在一个用户的会话存续期间,可能有多个线程处理过该用户的请求。这使得比较难以区分不同用户所对应的日志。当需要追踪某个用户在系统中的相关日志记录时,就会变得很麻烦。

  一种解决的办法是采用自定义的日志格式,把用户的信息采用某种方式编码在日志记录中。这种方式的问题在于要求在每个使用日志记录器的类中,都可以访问到用户相关的信息。这样才可能在记录日志时使用。这样的条件通常是比较难以满足的。MDC 的作用是解决这个问题。

  MDC 可以看成是一个与当前线程绑定的哈希表,可以往其中添加键值对。MDC 中包含的内容可以被同一线程中执行的代码所访问。当前线程的子线程会继承其父线程中的 MDC 的内容。当需要记录日志时,只需要从 MDC 中获取所需的信息即可。MDC 的内容则由程序在适当的时候保存进去。对于一个 Web 应用来说,通常是在请求被处理的最开始保存这些数据。

MDC使用场景

MDC可以将一个处理线程中你想体现在日志文件中的数据统一管理起来,根据你的日志文件配置决定是否输出。

  比如以下但不限于以下场景可以考虑使用MDC来达到目的

1、我们想在日志中体现请求用户IP地址 2、用户使用http客户端的user-agent 3、记录一次处理线程的日志跟踪编号(这个编号目的是为了查询日志方便,结合grep命令能根据跟踪编号将本次的处理日志全部输出)

MDC如何使用

MDC我个人会用AOP或Filter或Interceptor这类工具配合使用,获得你希望输出到日志的变量并调用MDC.put(String key, String val)

@Around(value = "execution(* com.xx.xx.facade.impl.*.*(..))", argNames="pjp")
  public Object validator(ProceedingJoinPoint pjp) throws Throwable {
      try {
          String traceId = TraceUtils.begin();
          MDC.put("mdc_trace_id", traceId);
          Object obj = pjp.proceed(args);
          return obj;
      } catch(Throwable e) {
          //TODO 处理错误
      } finally {
          TraceUtils.endTrace();
      }
  }

代码通过AOP记录了每次请求的traceId并使用变量"mdc_trace_id"记录,在日志配置文件里需要设置变量才能将"mdc_trace_id"输出到日志文件中。

MDC使用案例

相对比较大的项目来说,一般会有多个开发人员,如果每个开发人员凭自己的理解打印日志,那么当用户反馈问题时,很难通过日志去快速的定位到出错原因,也会消耗更多的时间。所以针对这种问题,一般会定义好整个项目的日志格式,如果是需要追踪的日志,开发人员调用统一的打印方法,在日志配置文件里面定义好相应的字段,通过MDC功能就能很好的解决问题。

比如我们可以事先把用户的sessionId,登录用户的用户名,访问的城市id,当前访问商户id等信息定义成字段,线程开始时把值放入MDC里面,后续在其他地方就能直接使用,无需再去设置了。

使用MDC来记录日志,一来可以规范多开发下日志格式的一致性,二来可以为后续使用ELK对日志进行分析。

所需依赖

<dependency>  
  <groupId>log4j</groupId>  
  <artifactId>log4j</artifactId>  
  <version>1.2.17</version>  
</dependency>  
<dependency>  
    <groupId>org.slf4j</groupId>  
    <artifactId>slf4j-log4j12</artifactId>  
    <version>1.7.21</version>  
</dependency>

log4j.xml配置样例,追踪日志自定义格式主要在name="trance"的layout里面进行设置,我们使用%X{userName}来定义此处会打印MDC里面key为userName的value,如果所定义的字段在MDC不存在对应的key,那么将不会打印,会留一个占位符。

<?xml version="1.0" encoding="UTF-8"?>  
<!DOCTYPE log4j:configuration SYSTEM "log4j.dtd">  
<log4j:configuration>  
    <appender name="console" class="org.apache.log4j.ConsoleAppender">  
        <param name="target" value="System.out" />  
        <layout class="org.apache.log4j.PatternLayout">  
            <param name="ConversionPattern" value="%-d{yyyy-MM-dd HH:mm:ss.SSS} %-6p%c:%L %x - %m%n" />  
        </layout>  
    </appender>  

    <appender name="error" class="org.apache.log4j.DailyRollingFileAppender">  
        <param name="File" value="D://logs//error.log" />  
        <param name="DatePattern" value="'.'yyyy-MM-dd" />  
        <param name="threshold" value="error"/>  
        <param name="append" value="true"/>  
        <layout class="org.apache.log4j.PatternLayout">  
            <param name="ConversionPattern" value="[%d{yyyy-MM-dd HH:mm:ss.SSS}] %-6p%c:%L - %m%n" />  
        </layout>  
    </appender>  

    <appender name="logic" class="org.apache.log4j.DailyRollingFileAppender">  
        <param name="File" value="D://logs//logic.log" />  
        <param name="DatePattern" value="'.'yyyy-MM-dd" />  
        <param name="threshold" value="info"/>  
        <param name="append" value="true"/>  
        <layout class="org.apache.log4j.PatternLayout">  
            <param name="ConversionPattern" value="[%d{yyyy-MM-dd HH:mm:ss.SSS}] %-6p%c:%L - %m%n" />  
        </layout>  
    </appender>  

    <appender name="trace" class="org.apache.log4j.DailyRollingFileAppender">  
        <param name="File" value="D://logs//trace.log" />  
        <param name="DatePattern" value="'.'yyyy-MM-dd" />  
        <param name="threshold" value="info"/>  
        <param name="append" value="true"/>  
        <layout class="org.apache.log4j.PatternLayout">  
               <param name="ConversionPattern" value="[%d{yyyy-MM-dd HH:mm:ss.SSS}] - %X{mchId} - %X{mchName} - %X{siteName} - %X{sessionId} - %X{cityId} - %X{userName} - %X{mobile} - %m%n" />  
         </layout>  
    </appender>  

    <logger name="traceLog" additivity="false">  
        <level value="info" />  
        <appender-ref ref="trace" />  
    </logger>  

    <root>  
        <level value="info" />  
        <appender-ref ref="console"/>  
        <appender-ref ref="logic" />  
        <appender-ref ref="error" />  
    </root>  
</log4j:configuration>

日志打印类

import org.slf4j.Logger;  
import org.slf4j.LoggerFactory;  

public class TraceLogger {  
    //此处的"tranceLog"为log4j中定义的对应的 logger的name  
    private static final Logger TRACE_LOGGER = LoggerFactory.getLogger("traceLog");  

    private TraceLogger() {  

    }  

    public static void info(String message){  
        TRACE_LOGGER.info(message);  
    }  

    public static void info(String format,Object... arguments){  
        TRACE_LOGGER.info(format, arguments);  
    }  
}

最后写个日志打印测试一下效果

@Test  
public void Test(){  
    MDC.clear();  
    MDC.put("sessionId" , "f9e287fad9e84cff8b2c2f2ed92adbe6");  
    MDC.put("cityId" , 1);  
    MDC.put("siteName" , "北京");  
    MDC.put("userName" , "userwyh");  
    TraceLogger. info("测试MDC打印一");  

    MDC.put("mobile" , "110");  
    TraceLogger. info("测试MDC打印二");  

    MDC.put("mchId" , 12);  
    MDC.put("mchName", "商户名称");  
    TraceLogger. info("测试MDC打印三");  

}

执行完后我们可以在定义的日志输出路径下看到以下输出

[2018-06-02 20:10:21.524] -  -  - 北京 - f9e287fad9e84cff8b2c2f2ed92adbe6 - 1 - userwyh -  - 测试MDC打印一  
[2018-06-02 20:10:21.525] -  -  - 北京 - f9e287fad9e84cff8b2c2f2ed92adbe6 - 1 - userwyh - 110 - 测试MDC打印二  
[2018-06-02 20:10:21.525] - 12 - 商户名称 - 北京 - f9e287fad9e84cff8b2c2f2ed92adbe6 - 1 - userwyh - 110 - 测试MDC打印三

使用MDC带来的好处

  1. 如果你的系统已经上线,突然有一天老板说我们增加一些用户数据到日志里分析一下。如果没有MDC我猜此时此刻你应该处于雪崩状态。MDC恰到好处的让你能够实现在日志上突如其来的一些需求
  2. 如果你是个代码洁癖,封装了公司LOG的操作,并且将处理线程跟踪日志号也封装了进去,但只有使用了你封装日志工具的部分才能打印跟踪日志号,其他部分(比如hibernate、mybatis、httpclient等等)日志都不会体现跟踪号。当然我们可以通过linux命令来绕过这些困扰。
  3. 使代码简洁、日志风格统一

原文发布于微信公众号 - Linyb极客之路(gh_c420b2cf6b47)

原文发表时间:2018-06-08

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏Java学习网

Java开发 中运用动态挂载实现 Bug 的热修复

大多数 JVM 具备 Java 的 HotSwap 特性,大部分开发者认为它仅仅是一个调试工具。利用这一特性,有可能在不重启 Java 进程条件下,改变 Jav...

893
来自专栏Java架构

阿里分布式服务框架Dubbo的架构总结总体架构参考补充

1974
来自专栏轮子工厂

97 条 Linux 运维工程师常用命令总结 | 史上最全Linux命令总结

先说明一下,这篇文章只是一篇常用基础命令的汇总,小白可以看着学习一下,对大牛帮助不大。。。。

1532
来自专栏蛋未明的专栏

myweb0.2版本(更新)

1533
来自专栏owent

Linux 编译安装 GCC 4.9

GCC4.9发布啦,本脚本在之前4.8的基础上做了稍许改进,更新 PS:4.9.0 开始支持C++1y特性 GCC 4.9 的大致变更如下,因为我只用C/C...

3111
来自专栏PHP在线

Redis 和 Memcached 的区别

说到redis就会联想到memcached,反之亦然。了解过两者的同学有那么个大致的印象:redis与memcached相比,比仅支持简单的key-value数...

4286
来自专栏Linyb极客之路

分布式配置中心之Apollo简易环境部署

Apollo(阿波罗)是携程框架部门研发的分布式配置中心,能够集中化管理应用不同环境、不同集群的配置,配置修改后能够实时推送到应用端,并且具备规范的权限、流程治...

2172
来自专栏Java技术栈

Redis PK Memcached,哪个更牛叉?

说到 redis 就会联想到 memcached,反之亦然。了解过两者的同学有那么个大致的印象:

732
来自专栏北京马哥教育

97 条 Linux 运维工程师常用命令总结

作者:jeanheo 1.ls [选项] [目录名 | 列出相关目录下的所有目录和文件 -a 列出包括.a开头的隐藏文件的所有文件 -A 通-a,但不列出...

4506
来自专栏EarlGrey的专栏

十分钟配置云端数据科学开发环境

本文将介绍如何在一台云服务器上配置 Jupyter Notebook 环境,从此只要有浏览器和网络,就是可以随时随地进行数据科学开发工作,不用担心家庭环境与办公...

1K2

扫码关注云+社区

领取腾讯云代金券