全栈必备 Log日志

Log日志,不论对开发者自身,还是对软件系统乃至产品服务都是非常重要的事情。每个开发者都接触过日志,以至于每个人对日志的了解都会有所不同。

什么是日志

日志是什么呢?老码农看来,日志是带有明确时间标记的信息数据记录。

根据不同的使用场景和视角,日志的分类也多种多样。针对生成日志的主体,如果是开发者,可以有工作或学习日志,如果是代码,可以是程序日志。根据应用程序的使用领域,可以有系统日志和应用日志,还可以进一步细分,例如消息日志,事件日志,数据库日志等等。

记日志的方式

对于开发者而言,随手记日志(笔记)是一个良好的工作习惯。将工作或学习中遇到的问题,解决方案,新的体会随时记下来,日积月累,就可以逐渐形成自己的知识体系。作为一个Evernote 的深度用户,老码农推荐使用Evernote,当然有道云笔记之类的其他工具同样有效。开发者自身的日志一般都是给自己看的,记录工作或学习日志的方式因人而异,适合自己就好。

而程序代码中的日志,多用于应用中相关信息的跟踪记录,要便于其他开发者或者其他应用程序使用,一般是由日志标准的。广泛使用的日志记录标准是RFC 5424(https://tools.ietf.org/html/rfc5424)中定义的syslog。 syslog标准能够标准化系统生成,过滤,记录和分析日志消息。例如,其中定义的日志重要等级是这样的:

          0       Emergency: system is unusable
          1       Alert: action must be taken immediately
          2       Critical: critical conditions
          3       Error: error conditions
          4       Warning: warning conditions
          5       Notice: normal but significant condition
          6       Informational: informational messages
          7       Debug: debug-level messages

在实际应用中,根据应用场景,有可能不完全遵从RFC 5424, 但依然可以从各种各样日志工具库中看到他们的影子,参考《全栈的技术栈设想》,对于全栈必备的几种编程语言而言,Java中的Log4j,Python 中的Logging, JavaScript 中的log4JS都是不错的选择,遗憾的是,老码农没有在Objective C 中使用过较好的日志库,还在用将nslog 写入文件的方式记日志,在C/C++中到是曾经用过log4CXX以及zlog。

在python 的世界里,有着这样相对偏执的说法,“以日志调试为荣,以单步跟踪为耻”。虽然有矫枉过正的嫌疑,但充分说明了记log日志的重要性。

常见应用中的日志

成熟的系统中都有着自己的日志子系统,例如windows的系统日志,Linux的syslog,docker的容器日志等。这里简要回顾一些常见后端服务中的日志:Nginx日志,mysql 日志 和 tomcat 日志。

Nginx日志主要分为两种:访问日志和错误日志。访问日志主要记录客户端访问Nginx的每一个请求,格式可以自定义。通过访问日志,可以得到用户地域来源、跳转来源、使用终端、某个URL访问量等相关信息。错误日志主要记录客户端访问Nginx出错时的日志,格式不支持自定义。通过错误日志,可以得到系统某个服务或server的性能瓶颈等。在分析nginx 日志时, 老码农目前比较喜欢的工具是goaccess.

Tomcat下相关的日志文件有Cataline引擎的日志文件,文件名catalina.日期.log;Tomcat下内部代码丢出的日志,文件名localhost.日期.log;Tomcat下默认manager应用日志,文件名manager.日期.log ;控制台输出的日志,Linux下默认重定向到catalina.out ;通过Servlet.xml配置的Access日志,应用程序以log4j.properties:${catalina.base}/logs/probe.log重定向的日志等等。 就分析工具而言,老码农目前觉得Awstats是个不错的工具。

MySQL有以下几种日志:

  1. 错误日志:记录启动、运行或停止时出现的问题,一般也会记录警告信息。
  2. 一般查询日志:记录建立的客户端连接和执行的语句。
  3. 慢查询日志:记录所有执行时间超过longquerytime秒的所有查询或不使用索引的查询,可以帮我们定位服务器性能问题。
  4. 二进制日志:任何引起或可能引起数据库变化的操作,主要用于复制和即时点恢复。
  5. 中继日志:从主服务器的二进制日志文件中复制而来的事件,并保存为的日志文件。
  6. 事务日志:记录InnoDB等支持事务的存储引擎执行事务时产生的日志。

MySQL 中的日志不仅仅是跟踪信息,而且成为了业务系统的一部分。就日志分析而言,老码农最喜欢的就是percona-toolkit了,尤其是其中的慢查询分析工具pt-query-degist.

根据应用中的日志,可以获知系统中更有价值的信息,而且可以为自己的日志系统提供资粮。

日志分析平台

对单应用实体的日志分析,可以有一些非常不错的工具,例如上面提到的pt,goaccess等等。但是,对于整个应用系统而言,在工作流或任务链上的每个服务组件都会产生日志,那么如何分析整个业务系统的日志呢?

老码农觉得ELK是日志分析平台的一个上佳选择。ELK由Elasticsearch、Logstash和Kibana三部分组件组成:Elasticsearch是个开源分布式搜索引擎,它的特点是分布式,零配置,自动发现,索引自动分片,索引副本机制,restful风格接口,多数据源,自动搜索负载等。Kibana 是一个开源和免费的工具,可以为 Logstash 和 ElasticSearch 提供日志分析结果的Web可视化界面,汇总、分析和搜索重要数据日志。Logstash是一个完全开源的工具,可以对各种日志进行收集、分析,并将其存储供,logstash 的工作示意图如下:

在ELK方案中,logstash 进行日志采集和预处理,ES 完成分布式检索,Kibaba 做最终的分析结果可视化。随之需求的变化, 基于ELK 之上还有很多变种,例如引进Kafka消息队列,增加Storm 实时分析等等,都使得基于日志的应用实现更大的价值化。

更进一步,会形成统一日志平台,逐渐形成业务系统的一部分,例如支持数据的最终一致性等等。连自己都没想到,日志居然如此的丰富多彩,还有很多有趣的问题,例如日志的动态开关配置,日志传输中的准实时性,写日志的性能损耗等等。

综上,log日志的纪录和分析,不仅仅是一种全栈必备的技能,更是一种开发者的基本素养。

原文发布于微信公众号 - 喔家ArchiSelf(wireless_com)

原文发表时间:2017-06-11

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏恰童鞋骚年

《大型网站技术架构》读书笔记之五:万无一失之网站的高可用架构

此篇已收录至《大型网站技术架构》读书笔记系列目录贴,点击访问该目录可获取更多内容。

15840
来自专栏企鹅号快讯

分布式金融系统调优实践

引言: 某银行采用分布式架构对其核心产品系统进行重构,重构后该系统由多个技术模块和业务模块组成,存在联机交易、异步消息、自动任务、批量等交易形态。各模块之间交互...

25880
来自专栏Debian社区

为什么 Django 能持续统治 Python 开发世界

对于 Python 开发者来说,web 开发框架真可谓玲琅满目。然而 Django , 毋庸置疑的成为最受青睐的 web 框架。通过本篇博客,我来为大家讲解下为...

12930
来自专栏Jackson0714

架构之旅1 - 扣减库存

生活中,我们总是用各种电商app抢购商品,但是库存数是很少的,特别是秒杀场景,商品可能就一件,那如何保证不会出现超卖的情况呢?

21850
来自专栏Linyb极客之路

浅谈分布式事务

普通事务就是一般所说的数据库事务,大家对数据库事务应该都很了解,这里再简单介绍下。

14920
来自专栏后端技术探索

\bmysql5.7 再不升就out了

Mysql 5.7的GA版本在10月末已经发布了,有个大牛进行了性能测试,对比5.6版,每秒查询数增加了一倍,达到50w/s. 堪称是mysql史上的又一大里...

11640
来自专栏IT笔记

SVN自动化部署全流程之架构之美

公司一直没有一个完善的部署流程,基本都是通过上线打包以后SSH手动拖拽部署项目。 当然网上也有现成的持续集成工具,比如jenkins。Jenkins是一个开源软...

44070
来自专栏大白虾谈架构

Windows10 Oracle ODBC安装配置

20740
来自专栏老九学堂

进程与线程的区别?

进程是什么? 程序并不能单独运行,只有将程序装载到内存中,系统为它分配资源才能运行,而这种执行的程序就称之为进程。程序和进程的区别就在于:程序是指令的集合,它是...

381110
来自专栏pangguoming

浅谈分布式数据库

文章集中整理总结mysql分库分表开源产品,分布式数据库的设计,以及实际应用案例等相关内容,部分附上本文作者实际应用过程中的理解。

1.2K20

扫码关注云+社区

领取腾讯云代金券