首页
学习
活动
专区
工具
TVP
发布
精选内容/技术社群/优惠产品,尽在小程序
立即前往
您找到你想要的搜索结果了吗?
是的
没有找到

使用go进行日志分析并生成excel,再也担心做日志分析了

那么多日志,我该怎么分析呢?该使用什么工具去分析呢。最后还要生成excel表格。哇,给我愁坏了。所以我开始并没有直接去做需求,而是去查资料、问同事、朋友,怎么做日志分析。...确定了语言,我就开始分析日志了,下面我就来详细介绍一下我是怎么使用go完成的日志分析,并成功生成excel表格。 代码已上传GitHub,可自行下载学习。...传送门 前期准备 因为公司的log不能在这里直接展示,所以本次教程我自己生成了几个测试log。...日志分析 分析之前,先看一下我们的需求:分析每个请求的次数,查询参数,平均时间。 确定了需求,下面我们开始对日志进行分析。每一行代表一个完整的日志请求。...日志分析好了,下面就是实现部分了。

59120

(六)日志生成

日志启动 1)代码参数说明 // 参数一:控制发送每条的延时时间,默认是0 Long delay = args.length > 0 ?...Integer.parseInt(args[1]) : 1000; 2)将生成的jar包log-collector-0.0.1-SNAPSHOT-jar-with-dependencies.jar拷贝到...proc/self/fd/0 标准输出1:输出到屏幕(即控制台) /proc/self/fd/1 错误输出2:输出到屏幕(即控制台) /proc/self/fd/2 4)在/tmp/logs路径下查看生成日志文件...cd /tmp/logs/ ls app-2020-06-10.log 将日志数据传入系统黑洞中,1表示标准输出到控制台,2表示标准输出错误信息,0表示键盘输入 java -classpath...就可以这样使用,与打包的插件功能有关 java -jar log-collector-1.0-SNAPSHOT-jar-with-dependencies.jar >/dev/null 2>&1 集群日志生成启动脚本

60220

Apache访问日志+记录静态文件

Apache访问日志 : 访问日志:顾名思义就是当有人访问咱们的站点,就会被记录些信息!其实这个还是蛮重要,尤其是站点受到攻击,直接命令的日志可以让我们迅速找到攻击者IP的规律!...---- 访问日志记录静态文件 : 当有网友访问我们的站点,站内会有很多的静态文件,如图片、css、js等,但是每当我们查看某个IP都是访问了咱们站内的什么内容时候,往往会因为这些多出来的元素导致不可以很直观的看出来访问的页面...,所以咱们可以让这些元素可以不用记录在访问日志中。...01/Aug/2017:16:32:13 +0800] "HEAD HTTP://www.haha.com/asdasd.jpg1 HTTP/1.1" 404 - "-" "curl/7.29.0" 展示太多了...虽然没有成功访问图片,但是关于png和gif的图片压根就没有记录日志! ---- 实用扩展: apache 日志中记录代理IP以及真实客户端IP。

1.8K50

11.22 访问日志记录静态文件

访问日志记录指定类型的文件目录概要 网站大多元素为静态文件,如图片、css、js等,这些元素可以不用记录 把虚拟主机配置文件改成如下: DocumentRoot...并在这目录下上传一个图片 curl -x127.0.0.1:80 -I 123.com/images/123.jpg tail /usr/local/apache2.4/logs/123.com-access_log 访问日志记录指定类型的文件...会看到右侧出现很多的元素,每一行都表示一个元素,这些请求,这些访问都会记录到访问日志里面去的,但实际上没有必须记录一些图片、css、js等元素,而这些请求都会记录到日志文件里,就会导致每天的日志访问量很大...查看日志文件,会发现日志文件中没有记录图片的日志,这个就是因为定义了日志标签 [root@hf-01 111.com]# tail -5 /usr/local/apache2.4/logs/111.com-access_log...img ,并重新加载配置文件,在刷新图片,会看到日志文件中并没有记录日志 日志文件记录总结 若是不去做一个限制,那么每一次请求都会记录到日志文件,日志文件就会变得越来越大,这样不仅会消耗磁盘空间,还会耗费磁盘

1K60

Nginx访问日志,Nginx日志切割,静态文件记录日志和过期时间

笔记内容: 12.10 Nginx访问日志 12.11 Nginx日志切割 12.12 静态文件记录日志和过期时间 笔记日期:2017.10.20 12.10 Nginx访问日志 ?...这里的combined_realip就是在nginx.conf中定义的日志格式名字。 然后重新加载配置文件: ? 接着使用curl进行访问,测试一下是否有生成日志文件: ?...生成访问日志成功,并且记录了日志: ? 12.11 Nginx日志切割 ?...mv log log- done /bin/kill -HUP `cat $nginx_pid`  //生成新的日志文件 保存退出后,我们可以使用sh -x 命令来查看这个脚本的执行过程: ?...|bmp|swf)$  //使用正则匹配图片文件    {          expires      7d;   //定义过期时间          access_log off;  //定义记录日志

5.3K20

Nginx访问日志,Nginx日志切割,静态文件记录日志和过期时间

Nginx访问日志: vim /usr/local/nginx/conf/nginx.conf //搜索log_format    = 配置文件里面可以查找到日志格式 定义访问日志 定义日志是需要在虚拟主机里面去定义的...,nginx里面如果修改了日志格式的名字那么在虚拟主机中定义日志文件需要引用nginx配置文件里面的名字。...Nginx日志切割: nginx日志切割需要使用到系统自带的工具,或者写一个切割的脚本 vim /usr/local/sbin/nginx_log_rotate.sh//写入如下内容        =...配置nginx需要的日志切割脚本 #!...crontab -e      = 任务计划 0 0 * * * /bin/bash /usr/local/sbin/nginx_log_rotate.sh = 表示每天凌晨0点执行脚本 静态文件记录日志和过期时间

1.2K60

Nginx日志过滤 使用ngx_log_if记录特定日志

它在Github上的描述是这样介绍的:ngx_log_if是一个独立的模块,允许您控制不要写的访问日志,类似于Apache的"CustomLog env = XXX" 第一步: 先到Github下载ngx_log_if...access_log_bypass_if到nginx.conf配置文件中 server {     location / {         access_log_bypass_if ($status = 404); #记录...404状态的所有日志信息         access_log_bypass_if ($uri ~* 'images'); #记录uri中所有images目录下文件的日志信息         access_log_bypass_if...($uri = '/index.html'); #记录uri为/index.html的日志信息  access_log_bypass_if ($host ~* 'tonv.cc'); #记录host...为tonv.cc的所有日志信息     } } 重启Nginx即可过滤不显示特定的日志

1.2K10

这份Java日志格式规范,拿走谢!

目录 简介 日志级别和含义 日志规范示例 简介 在程序中写日志是一件非常重要,但是很容易被开发人员忽视的地方。写好程序的日志可以帮助我们大大减轻后期维护压力。...适当的使用滚动日志并且定时清除旧文件是有好处的。我见过这样一个例子,程序运行几次后就跑起来了,前几次都是正常的。 怎么都想不明白程序有什么问题,最后才发现居然是日志文件占满了磁盘空间。...日志格式:常见的日志格式中对于每一条日志应含有的信息包括日期、时间、日志级别、代码位置、日志内容、错误码等信息。...,我们能够更加细致地控制日志生成过程。...| 日志级别大小关系 日志级别就像开关一样,来决定哪些日志方法被调用,哪些不被调用。

32310

这份Java日志格式规范,拿走谢!

1.2 撰写日志的要求 2 日志级别和含义 2.1 Log4j的组成 2.2 日志级别 2.3 日志级别大小关系 3 日志规范示例 3.1 TRACE日志记录示例 3.2 INFO日志记录示例 3.3...DEBUG日志记录示例 3.4 WARN日志记录示例 3.5 ERROR日志记录示例 ---- 1 简介 在程序中写日志是一件非常重要,但是很容易被开发人员忽视的地方。...适当的使用滚动日志并且定时清除旧文件是有好处的。我见过这样一个例子,程序运行几次后就跑起来了,前几次都是正常的。 怎么都想不明白程序有什么问题,最后才发现居然是日志文件占满了磁盘空间。...1.2.7 日志格式 常见的日志格式中对于每一条日志应含有的信息包括日期、时间、日志级别、代码位置、日志内容、错误码等信息。...,我们能够更加细致地控制日志生成过程。

99520

访问日志记录静态文件,访问日志切割,静态元素过期时间

笔记内容: 11.22 访问日志记录静态文件 11.23 访问日志切割 11.24 静态元素过期时间 笔记日期:2017.10.10 11.22 访问日志记录静态文件 ?...因为静态的图片太多了,如果每一个请求全都要记录在访问日志里的话,就会导致访问日志一天下来可能得记录几个G甚至十几个G的内容,但是这种静态图片的请求是没必要去记录在访问日志里的,所以我们要让访问日志记录指定类型的文件...11.23 访问日志切割 ? 日志都是需要进行自动切割的,因为无论什么日志日积月累地追加记录数据,都会导致文件大小越来越大直至占满整个磁盘,所以有必要让它自动切割,并删除旧的日志文件。...然后查看日志目录就会发现生成了一个新的日志文件: ?...像这样切割后,查看某一天或某个日期段的日志也很方便,但是以上这仅仅只是做了日志的自动切割,如果要实现自动删除旧的日志,需要写一个任务计划脚本让系统去自动删除规定时间的日志

1.2K20

SpringBoot项目traceId生成_日志打印

前言 查看服务日志时,当服务被调过于频繁,日志刷新太快,会影响到联调、测试、线上问题的排查效率,能不能为每一个请求的日志打一个唯一标识呢?后面使用该表示去匹配,直接检索出该请求的日志?...MDC是 log4j 和 logback 提供的一种方便在多线程条件下记录日志的功能。 MDC 可以看成是一个与当前线程绑定的哈希表,可以往其中添加键值对。...MDC的使用方法 向MDC设置值:MDC.put(key, value); 从MDC中取值:MDC.get(key); 将MDC中的内容打印到日志中:%X{key}; 初始化TraceId并向MDC...urlPatterns = "/*") @Order(0) @Component public class TraceIdFilter implements Filter { /** * 日志跟踪标识...%d{yyyy-MM-dd} [%thread] %-5level %logger{50} - [%X{TRACE_ID}] - %msg%n 异步方法的日志打印traceId 异步方法会开启一个新线程

1.8K30
领券