使用 GoAccess 分析 Nginx 日志
GoAccess 是一款开源的且具有交互视图界面的实时 Web 日志分析工具，通过你的 Web 浏览器或者 *nix 系统下的终端程序 (Terminal) 即可访问。
GoAccess 能为系统管理员提供快速且有价值的 HTTP 访问统计，并以在线可视化服务器的方式呈现。
GoAccess 官网：https://goaccess.io
安装 GoAccess
1. 通过包管理器安装
- Debian / Ubuntu
$ echo "deb http://deb.goaccess.io/ $(lsb_release -cs) main" | sudo tee -a /etc/apt/sources.list.d/goaccess.list
$ wget -O - https://deb.goaccess.io/gnugpg.key | sudo apt-key add -
$ sudo apt-get update
$ sudo apt-get install goaccess- Fedora
$ yum install goaccess- Arch Linux
$ pacman -S goaccess- Gentoo
$ emerge net-analyzer/goaccess- OS X / Homebrew
$ brew install goaccess2. 通过源代码安装
这里以 CentOS / RHEL 为例，其它版本方法也基本类似，区别在于需安装依赖软件包的包名不同而已。
- 安装依赖软件包
$ yum install glib2 glib2-devel GeoIP-devel ncurses-devel zlib zlib-devel- 编译安装 GoAccess
$ wget https://tar.goaccess.io/goaccess-1.3.tar.gz
$ tar -xzvf goaccess-1.3.tar.gz
$ cd goaccess-1.3/
$ ./configure --enable-utf8 --enable-geoip=legacy
$ make
$ make install更多安装方式，可参考官方文档：https://goaccess.io/download#installation
GoAccess 常用命令参数
$ goaccess -h
-a --agent-list 启用由主机用户代理的列表。为了更快的解析，不启用该项。
-d --with-output-resolver 在 HTML/JSON 输出中开启 IP 解析，会使用 GeoIP 来进行 IP 解析。
-f --log-file 需要分析的日志文件路径。
-p --config-file 配置文件路径。
-o --output 输出格式，支持。html、json、csv。
-m --with-mouse 控制面板支持鼠标点击。
-q --no-query-string 忽略请求的参数部分。
--real-time-html 实时生成 HTML 报告。
--daemonize 守护进程模式，--real-time-html 时使用。配置 GoAccess
GoAccess 的主要配置文件为 goaccess.conf，主要配置参数有以下几项：
time-format %H:%M:%S
date-format %d/%b/%Y
log-format %h %^[%d:%t %^] "%r" %s %b "%R" "%u"其中的 log-format 与 Nginx 日志 access.log 中的 log_format 格式对应，每个参数以空格或者制表符分割。参数说明如下：
%t 匹配 time-format 格式的时间字段
%d 匹配 date-format 格式的日期字段
%h host(客户端 ip 地址，包括 ipv4 和 ipv6)
%r 来自客户端的请求行
%m 请求的方法
%U URL 路径
%H 请求协议
%s 服务器响应的状态码
%b 服务器返回的内容大小
%R HTTP 请求头的 referer字段
%u 用户代理的 HTTP 请求报头
%D 请求所花费的时间，单位微秒
%T 请求所花费的时间，单位秒
%^ 忽略这一字段使用 GoAccess
基本用法
1. 在终端模式下运行 GoAccess
$ goaccess -a -d -f /var/log/nginx/hi-linux.com.access.log -p /etc/goaccess.conf第一次使用 GoAccess 的时候，会弹出下面的对话框，要求配置 access_log 的时间和日志格式。 Nginx 默认的日志格式就是 NCSA, 所以一般就选第一个就可以了。
日志格式选中 NCSA Combined Log Format 并回车后， GoAccess 分析日志完成后会在终端上显示分析结果。
控制台下 GoAccess 的操作方法
F1 主帮助页面
F5 重绘主窗口
q 退出
1-15 跳转到对应编号的模块位置
o 打开当前模块的详细视图
j 当前模块向下滚动
k 当前模块向上滚动
s 对模块排序
/ 在所有模块中搜索匹配
n 查找下一个出现的位置
g 移动到第一个模块顶部
G 移动到最后一个模块底部2. 在 HTML 模式下运行 GoAccess
默认情况下，GoAccess 是运行在控制台模式下的，也就是在命令行里直接输出结果。
为了更方便的访问分析结果，我们可以通过 GoAccess 的 HTML 模式将分析结果页面保存为 HTML，然后通过浏览器访问。
要让 GoAccess 在 HTML 模式下运行，我们则需要配置下 GoAccess 的配置文件。
$ cat goaccess.conf
time-format %H:%M:%S
date-format %d/%b/%Y
log-format %h %^[%d:%t %^] "%r" %s %b "%R" "%u"- 通过命令行运行 GoAccess 的 HTML 模式
$ goaccess -a -d -f /var/log/nginx/hi-linux.com.access.log -p /etc/goaccess.conf -o /var/log/nginx/goaccess.html
- 通过 Daemonize 模式运行 GoAccess 的 HTML 模式
在命令行下运行 GoAccess 的 HTML 模式所产生分析结果文件并不是实时的，如果我们要产生实时的 HTML 分析页面又应该如何做呢？
GoAccess 已经为我们考虑到这点了，我们可以以 Daemonize 模式来运行，并提供创建实时 HTML 的功能。要实时输出 HTML 格式的分析结果，只需要在启动命令时加入 --real-time-html 和 --daemonize 参数即可。
$ goaccess -a -d -f /var/log/nginx/hi-linux.com.access.log -p /etc/goaccess.conf -o /var/log/nginx/goaccess.html --real-time-html --daemonize以守护进程启动 GoAccess 后，使用 Websocket 建立了长连接。它默认监听 7890 端口，如果需要自定义，可以通过 --port 参数指定端口号。
# 查看 GoAccess 的监听端口 7890
$ netstat -tunpl | grep "goaccess"
tcp 0 0 0.0.0.0:7890 0.0.0.0:* LISTEN 21136/goaccess- 通过 Crontab 运行 GoAccess 的 HTML 模式
在某些场景下，也许我们没有这样高的实时性要求，也可以采用 Crontab 机制来实现定时更新 HTML 报表。
$ crontab -e
# 每 30 分钟执行
30 * * * * goaccess -a -d -f /var/log/nginx/hi-linux.com.access.log -p /etc/goaccess.conf -o /var/log/nginx/goaccess.html 2> /var/log/nginx/goaccess.log高级用法
- 让 GoAccess 支持自定义的日志格式
GoAccess 也是支持日志格式定制的，比如现在绝大部分 Nginx 可能都会包括 vhost，即一个物理 Nginx 服务器可以支持多个域名的虚拟主机，但是 Nginx 默认的 NCSA 日志格式在 /etc/nginx/nginx.conf 配置中是不包括 vhost 字段, 所以我们就无法在报表中区分不同虚拟主机的请求。
Nginx 默认的 NCSA 日志格式
log_format main '$remote_addr - $remote_user [$time_local] "$request" '
'$status $body_bytes_sent "$http_referer" '
'"$http_user_agent" "$http_x_forwarded_for" ';为了支持 vhost，可以 Nginx 的 log_format 定制成下面这个样子, 主要是添加了 $server_name 字段用来显示 vhost, 还有末尾的 $xxx_time, 用来显示每个请求的耗时。
log_format main '[$time_local] $remote_addr $server_name "$request" '
'$status $body_bytes_sent "$http_referer" '
'"$http_user_agent" "$http_x_forwarded_for" '
'$upstream_addr $request_time $upstream_response_time';为了让 GoAccess 能适配这个格式，需要将 goaccess.conf 中修改成如下格式：
# NCSA Combined Log Format
log-format %^[%d:%t %^] %h %v "%r" %s %b "%R" "%u"其中，具体的指示符号可以参考 GoAccess 的官方文档, 比如 %^ 代表忽略对应的字段。
- 通过管道让 GoAccess 更灵活的处理输入
GoAccess 还可以从管道支持输入，这样可以做一些更灵活的处理。比如：access_log 日志中的 request 字段并不包括 server_name。为了让 request 能够包含完整的 url, 我们可以用下面的命令：
$ awk '$6=$4$6' access.log | goaccess -a -因为 awk 的第 4 列包含了 server_name, 这个命令将 server_name 放到了 request 的前面组成了完整的 url，再将结果用作 GoAccess 的输入。
参考文档
https://www.google.com http://t.cn/RKwsKkv
http://t.cn/E9UFxfF http://t.cn/E9Usnb1
http://t.cn/E94vqcJ
http://t.cn/E9473TF