特别是现网广州,上海,北京三个地域(国内用户太热情高涨了), 白天高峰期的时候会发现日志的写入速度跟不上采集的数据.现象是现网刚刚产生的日志数据,到写入DB存储之间的时间差越来越长。...肉眼调试法
简单打印调试分析了下, 排除了采集的性能问题.理论上这块的IO资源是绰绰有余的, 实践方法是把收集到的日志马上输出到标准输出, 然后和现网机器日志执行tail -f进行对比观察, 可以观察到两者几乎是同步输出的...批量写入优化
然后是解析处理这个环节的排查, 排查效仿上一步骤, 把存储的步骤换成输出到标准输出观察, 观察了十来分钟发现基本和现网一致。...go func() { log.Println(http.ListenAndServe("localhost:5001", nil))}()
然后启动tailer程序, 然后运行go-torch对程序进行无情的鞭策...go-torch --time=20 --file "torch.svg" --url http://localhost:5001
最后在当前目录生成了一个torch.svg文件, 在浏览器打开,即可调用栈火焰图