查看/分析/过滤大量跟踪/日志文件的最佳方法是什么？
查看/分析/过滤大量跟踪/日志文件的最佳方法是什么？
提问于 2010-03-18 15:04:56
这似乎是一个重新出现的问题:我们收到了软件的错误报告，并且收到了大量的跟踪或日志文件。
由于当对日志消息/事件进行可视化时，查找错误要容易得多，因此使用可以在图中显示事件进展的工具(例如，用于分析网络流量的wireshark (http://www.wireshark.org) )非常方便。
你用什么工具来达到这样的目的？
到目前为止，我使用的大多数工具的问题是，当您向它们提供巨大的数据跟踪(> 1GB)时，它们会无情地崩溃，因此这种工具的一些标准是：
- 可以处理巨大的输入文件(> 1GB)
- 非常快(所以在加载文件时不必喝咖啡)
- 有某种过滤机制
回答 2
Stack Overflow用户
发布于 2010-03-18 15:09:52
很好的线索。Tim (以前在Sun，现在在谷歌)几年前有一次关于编写脚本来处理日志文件的竞赛：http://www.tbray.org/ongoing/When/200x/2007/09/20/Wide-Finder
从实现时间、运行时间和可伸缩性来看，IMHO mpi4py现在将是最佳解决方案。
同时，考虑和AWK一起去奥尔德斯库尔。在最近的一次比赛中，它击败了C/C++/Java，http://anyall.org/blog/2009/09/dont-mawk-awk-the-fastest-and-most-elegant-big-data-munging-language/
Stack Overflow用户
发布于 2010-03-18 15:07:12
由于每个日志文件都有自己的格式，恐怕没有现成的组件可以满足您的需要；您必须编写自己的可视化工具。
页面原文内容由Stack Overflow提供。腾讯云小微IT领域专用引擎提供翻译支持
原文链接：
https://stackoverflow.com/questions/2470830
复制相关文章
相似问题
腾讯云开发者
