java--跟踪运行java应用程序时所使用的带宽和其他参数的库/方法
java--跟踪运行java应用程序时所使用的带宽和其他参数的库/方法
提问于 2012-06-28 23:07:07
我正在努力创建一个Java的网络爬虫。爬虫访问网站，使用JDBC访问/存储数据库中的数据，还将文件存储在本地或云存储上。
作为爬行的一部分，我想记录爬虫使用的确切细节--
参数，如--
Number of sites visited (HTTP+HTTPS)
Number of bytes of data received over one run of the crawler
Number of bytes of data sent over one run of the crawler
Number of rows updated/inserted/deleted/selected via JDBC over that run of the crawler
Number of bytes of data stored+accessed in local machine (on which the crawler is running)
Number of bytes of data stored+accessed in cloud storage (like Amazon S3)有没有什么快速的方法来完成上面的部分或全部呢？也许是一些必须插入到我的java应用程序中的库？当爬虫执行某些操作(如访问网站、下载数据等)时，我是否需要在每个阶段单独记录以上所有参数？？我不希望程序仅仅因为我想测量和跟踪上面的参数而陷入困境。
我希望使用爬虫作为桌面应用程序和网络应用程序，所以解决方案都是受欢迎的…
回答 1
Stack Overflow用户
回答已采纳
发布于 2012-06-28 23:51:35
当爬虫执行某些操作(如访问网站、下载数据等)时，我是否需要在每个阶段单独记录以上所有参数？
是。
您要将数字添加到全局统计类中的整数或长整型值中，您必须为应用程序创建这些值。你的程序不应该在执行加法时陷入困境。
页面原文内容由Stack Overflow提供。腾讯云小微IT领域专用引擎提供翻译支持
原文链接：
https://stackoverflow.com/questions/11247558
复制相关文章
相似问题
腾讯云开发者
