识别搜索爬行器
识别搜索爬行器
提问于 2015-10-21 03:47:53
我有一个网站，统计有多少人访问了这个特定的网页，但我不想计数什么时候搜索爬虫访问他们。java是否有任何方法来识别它是爬虫还是真正的用户？使用Java7和tomcat
谢谢
回答 1
Stack Overflow用户
回答已采纳
发布于 2015-12-21 14:14:39
正如Henry提到的，您必须检查每个请求的User-Agent头。
您可以使用以下蜘蛛列表：http://www.useragentstring.com/pages/Crawlerlist/
此外，您还可以检查模式是否包含"bot“、”爬虫“等。还请注意，一些机器人可以使用通常的用户代理字符串掩蔽自己。
此检查必须非常快速，因此您需要为爬虫名称创建缓存。或者你可以使用Google Analytics，我认为它不包括网络爬虫。
页面原文内容由Stack Overflow提供。腾讯云小微IT领域专用引擎提供翻译支持
原文链接：
https://stackoverflow.com/questions/33250596
复制相关文章
相似问题
腾讯云开发者
