开发者社区

文档建议反馈控制台

文章/答案/技术大牛

发布

社区首页 >问答首页 >Grails中的Web Crawler用于计算页面深度

问Grails中的Web Crawler用于计算页面深度
EN

Stack Overflow用户

提问于 2014-06-25 18:43:43

回答 1查看 155关注 0票数 1

我在做爬虫申请。我希望爬行网站，并找到深度的网页检索。我读过不同的爬行和解析工具，但都没有用。它们似乎都没有为计算深度提供支持。我也不确定使用哪一种爬虫工具，哪种工具最接近所需的功能。任何帮助都是非常感谢的。

EN

回答 1

Stack Overflow用户

回答已采纳

发布于 2014-06-25 19:33:39

最重要的可能是域的映射(而不是解析器)。

因为，如果您使用的是树(有关维基百科的更多信息)，那么很容易计算您的URL的深度(最小深度)。

希望这能有所帮助。

票数 1

EN

页面原文内容由Stack Overflow提供。腾讯云小微IT领域专用引擎提供翻译支持

原文链接：

https://stackoverflow.com/questions/24416214

复制

相似问题