这不是一个严格的技术编程问题。我更多的是在寻求建议,希望你们能提供帮助。
我正在寻找一个网络框架/蜘蛛,可以爬行一个不规则的网站(一个网站没有一个容易定义的页面结构,例如使用url中的标题字符串索引),并搜索关键字。可以很容易地定制,并且可以很容易地在JS (最好是)或C#中编写附加功能的东西
我是网络爬虫行业的新手,所以只要给我一个框架,我会很高兴自己去读它。谢谢:)
发布于 2015-02-17 02:03:34
对我来说,最好的C#网络爬虫仍然是Abot https://code.google.com/p/abot/,它很容易学习,而且可以扩展。
https://stackoverflow.com/questions/28537906
复制相似问题