由于日常工作较忙,不能及时回复微信公众号私信,一般我会在晚上 9 点后统一查看私信。
为了让每次沟通都简单高效,快速定位问题,有关 web scraper 的疑惑请尽量按照下文的格式提问:
由于微信号文章发布后就没有办法改文章了,我建议大家去 https://www.cnblogs.com/web-scraper 这个网址看教程,我会持续跟进 web scraper 的更新和教程案例网站的变更,避免出现教程过时的情况。
如果你对教程中的某个点不理解,可以指出第几篇文章的第几小节不明白,这样我也好定位问题。
提问前最好先检查一下 web scraper 的版本号。
本文教程只适用于 0.4.1 及以上版本 ,因为我写教程时用的 0.4.1 版本。低于此版本的爬虫插件无法保证教程有效。
一定要提供有疑惑的文本网址链接。不要给截图!不要给截图!不要给截图!
web scraper 爬不到数据,会有很多因素。提问前最好先定位一下问题:是元素无法勾选?还是无法翻页?导出数据失败还是抓取页面异常崩溃?
sitemap 的导出方式我前文已经说过了。
每个人的爬虫需求都不同,复原案发现场是一件工作量很大的事情,所以务必提供出问题的 sitemap 文本。
我收到后会尝试解决问题,解决后会把新的 sitemap 发给你,并告诉你解决的思路。如果无法解决,也会告知你无解的原因。