专栏首页超级码力web scraper 提问须知

web scraper 提问须知

由于日常工作较忙,不能及时回复微信公众号私信,一般我会在晚上 9 点后统一查看私信。

为了让每次沟通都简单高效,快速定位问题,有关 web scraper 的疑惑请尽量按照下文的格式提问:

1.指出教程中的疑惑点

由于微信号文章发布后就没有办法改文章了,我建议大家去 https://www.cnblogs.com/web-scraper 这个网址看教程,我会持续跟进 web scraper 的更新和教程案例网站的变更,避免出现教程过时的情况。

如果你对教程中的某个点不理解,可以指出第几篇文章的第几小节不明白,这样我也好定位问题。

2.检查版本号

提问前最好先检查一下 web scraper 的版本号。

本文教程只适用于 0.4.1 及以上版本 ,因为我写教程时用的 0.4.1 版本。低于此版本的爬虫插件无法保证教程有效。

3.提供网址

一定要提供有疑惑的文本网址链接。不要给截图!不要给截图!不要给截图!

4.描述问题

web scraper 爬不到数据,会有很多因素。提问前最好先定位一下问题:是元素无法勾选?还是无法翻页?导出数据失败还是抓取页面异常崩溃?

5.提供 sitemap

sitemap 的导出方式我前文已经说过了。

每个人的爬虫需求都不同,复原案发现场是一件工作量很大的事情,所以务必提供出问题的 sitemap 文本

我收到后会尝试解决问题,解决后会把新的 sitemap 发给你,并告诉你解决的思路。如果无法解决,也会告知你无解的原因。

本文分享自微信公众号 - 卤蛋实验室(egglabs),作者:卤代烃

原文出处及转载信息见文内详细说明,如有侵权,请联系 yunjia_community@tencent.com 删除。

原始发表时间:2020-03-04

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

我来说两句

0 条评论
登录 后参与评论

相关文章

  • 造谣成本有多低?一行代码就可以截图造假

    今天在网上看到了这么一个截图,大意是说小米手机官微发声,就最近的事情对华为落井下石,微博上不明真相的吃瓜群众纷纷转发评论,对小米造成不小的困扰。

    卤代烃
  • 可视化 | 10 张 3D 建模图还原「巴黎圣母院」火灾细节

    前两天巴黎圣母院的火灾牵动了很多人的心,育碧老贼还借势营销免费推了一波《刺客信条》,美其名曰在游戏里重游巴黎圣母院,我这种正直的人难道会信老贼的鬼话吗?

    卤代烃
  • 简易数据分析 04 | Web Scraper 初尝:抓取豆瓣高分电影

    今天我们开始数据抓取的第一课,完成我们的第一个爬虫。因为是刚刚开始,操作我会讲的非常详细,可能会有些啰嗦,希望各位不要嫌弃啊:)

    卤代烃
  • java web部署 启动线程 (监听socket等)

    用户1258909
  • python爬虫实战-爬取微信公众号所有历史文章 - (02) python封装adb命令操作安卓手机

    正如一番在这个系列文章的(00)篇中所说,一番在做1.0版本的时候用到了一些取巧的方法,其中就包括python通过adb操作手机。

    efonfighting
  • 【php增删改查实例】第十八节 - login.php编写

    剽悍一小兔
  • 如果用R语言读《笑傲江湖》……

    上周末,闲着没事就试了一个新的R中文文本分词包——jiebaR,支持Windows,支持简体及繁体中文,速度也很快,大家可以根据该包文档去学习,很容易上手!下面...

    CDA数据分析师
  • LeetCode 50. Pow(x, n)(二分查找)

    示例 输入: 2.00000, -2 输出: 0.25000 解释: 2-2 = 1/22 = 1/4 = 0.25 说明: -100.0 < x <...

    Michael阿明
  • 039android初级篇之获取已安装应用的图标签名等信息并保存

    对于已安装的应用我们可以使用PackageManager获取其图标 程序版本 版本名称 应用名 程序的权限 程序的签名等等。

    上善若水.夏
  • iOS开发CoreGraphics核心图形框架之七——图像处理

        位图图像数据实际上一个像素阵列,其中每个像素代表了图像中的一个点。位图实际上只支持矩形区域的渲染,但是使用透明技术可以实现任意形状图像的渲染。开发者也可...

    珲少

扫码关注云+社区

领取腾讯云代金券