专栏首页Chasays「工具神器」推荐一个扒网页的神器
原创

「工具神器」推荐一个扒网页的神器

前言

前不久写了一篇关于爬虫把网站的帖子,主要是介绍了一些。工具方面的东西,一个是八爪鱼,还有一个是webcopy。还有其他的一些常见的工具,像国外的IDM,IDM也是非常流行的操作建议是非常方便的,不过这几年在爬虫方面,大部分崛起,让导致IDM的软件使用需求变少。也新增了像八爪鱼和Webcopy这样的软件。

使用方法

有网友推荐我做一下Webcopy这样软件的使用方式。他主要的方式主要是分为几个点,一个是可以深度去爬虫爬取一些网页,第二个是可以浏览网页。

在这里插入图片描述

第一个功能是扫描网页,有哪些结构是可以扫出来,是可以直接一目了然地通过八爪鱼的一个图形显示出来。

点击扫描SCAN这个按钮可以等一段时间就可以看到网站全部内容。通过弹出框的左上角可以发现。如果没有加密的网页是80端口,加密的网址是显示的是443。

在这里插入图片描述

一个非常出名的网址,不说多了,直接上图。在扫描设置的时候可以设置网易最大深度和网页最大数。。左边绿色的是结构图,右边的是深度,右下是选择是否下载js、css、图片、视频等静态文件。

在这里插入图片描述
  • 正在爬虫的内容
    在这里插入图片描述
    点击Copy之后,弹出一个对话框。选择是就可以了。新建一个目录。
    在这里插入图片描述
  • 接下来就开始慢慢的抓取
    在这里插入图片描述
    抓取的时间,取决于你的要抓取的网站大小和网速等有关。基本上教程到这里就完了。 还要说的就是最后一步,抓取完了之后保存的页面打开html或htm的文件即可。

小结

可以学习下网站的结构图,以及css、js的运用和学习。工具只是一种辅助,最重要的还是自己掌握自己需要的东西。

最后安利下,在微信公众号「Chasays」里面回复「webcopy」即可获得英文和中文2个版本。

原创声明,本文系作者授权云+社区发表,未经许可,不得转载。

如有侵权,请联系 yunjia_community@tencent.com 删除。

我来说两句

0 条评论
登录 后参与评论

相关文章

  • 王欣复出后的第一款产品

    说起「快播」,估计 80 后的人无人不知,无人不晓。那可是当时一个非常牛逼的视频播放软件。我今天要说的就是曾经的王铁匠「王欣」,也就是前快播的 CEO。

    叉叉敌
  • 快速获取一个网站的所有资源,图片,扒站,仿站必备工具

    网络爬行(也称为网络抓取)在当今的许多领域得到广泛应用。它的目标是从任何网站获取新的或更新的数据并存储数据以便于访问。Web爬虫工具越来越为人所知,因为Web爬...

    叉叉敌
  • 「资源」 Windows 强力清除软件

    最近在更新 iTunes 的时候,遇到一个问题,提示老版本不能卸载。于是到 Windows 软件管理中心把 Apple 相关的全部卸载掉,以及相关的 Apple...

    叉叉敌
  • 生产力提升!Ubuntu16.04LTS软件推荐, 对比win7/10!(2018.4重编版)

    sean_yang
  • 深度学习可解释性问题如何解决?图灵奖得主Bengio有一个解

    自 2012 年以来,深度学习的发展有目共睹,今年 3 月,为此做出巨大贡献的 Yoshua Bengio、Yann Lecun和Geofrey Hinton ...

    AI科技大本营
  • 架构师一定要很强的编码能力之后才能当吗?

    架构师一定要负责整个系统中最核心和最难的地方的编写,并且设计好团队合作开发的方式,能根据编程经验看到未来的变化,架构太重要了,出不得错误,出了错误很难回头,如果...

    java架构师
  • 第二篇排序算法|插入排序

    我输出文章初衷就是为了简单记录一下自己输出的内容,便于后面自己对某个知识点的快速回顾,这样记忆的更加牢固(理解更加深刻),所以这段时间会一直连续输出关于排...

    码农王同学
  • 「解决方案架构」解决方案架构全生命周期

    最近,我在Linkedin上发布了一张关于解决方案架构生命周期的工作进展图片——浏览量超过1000次,我想我会在博客上发布一张更详细的图片,并附上一些非常简短的...

    首席架构师智库
  • 什么是架构,什么是架构师?

    作者|王晓波 编辑|韩婷 什么是架构,什么是架构师?这似乎是聊架构话题时永恒的问题。 从内心讲我真的不想回答架构具体需要做什么,架构师应该具体负责什么。因为从实...

    程序员小王
  • 3306π武汉站嘉宾专访-爱可生技术服务总监洪斌

    MySQL技术专家,现任爱可生技术服务总监,负责MySQL数据库在传统行业客户的应用推广与技术咨询,曾为运营商、银行、证券、保险、航空等行业内数家大型企业提供M...

    田帅萌

扫码关注云+社区

领取腾讯云代金券