师范学院教授教你，用python玩爬虫的基础知识，全是干货

有师范学院教授说，随着大数据时代的到来，数据变得越来越重要，无论是获取数据，还是保护数据，这样的技能也将变得越来越有价值。

看这位师范学院教授从最基础的爬虫内容开始讲，即HTML爬取。

最后还有讲python爬虫的视频！

用python爬虫爬取网页HTML

这应该很多人常用的爬取数据的方法，这里我以爬取壁纸网站为例。

玩python爬虫，首先，你要先确定需要爬取的网站

假设要爬取这个网站的壁纸

然后，你要再分析页面图片的标签

确定出定位的标签，便于后面解析页面数据

接下来就是，提取认证信息，并且构建认证信息

要避免被判断是python爬虫在访问数据

再就是，发送请求

获取页面的数据

效果如下：

然后就是，解析数据，提取数据

这是我在用的xpath语法：

// 代表匹配

/ 匹配下级标签

[] 标签里的数据

@ 获取元素数据

这是部分代码以及相应效果

这样，页面数据也就能提取下来了。

最后一步，下载图片

下载需要拼接路由，所以应用遍历，逐个拼接，逐个访问。

HTML爬取的基础内容大致就是这么多，可以结合更多的python爬虫案例项目操作一下。

比如：用python爬虫爬取各种视频、或者各种图片、或者各种小说等等，都是可以的哦。

有关python爬虫的各种项目案例源码以及相应的教程，我这里都有，在视频里看，按领视频的方式自己去拿就可以。

最后，python爬虫是一门可以应用十分广泛的技能，如果能学会，那以后需要什么数据，基本上也就是几行代码的事哦。