requests——轻松获取网页源代码

python 的 requests 模块是爬虫的基本模块，让我们看看怎么用！

参考：Python3 网络爬虫开发实战

介绍

Requests 模块是一个用于网络访问的模块。就像这个 url：https://www.baidu.com，如果我们想获取这个 url 的网页源代码，requests 模块可以帮我们实现，甚至可以帮我们获取到更多更多的信息。

URL 介绍

URL 的一般语法格式为：

protocol 一般代表 http/https/ftp 等

hostname 一般代表主机域名或 IP 地址

port 端口号，可省略。

path 路径 表示主机下的目录路径

param 向服务器传入参数

query 代表查询字符串

fragment 代表定位 #top 代表移动到顶部

浏览器请求

get：向服务器请求数据

post：向服务器提交数据

导入

使用

可以通过 requests.get() 传入 url 各部分组成，然后通过 url 方法获取最后的链接。

获取到了网页源代码

get 请求

http://httpbin.org/get 如果判断是 GET 请求，就会返回 Request 信息

结果其实就是浏览器看到的

也可以模拟 get 请求，传入参数

添加 Headers

有时候也可以通过 headers 参数来传递头信息。

有些网站需要添加 Headers 才能正常请求。

比如知乎

正常访问应该是可以的。

让我们添加头部

得到源代码

POST 请求

post 请求就是模拟表单提交，把数据提交到服务器上

用 requests 实现 post 请求同样很简单

返回结果中的 form 部分就是提交的数据，就可以证明 post 请求成功

Response

发送 requests 请求后，自然就是 response 响应，上面的实例都是获取到了 response 内容。

我们可以通过很多方法或属性获取到其他的信息。

例如 Headers，cookies，status code 等

超时设置

有时网络不好，请求一个网站就会很慢或者无响应，会等待很久。为了防止服务器不能及时响应，我们可以设置一个响应时间。

即超过这个时间还没得到响应，那就报错

如果 timeout=0.0001 就会出错，如图。

代理设置

对于爬虫，就是需要频繁的请求，那就容易要输入验证码，甚至把你的 IP 封禁，这样就不能再访问这个网站了。这就是现在所谓的反爬机制。

为了防止这种情况发生，需要代理 IP 来解决这个问题。

代理 IP 有免费的，收费的。但一般收费的才比较稳。

实例

下面我们要把知乎的搜索的热题都给爬取下来

首先前面讲过，访问这个网站需要 headers

其次这个需要用正则表达式匹配。

让我们看看知乎今日最热模块的代码分析

看结果

可以看出各标题都给爬取下来了。格式什么的都是浮云，我就懒得调了。

-not end-

python 学习笔记