requests——轻松获取网页源代码

python 的 requests 模块是爬虫的基本模块,让我们看看怎么用!

参考:Python3 网络爬虫开发实战

介绍

Requests 模块是一个用于网络访问的模块。就像这个 url:https://www.baidu.com,如果我们想获取这个 url 的网页源代码,requests 模块可以帮我们实现,甚至可以帮我们获取到更多更多的信息。

URL 介绍

URL 的一般语法格式为:

protocol 一般代表 http/https/ftp 等

hostname 一般代表主机域名或 IP 地址

port 端口号,可省略。

path 路径 表示主机下的目录路径

param 向服务器传入参数

query 代表查询字符串

fragment 代表定位 #top 代表移动到顶部

浏览器请求

get:向服务器请求数据

post:向服务器提交数据

导入

使用

可以通过 requests.get() 传入 url 各部分组成,然后通过 url 方法获取最后的链接。

获取到了网页源代码

get 请求

http://httpbin.org/get 如果判断是 GET 请求,就会返回 Request 信息

结果其实就是浏览器看到的

也可以模拟 get 请求,传入参数

添加 Headers

有时候也可以通过 headers 参数来传递头信息。

有些网站需要添加 Headers 才能正常请求。

比如知乎

正常访问应该是可以的。

让我们添加头部

得到源代码

POST 请求

post 请求就是模拟表单提交,把数据提交到服务器上

用 requests 实现 post 请求同样很简单

返回结果中的 form 部分就是提交的数据,就可以证明 post 请求成功

Response

发送 requests 请求后,自然就是 response 响应,上面的实例都是获取到了 response 内容。

我们可以通过很多方法或属性获取到其他的信息。

例如 Headers,cookies,status code 等

超时设置

有时网络不好,请求一个网站就会很慢或者无响应,会等待很久。为了防止服务器不能及时响应,我们可以设置一个响应时间。

即超过这个时间还没得到响应,那就报错

如果 timeout=0.0001 就会出错,如图。

代理设置

对于爬虫,就是需要频繁的请求,那就容易要输入验证码,甚至把你的 IP 封禁,这样就不能再访问这个网站了。这就是现在所谓的反爬机制。

为了防止这种情况发生,需要代理 IP 来解决这个问题。

代理 IP 有免费的,收费的。但一般收费的才比较稳。

实例

下面我们要把知乎的搜索的热题都给爬取下来

首先前面讲过,访问这个网站需要 headers

其次这个需要用正则表达式匹配。

让我们看看知乎今日最热模块的代码分析

看结果

可以看出各标题都给爬取下来了。格式什么的都是浮云,我就懒得调了。

-not end-

python 学习笔记

  • 发表于:
  • 原文链接:https://kuaibao.qq.com/s/20181024G21AOZ00?refer=cp_1026
  • 腾讯「云+社区」是腾讯内容开放平台帐号(企鹅号)传播渠道之一,根据《腾讯内容开放平台服务协议》转载发布内容。

扫码关注云+社区

领取腾讯云代金券