专栏首页技术探究-前端、Python、爬虫、数据分析、工具爬虫系列(5)更简便Requests请求库使用介绍。

爬虫系列(5)更简便Requests请求库使用介绍。


先介绍一个网站“Requests:让HTTP服务人类”

  • http://cn.python-requests.org/zh_CN/latest/


1. 介绍

对了解一些爬虫的基本理念,掌握爬虫爬取的流程有所帮助。入门之后,我们就需要学习一些更加高级的内容和工具来方便我们的爬取。那么这一节来简单介绍一下 requests 库的基本用法


2. 安装

利用 pip 安装

pip install requests

3. 基本请求

req = requests.get("http://www.baidu.com")

req = requests.post("http://www.baidu.com")

req = requests.put("http://www.baidu.com")

req = requests.delete("http://www.baidu.com")

req = requests.head("http://www.baidu.com")

req = requests.options("http://www.baidu.com")

3.1 get请求

参数是字典,我们也可以传递json类型的参数:

import requests



url = "http://www.baidu.com/s"

params = {'wd': 'Python爬虫'}

response = requests.get(url, params=params)

print(response.url)

response.encoding = 'utf-8'

html = response.text

# print(html)

3.2 post请求

参数是字典,我们也可以传递json类型的参数:

url = "http://www.sxt.cn/index/login/login.html"

formdata = {

 "user": "17703181473",

 "password": "123456"

}

response = requests.post(url, data=formdata)

response.encoding = 'utf-8'

html = response.text

# print(html)

3.3 自定义请求头部

伪装请求头部是采集时经常用的,我们可以用这个方法来隐藏:

headers = {'User-Agent': 'python'}

r = requests.get('http://www.zhidaow.com', headers = headers)

print(r.request.headers['User-Agent'])

3.4 设置超时时间

可以通过timeout属性设置超时时间,一旦超过这个时间还没获得响应内容,就会提示错误。

requests.get('http://github.com', timeout=0.001)

3.5 代理访问

采集时为避免被封IP,经常会使用代理。requests也有相应的proxies属性:

import requests



proxies = {

 "http": "http://10.10.1.10:3128",

 "https": "https://10.10.1.10:1080",

}



requests.get("http://www.zhidaow.com", proxies=proxies)

如果代理需要账户和密码,则需这样:

proxies = {

 "http": "http://user:pass@10.10.1.10:3128/",

}

3.6 session自动保存cookies

seesion的意思是保持一个会话,比如 登陆后继续操作(记录身份信息) 而requests是单次请求的请求,身份信息不会被记录。

# 创建一个session对象 

s = requests.Session() 

# 用session对象发出get请求,设置cookies 

s.get('http://httpbin.org/cookies/set/sessioncookie/123456789')

3.7 ssl验证

# 禁用安全请求警告

requests.packages.urllib3.disable_warnings()



resp = requests.get(url, verify=False, headers=headers)

4 获取响应信息

代码

含义

resp.json()

获取响应内容(以json字符串)

resp.text

获取响应内容 (以字符串)

resp.content

获取响应内容(以字节的方式)

resp.headers

获取响应头内容

resp.url

获取访问地址

resp.encoding

获取网页编码

resp.request.headers

请求头内容

resp.cookie

获取cookie

本文分享自微信公众号 - 离不开的网(Gy_dxj)

原文出处及转载信息见文内详细说明,如有侵权,请联系 yunjia_community@tencent.com 删除。

原始发表时间:2019-06-01

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

我来说两句

0 条评论
登录 后参与评论

相关文章

  • 爬虫系列(2)爬虫需要使用什么工具,你知道吗?

    小Gy
  • 13 Python 基础: 模块的概念及使用方法并着重介绍两个常用模块

    在计算机程序的开发过程中,随着程序代码越写越多,在一个文件里代码就会越来越长,越来越不容易维护。

    小Gy
  • 【前端攻略--HTML/CSS】媒体查询

    1)媒体查询 @media 是个好东西,至少对像我一样刚入行的小前端做响应式是个不错的选择。

    小Gy
  • [Laravel]修改Laravel 使之http,https自适应的方法

    我之前一直使用的是http,所以部署lnmpa也无所谓,毕竟全都是http通信的。

    用户2353021
  • PHP程序员锦囊

    不错的编辑器 simitor http://simditor.tower.im/ 百度 http://ueditor.baidu.com/website...

    lilugirl
  • 用Go写的HTTP代理服务器

    标题是《用Go写http代理服务器》但实际上更接近于用Go架设http代理服务器,因为代码实在太少了,就像在配置一样。 做这个http代理的起因是前段时间运维上...

    李海彬
  • 【Go 语言社区】Go语言 Cookie的使用

    首先看看Cookie的结构体 type Cookie struct { Name string Value string Path string // opt...

    李海彬
  • Golang语言 Cookie的使用

    首先看看Cookie的结构体 type Cookie struct { Name string Value string Path ...

    李海彬
  • Golang语言 Cookie的使用

    最近在研究服务器的部署及快速启动,动态更新功能,后台肯定是网页实现;同样是GO语言实现,写的时候发现没有用框架,自己写起来很费时。坚持就会胜利,没准自己还...

    李海彬
  • Mybatis中的#和$的区别

    MyBatis中使用parameterType向SQL语句传参,parameterType支持的类型可以是基本类型int,String,HashMap和java...

    浩Coding

扫码关注云+社区

领取腾讯云代金券