Python爬虫之requests库入门requests库的get方法理解requests库的异常爬去网页通用的代码框架resquests库主要方法的解析

网络爬虫就是提取网页的信息。 网络爬虫的原则就是谨记“the website is API”,就是我们所面对的对象和信息来源都是各个website。现在python由于其特性已经越来越被广泛的用于网络爬虫领域。

我们先从最简单的python爬虫库requests库开始讲起。

首先我们从官网下载并安装好requests库。

Paste_Image.png

requests库的get方法

Paste_Image.png

我们调用requests的get方法就是构造一个向服务器请求资源的requests对象,这个对象会返回一个包含服务器资源的response对象,随后我们就可以从response对象中获取我们需要的信息。

Paste_Image.png

Paste_Image.png

>>> import requests
>>> res = requests.get("http://www.baidu.com")
>>> res.status_code
200
>>> type(res)
<class 'requests.models.Response'>
>>> res.headers
{'Server': 'bfe/1.0.8.18', 'Date': 'Sat, 15 Apr 2017 03:20:29 GMT', 'Content-Type': 'text/html', 'Last-Modified': 'Mon, 23 Jan 2017 13:28:16 GMT', 'Transfer-Encoding': 'chunked', 'Connection': 'Keep-Alive', 'Cache-Control': 'private, no-cache, no-store, proxy-revalidate, no-transform', 'Pragma': 'no-cache', 'Set-Cookie': 'BDORZ=27315; max-age=86400; domain=.baidu.com; path=/', 'Content-Encoding': 'gzip'}

我们可以看到response对象包含返回的信息,同时也包括请求时的头部信息

我们接下来了解一下response对象的属性

Paste_Image.png

Paste_Image.png

Paste_Image.png

Paste_Image.png

  • r.encoding:如果headers信息不存在也就是没有指明编码信息,则默认编码为:ISO-8859-1,而且r.text会根据r.encoding的值来显示内容,所以我们有时候如果出现乱码,那么可能就是因为headers未指明charset
  • r.apparent_encoding:是根据网页分析出的实际编码方式

理解requests库的异常

网页爬虫的时候,一个很重要的问题就是异常处理,因为网络连接有时候是不稳定的,所以我们需要处理这些情况。

首先了解requests库的异常

Paste_Image.png

Paste_Image.png

所以这个方法很适合我们用于异常处理,他会在内部帮我们判断,状态码是否等于200,如果不等于就抛出httperror

爬去网页通用的代码框架

# -*- coding:utf-8 -*-

import requests

def getHTMLText(url):
    try:
        r = requests.get(url,timeout = 30)
        r.raise_for_status() 
        r.encoding = r.apparent_encoding
        return r.text
    except:
        return "产生异常"

if __name__ == "__main__":
    url = "http://www.baidu.com"
    print(getHTMLText(url))

resquests库主要方法的解析

Paste_Image.png

从这个表中我们可以看出实际上只有一个request方法,其他六个方法都是以传参数的方式在调用request方法

Paste_Image.png

下面我们来分析了解一下request方法的可选参数:

  • params: 字典或字节序列,作为参数增加到url中
>>> kv = {'ie':'UTF-8','wd':'刘德华'}
>>> r = requests.get("http://www.baidu.com/s",params = kv)
Traceback (most recent call last):
  File "<pyshell#1>", line 1, in <module>
    r = requests.get("http://www.baidu.com/s",params = kv)
NameError: name 'requests' is not defined
>>> import requests
>>> r = requests.get("http://www.baidu.com/s",params = kv)
>>> r.url
'http://www.baidu.com/s?ie=UTF-8&wd=%E5%88%98%E5%BE%B7%E5%8D%8E'
>>> print(r.text[:200])
  • data : 字典、字节序列或文件对象,作为Request的内容
>>> kv = {'key1': 'value1', 'key2': 'value2'}
>>> r = requests.request('POST', 'http://python123.io/ws', data=kv)
>>> body = '主体内容'
>>> r = requests.request('POST', 'http://python123.io/ws', data=body)
  • json : JSON格式的数据,作为Request的内容
>>> kv = {'key1': 'value1'}
>>> r = requests.request('POST', 'http://python123.io/ws', json=kv)
  • headers : 字典,HTTP定制头 可以用来模拟浏览器登录
>>> hd = {'user‐agent': 'Chrome/10'}
>>> r = requests.request('POST', 'http://python123.io/ws', headers=hd)
  • files : 字典类型,传输文件
>>> fs = {'file': open('data.xls', 'rb')}
>>> r = requests.request('POST', 'http://python123.io/ws', files=fs)
  • timeout : 设定超时时间,秒为单位
>>> r = requests.request('GET', 'http://www.baidu.com', timeout=10)
  • proxies : 字典类型,设定访问代理服务器,可以增加登录认证
>>> pxs = { 'http': 'http://user:pass@10.10.10.1:1234'
'https': 'https://10.10.10.1:4321' }
>>> r = requests.request('GET', 'http://www.baidu.com', proxies=pxs)

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏林欣哲

汇编程序

ISA指令集是由0和1组成的机器语言,难以记忆和阅读,因此人们发明汇编程序帮助记忆。 汇编基本算是和机器指令一一对应的关系,可以认为是给机器指令的每个部分分别起...

34960
来自专栏吴伟祥

Linux下的shell简介(三) 原

        shell的本意是“壳”的意思,其实已经很形象地说明了shell在Linux系统中的作用。shell就是围绕在Linux内核之外的一个“壳”程序...

10530
来自专栏緣來來來

Python爬虫--- 1.1请求库的安装与使用

http://docs.python-requests.org/zh_CN/latest/user/quickstart.html

6100
来自专栏Aloys的开发之路

VIM常见用法总结

vim中光标如何回到上一次位置 ctrl + o vim如何删除某行至某行之间的内容? 删除3104至5403行之间的内容: :3104,5403d vim使光...

38360
来自专栏IT笔记

Illegal attempt to associate a collection with two open sessions

错误信息: org.springframework.orm.hibernate3.HibernateSystemException: Illegal attem...

41750
来自专栏皮振伟的专栏

[nptl][rwlock]pthread rwlock原理分析

概念: In computer science, a readers–writer (RW) or shared-exclusive lock (also kn...

50370
来自专栏平凡文摘

详细分析Java中断机制

14740
来自专栏北京马哥教育

Ansible 详细用法说明(二)

例:获取某台主机的变量 ansible 10.1.6.68 -m setup ===================================== sc...

37850
来自专栏北京马哥教育

Linux 中命令链接操作符,让你的代码更简洁!

Linux命令中链接的意思是,通过操作符的行为将几个命令组合执行。Linux中的链接命令,有些像你在shell中写短小的shell脚本,并直接在终端中执行。链接...

8920
来自专栏Java技术栈

Java高级篇——深入浅出Java类加载机制

类加载器 简单讲,类加载器ClassLoader的功能就是负责将class文件加载到jvm内存。 类加载器分类 从虚拟机层面讲分为两大类型的类加载器,一是Boo...

27470

扫码关注云+社区

领取腾讯云代金券