Python爬虫实战入门六:提高爬虫效率—并发爬取智联招聘

提高爬虫效率—多进程并发

之前文章中所介绍的爬虫都是对单个URL进行解析和爬取,url数量少不费时,但是如果我们需要爬取的网页url有成千上万或者更多,那怎么办? 使用for循环对所有的url进行遍历访问? 嗯,想法很好,但是如果url过多,爬取完所有的数据会不会太过于耗时了? 对此我们可以使用并发来对URL进行访问以爬取数据。 一般而言,在单机上我们使用三种并发方式:

  • 多线程(threading)
  • 多进程(multiprocessing)
  • 协程(gevent)

对于以上三种方法的具体概念解释和说明,各位可以自行网上搜索了解,相信会比我解释得清楚,所以在此就不对它们进行解释说明了。 本系列文章有两个重点,一个是实战,一个是入门,既为实战,理论性的东西就描述得比较少;既为入门,所讲述的都是简单易懂易操作的东西,高深的技术还请入门之后自行探索,那样也会成长得更快。 那么下面,开始并发爬取的实战入门,以多进程为例,并发爬取智联招聘的招聘信息。

一、分析URL和页面结构

1、搜索全国范围内职位名包含“Python”的职位招聘 我们不分职业类别、不分行业类别,工作地点选为全国,职位名为“Python”,对招聘信息进行搜索,结果如下图:

我们注意图中三个红框的信息:

  1. 搜索结果的url结构;(构造url地址进行for循环遍历)
  2. 搜索结果的条数;(判断url的数量)
  3. 采集的信息的主体;(解析数据)

通过筛选url参数,我们确定了需要爬取的基本URL为:

http://sou.zhaopin.com/jobs/searchresult.ashx?jl=全国&kw=python&kt=3&p=2

其中

http://sou.zhaopin.com/jobs/searchresult.ashx为请求地址和目录

jl:工作地点参数 kw:搜索的关键字 kt:以职位名搜索 p:页数

我们可以发现,除了页数会变化之外,其余的参数值都是固定的值。我们来确定一下搜索结果的总页数。 因为网页上有提示一共有多少个职位满足条件,我们拿总职位数除以单页显示的职位数量即可知道搜索结果的页数。

# coding:utf-8
import requests
from bs4 import BeautifulSoup
import re

url = 'http://sou.zhaopin.com/jobs/searchresult.ashx?jl=全国&kw=python&p=1&kt=3'wbdata = requests.get(url).content
soup = BeautifulSoup(wbdata, 'lxml')

items = soup.select("div#newlist_list_content_table > table")
count = len(items) - 1# 每页职位信息数量print(count)

job_count = re.findall(r"共<em>(.*?)</em>个职位满足条件", str(soup))[0]# 搜索结果页数pages = (int(job_count) // count) + 1print(pages)

结果返回每页60条职位信息,一共有14页。 那么我们的待爬取的url地址就有14个,url地址中参数p的值分别从1到14,这么少的url,使用for循环也可以很快完成,但在此我们使用多进程进行演示。

二、在爬虫中使用多进程

先上代码:

# coding:utf-8
import requests
from bs4 import BeautifulSoup
from multiprocessing import Pool
def get_zhaopin(page):
    url = 'http://sou.zhaopin.com/jobs/searchresult.ashx?jl=全国&kw=python&p={0}&kt=3'.format(page)
    print("第{0}页".format(page))
    wbdata = requests.get(url).content
    soup = BeautifulSoup(wbdata,'lxml')

    job_name = soup.select("table.newlist > tr > td.zwmc > div > a")
    salarys = soup.select("table.newlist > tr > td.zwyx")
    locations = soup.select("table.newlist > tr > td.gzdd")
    times = soup.select("table.newlist > tr > td.gxsj > span")    for name, salary, location, time in zip(job_name, salarys, locations, times):
        data = {            'name': name.get_text(),            'salary': salary.get_text(),            'location': location.get_text(),            'time': time.get_text(),
        }
        print(data)
if __name__ == '__main__':
    pool = Pool(processes=2)
    pool.map_async(get_zhaopin,range(1,pages+1))
    pool.close()
    pool.join()

结果如下:

因为除了使用了多进程之外,其他的代码与之前文章介绍的方法大同小异,所以在此只介绍一下多进程的核心代码:

from multiprocessing import Pool

multiprocessing是Python自带的一个多进程模块,在此我们使用其Pool方法。

if __name__ == '__main__':
    pool = Pool(processes=2)
    pool.map_async(get_zhaopin,range(1,pages+1))
    pool.close()
    pool.join()
  1. 实例化一个进程池,设置进程为2;
  2. 调用进程池的map_async()方法,接收一个函数(爬虫函数)和一个列表(url列表)

如此,在爬虫中使用多进程进行并发爬取就搞定了,更多高级、复杂强大的方法,还请各位参考其他文档资料。

原文发布于微信公众号 - 州的先生(zmister2016)

原文发表时间:2017-01-17

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏架构之美

五分钟学会分布式事务

1482
来自专栏我爱编程

9行代码实现YouTube视频批量下载

仔细分析视频url的结构可以发现,最重要的是一个11位的videoId (不一定全都是11位)。并且可以发现videoId是由字母A-Za-z数字0-9和符号-...

5094
来自专栏Python绿色通道

Python抓取公众号文章并生成pdf文件保存到本地

前面一篇文章用Python抓取某大V的公众号文章由于做的时间比较仓促还留下了几个问题:

5453
来自专栏Golang语言社区

[Go 语言社区] redis数据清楚机制实现

规则需求: 1 设计redis保存玩家用户的每天的数据,但是需要第二天清楚重置 程序设计: 1 程序触发事件保存数据。(满足数据保存需求) 2 清除脚本...

3274
来自专栏Java帮帮-微信公众号-技术文章全总结

Java等IT开发视频资源分享(不断更新)

前言: 该日志一直更新,资源都是免费分享获取精品资源需要分享好友加【Java帮帮】微信公众号,好资源大家共享,赶快分享到你的QQ空间让更多朋友都能获取免费的资源...

1.5K8
来自专栏Python专栏

Python | 爬虫抓取智联招聘(基础版)

运行平台: Windows Python版本: Python3.6 IDE: Sublime Text 其他工具: Chrome浏览器

1971
来自专栏小怪聊职场

爬虫总结 | 爬虫的那点事第一篇一、在(反)爬虫路上的心得和解决方案二、分布式爬虫的经验三、对于后期的内容精准推送有什么建议四、爬虫中遇到的一些坑五、视频落地和精准推送六、数据落地,后期做用户画像考虑

2732
来自专栏更流畅、简洁的软件开发方式

论程序的成长—— 你写的代码有生命力吗?

做了五年多的程序员了,回过头来看了看以前发的一些帖子,颇有一番感想。 我最得意的就是对数据访问的处理方法(我的数据访问层),倒不是说他有多么的强大、多么的完善,...

1986
来自专栏*坤的Blog

Opera福利谷歌

2033
来自专栏Python爬虫实战

Python爬虫之五:抓取智联招聘基础版

运行平台: Windows Python版本: Python3.6 IDE: Sublime Text 其他工具: Chrome浏览器

1262

扫码关注云+社区