Python爬虫之工作篇—寻找你的招聘信息

最近总被智联招聘广发骚扰,烦死个人了简直。索性点进去看了看爬虫工程师现在市场需求到底怎么样了?发展前景如何?看完了之后感觉目前还不错,根据北京来看职位需求还是蛮多的,薪资也还行,于是就对智联招聘职位信息的爬取发起了一次小小的挑战,今天给大家分享一个爬取招聘网站的工作信息,效果图如下(部分截图)。

(更多效果图在后面)

--------------------------

功能需求分析

--------------------------

主要功能需求如下:

  • 用户输入工作地点和感兴趣的职位信息;
  • 根据指定输入信息进行多线程的网页爬取;
  • 解析提取结构化的招聘信息;
  • 将数据存入指定的数据库;

这里由于篇幅和时间原因,功能并没有那么复杂,但是博主会在后续加入更加丰富的功能,并与大家分享,包括:

  • ip池的加入
  • 爬取和解析效率的优化;
  • 对爬取数据进行数据分析,提供可视化的统计和简单预测;
  • 其它反爬功能

--------------------------

功能实现分析

--------------------------

明白了要完成的任务,就需要开始分析我们的目标网站了。

1. 网页爬取分析

打开智联招聘的搜索界面,输入 “爬虫” 二字为例, 如下:

然后我们通过fiddler抓包工具抓取浏览器操作时的信息如下:

  1. 职位信息输入后看到这个请求是 GET 模式,GET 请求的链接是 http://sou.zhaopin.com/jobs/searchresult.ashx?jl=%E5%8C%97%E4%BA%AC&kw=%E7%88%AC%E8%99%AB&p=1&isadv=0
  2. 浏览器发出请求的headers头信息,copy到代码headers中。

由于浏览器正常操作下是通过点击“搜索按钮”或者“回车”来进行职位搜索的,而我们并不希望使用浏览器内核webdriver的使用来解决此问题。

因此,思路是:我们需要从发出的GET请求的URL进行分析。

在浏览器中显示的URL是这样子的,有汉字。

  • “北京” 和 “爬虫” 关键词 都以汉字形式显示。感觉这和上面蓝色的链接差不多一样啊!没错,上面的URL是北京和爬虫关键字进行编码之后的样子,而我们向服务器提交的正是上面那个编码之后的URL。
  • 后面 “p=1” 的意思是第一页,“adv=0” 经其它数字测试后没有影响,固不做改变。

好了,捋明白了。我们需要做的其实就是将我们输入的关键词汉字进行编码,然后替换掉上面蓝色URL的lj=“”和kw=“”中的内容,再用这个新的URL发出请求就OK了。

2. 网页解析分析

这是浏览器搜索之后得到的结果,从招聘信息中我们希望得到一些有用的信息。博主这里定义了五个字段信息:职位名称、反馈率、公司名称、职位月薪、工作地点。这些信息关系到你如何创建数据库表单,后面会提到。

这里博主决定使用BeautifulSoup方法解决网页的解析,那么先用F12 element看看网页的结构再说。

博主经分析后发现,其它四个信息提取方式都是一样的,但是工作名称的标签结构是有所不同的,为什么呢?

来,先看一条数据的标签,它是这样的:

再看,另一条数据的标签,是这样的:

发现有什么不同了吗?第一个工作名称的标签里有<b></b>,而第二个标签里什么都没有。

看看上面这两个名称不难发现,导致这个问题的原因其实是关键字的存在(第一个标签中有红色关键字)。

而又想到,我们正常搜索的时候一般不会输入完整的工作名称,比如我只输入 “爬虫” 二字,由于可能存在以上关键字的问题,那么标签的结果就会不同。因此,我们需要在代码解析的时候进行特殊处理,下面进行代码实现分析。

--------------------------

代码实现分析

--------------------------

由于需要将解析后的数据存入数据库,因此需要先在命令窗口创建一个数据库(也可以在Python中完成),这里简单提一下所需的操作。

  • 使用了MySQL数据库进行储存
  • 数据库表单包含了之前提到的五个字段信息

下面是具体代码的实现。

1. URL的重组实现

  • 使用了property修饰器定了函数来接收用户信息
  • 将输入信息用quote进行编码重组,生成爬取所需的目标URL

2. html下载

  • 将重新生成的URL放入函数中进行html的下载。

3. html解析

  • 使用BeautifulSoup和正则表达式从网页解析五个字段信息

4. 储存解析数据

以上是代码的核心内容,完整源码博主已经上传到Github上了,可供参考,链接https://github.com/xiaoyusmd/ZhilianJob_Crawl_Master

--------------------------

更多效果图展示

--------------------------

展示效果图均为部分截图,用于示意。

(搜索关键词:广告策划,地理位置:北京)

(搜索关键词:电子工程师,地理位置:上海)

(搜索关键词:会计,地理位置:深圳)

(搜索关键词:客户经理,地理位置:广州)

--------------------------

总结

--------------------------

  • 本篇分享了一个从智联招聘网站爬取工作信息的实战内容,完成了需求的基本功能。
  • 在此实战内容基础上,更多复杂和精彩功能会在后续陆续分享

------------------------------------------------ ~

原文发布于微信公众号 - Python数据科学(Python_Spiderman)

原文发表时间:2018-01-14

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏IT 指南者专栏

「Chrome 插件」低调推荐系列(一)

因为 Chrome 浏览器是目前世界上最强大最好用扩展性最广的浏览器,市场份额长期盘踞第一,如下所示图片是人们曾经用来调侃 IE 浏览器速度的,其实最终目的是不...

2143
来自专栏架构说

分布式配置中心架构与实战

声明:信息来源 docker.io 分享主题:分布式配置中心架构与实战 分享主题:分布式配置中心架构与实战 声明 信息来源docker.io 今天的大规模...

1.1K8
来自专栏数据之美

网站数据统计分析之二:前端日志采集是与非

在上一篇《网站数据统计分析之一:日志收集原理及其实现》中,咱们详细的介绍了整个日志采集的原理与流程。但是不是这样在真实的业务环境中就万事大吉了呢?事实往往并非如...

4987
来自专栏数据派THU

【独家】一文读懂非关系型数据库(NoSQL)

本文共11000字,阅读全文约需30分钟。 本文为大家解析非关系型数据库(NoSQL)。[ 在数据派THU后台(非留言区)回复"综述"即可获取资源。] 前言 N...

81310
来自专栏腾讯研究院的专栏

常见的几种数据层容灾架构比较分享

陈守志 腾讯公司平台运营开发组 一、关于容灾   关于容灾主题,这里罗列对比了几种常见的容灾案例: ?   相对接入层、应用层容灾而言,数据层的容灾相对...

5305
来自专栏京东技术

京东价格保护高并发 | 七步走保证用户体验

2014年加入京东,负责京东财务退款及价格保护研发建设,擅长京东逆向流程场景、金额拆分计算、高并发下网站优化。

1333
来自专栏Vamei实验室

Python标准库的学习准备

Python标准库是Python强大的动力所在,我们已经在前文中有所介绍。由于标准库所涉及的应用很广,所以需要学习一定的背景知识。 硬件原理 这一部份需要了解内...

1975
来自专栏无题

高并发商品详情页构建

* 主要思路: 1、数据变更还是通过MQ通知; 2、数据异构Worker得到通知,然后按照一些维度进行数据存储,存储到数据异构JIMDB集群(JIMDB:Re...

4786
来自专栏pangguoming

OA系统启动:基础数据,工作流设计

自从开源OA系统启动:系统概览放 出来后。园友们反馈了一些不错的建议。主要集中在工作流部分。本来是先不考虑工作流部分。这些天的交流和思考。决定把工作流部分作为系...

5808
来自专栏杨建荣的学习笔记

明天,实现几个还不错的功能点

明天,计划实现几个还不错的功能,算是个自己这段时间的运维里程碑划上一个句号。里程碑是自己制定的,目的是督促自己做事情有一个预期目标,在糟糕的实现中不断迭...

1122

扫码关注云+社区

领取腾讯云代金券