最近总被智联招聘广发骚扰,烦死个人了简直。索性点进去看了看爬虫工程师现在市场需求到底怎么样了?发展前景如何?看完了之后感觉目前还不错,根据北京来看职位需求还是蛮多的,薪资也还行,于是就对智联招聘职位信息的爬取发起了一次小小的挑战,今天给大家分享一个爬取招聘网站的工作信息,效果图如下(部分截图)。
(更多效果图在后面)
--------------------------
功能需求分析
--------------------------
主要功能需求如下:
这里由于篇幅和时间原因,功能并没有那么复杂,但是博主会在后续加入更加丰富的功能,并与大家分享,包括:
--------------------------
功能实现分析
--------------------------
明白了要完成的任务,就需要开始分析我们的目标网站了。
1. 网页爬取分析
打开智联招聘的搜索界面,输入 “爬虫” 二字为例, 如下:
然后我们通过fiddler抓包工具抓取浏览器操作时的信息如下:
由于浏览器正常操作下是通过点击“搜索按钮”或者“回车”来进行职位搜索的,而我们并不希望使用浏览器内核webdriver的使用来解决此问题。
因此,思路是:我们需要从发出的GET请求的URL进行分析。
在浏览器中显示的URL是这样子的,有汉字。
好了,捋明白了。我们需要做的其实就是将我们输入的关键词汉字进行编码,然后替换掉上面蓝色URL的lj=“”和kw=“”中的内容,再用这个新的URL发出请求就OK了。
2. 网页解析分析
这是浏览器搜索之后得到的结果,从招聘信息中我们希望得到一些有用的信息。博主这里定义了五个字段信息:职位名称、反馈率、公司名称、职位月薪、工作地点。这些信息关系到你如何创建数据库表单,后面会提到。
这里博主决定使用BeautifulSoup方法解决网页的解析,那么先用F12 element看看网页的结构再说。
博主经分析后发现,其它四个信息提取方式都是一样的,但是工作名称的标签结构是有所不同的,为什么呢?
来,先看一条数据的标签,它是这样的:
再看,另一条数据的标签,是这样的:
发现有什么不同了吗?第一个工作名称的标签里有<b></b>,而第二个标签里什么都没有。
看看上面这两个名称不难发现,导致这个问题的原因其实是关键字的存在(第一个标签中有红色关键字)。
而又想到,我们正常搜索的时候一般不会输入完整的工作名称,比如我只输入 “爬虫” 二字,由于可能存在以上关键字的问题,那么标签的结果就会不同。因此,我们需要在代码解析的时候进行特殊处理,下面进行代码实现分析。
--------------------------
代码实现分析
--------------------------
由于需要将解析后的数据存入数据库,因此需要先在命令窗口创建一个数据库(也可以在Python中完成),这里简单提一下所需的操作。
下面是具体代码的实现。
1. URL的重组实现
2. html下载
3. html解析
4. 储存解析数据
以上是代码的核心内容,完整源码博主已经上传到Github上了,可供参考,链接https://github.com/xiaoyusmd/ZhilianJob_Crawl_Master
--------------------------
更多效果图展示
--------------------------
展示效果图均为部分截图,用于示意。
(搜索关键词:广告策划,地理位置:北京)
(搜索关键词:电子工程师,地理位置:上海)
(搜索关键词:会计,地理位置:深圳)
(搜索关键词:客户经理,地理位置:广州)
--------------------------
总结
--------------------------
------------------------------------------------ ~