爬取拉勾网大数据相关岗位薪资信息存到excel,并作数据分析

今天就进入实战演练:通过Python来编写一个拉勾网薪资调查的小爬虫。

第一步:分析网站的请求过程

我们在查看拉勾网上的招聘信息的时候,搜索Python,或者是PHP等等的岗位信息,其实是向服务器发出相应请求,由服务器动态的响应请求,将我们所需要的内容通过浏览器解析,呈现在我们的面前。

可以看到我们发出的请求当中,FormData中的kd参数,就代表着向服务器请求关键词为Python的招聘信息。

分析比较复杂的页面请求与响应信息,推荐使用Fiddler,对于分析网站来说绝对是一大杀器。不过比较简单的响应请求用浏览器自带的开发者工具就可以,比如像火狐的FireBug等等,只要轻轻一按F12,所有的请求的信息都会事无巨细的展现在你面前。

经由分析网站的请求与响应过程可知,拉勾网的招聘信息都是由XHR动态传递的。

我们发现,以POST方式发出的请求有两个,分别是companyAjax.json和positionAjax.json,它们分别控制当前显示的页面和页面中包含的招聘信息。

可以看到,我们所需要的信息包含在positionAjax.json的Content->result当中,其中还包含了一些其他参数信息,包括总页面数(totalPageCount),总招聘登记数(totalCount)等相关信息。

第二步:发送请求,获取页面

知道我们所要抓取的信息在哪里是最为首要的,知道信息位置之后,接下来我们就要考虑如何通过Python来模拟浏览器,获取这些我们所需要的信息。

 1 def read_page(url, page_num, keyword):  # 模仿浏览器post需求信息,并读取返回后的页面信息 
 2     page_headers = { 
 3         'Host': 'www.lagou.com', 
 4         'User-Agent': 'Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) ' 
 5                       'Chrome/45.0.2454.85 Safari/537.36 115Browser/6.0.3', 
 6         'Connection': 'keep-alive' 
 7         } 
 8     if page_num == 1: 
 9         boo = 'true'
10     else:
11         boo = 'false'
12     page_data = parse.urlencode([   # 通过页面分析,发现浏览器提交的FormData包括以下参数
13         ('first', boo),
14         ('pn', page_num),
15         ('kd', keyword)
16         ])
17     req = request.Request(url, headers=page_headers)

18     page = request.urlopen(req, data=page_data.encode('utf-8')).read()
19     page = page.decode('utf-8')
20     return page

其中比较关键的步骤在于如何仿照浏览器的Post方式,来包装我们自己的请求。

request包含的参数包括所要抓取的网页url,以及用于伪装的headers。urlopen中的data参数包括FormData的三个参数(first、pn、kd)

包装完毕之后,就可以像浏览器一样访问拉勾网,并获得页面数据了。

第三步:各取所需,获取数据

获得页面信息之后,我们就可以开始爬虫数据中最主要的步骤:抓取数据。

抓取数据的方式有很多,像正则表达式re,lxml的etree,json,以及bs4的BeautifulSoup都是python3抓取数据的适用方法。大家可以根据实际情况,使用其中一个,又或多个结合使用。

 1 def read_tag(page, tag): 
 2     page_json = json.loads(page) 
 3     page_json = page_json['content']['result']   
 4     # 通过分析获取的json信息可知,招聘信息包含在返回的result当中,其中包含了许多其他参数 
 5     page_result = [num for num in range(15)]  # 构造一个容量为15的占位list,用以构造接下来的二维数组 
 6     for i in range(15): 
 7         page_result[i] = []  # 构造二维数组 
 8         for page_tag in tag: 
 9             page_result[i].append(page_json[i].get(page_tag))  # 遍历参数,将它们放置在同一个list当中
10         page_result[i][8] = ','.join(page_result[i][8])
11     return page_result   # 返回当前页的招聘信息

第四步:将所抓取的信息存储到excel中

获得原始数据之后,为了进一步的整理与分析,我们有结构有组织的将抓取到的数据存储到excel中,方便进行数据的可视化处理。

这里我用了两个不同的框架,分别是老牌的xlwt.Workbook、以及xlsxwriter。

 1 def save_excel(fin_result, tag_name, file_name):
 2     book = Workbook(encoding='utf-8')
 3     tmp = book.add_sheet('sheet')
 4     times = len(fin_result)+1
 5     for i in range(times):  # i代表的是行,i+1代表的是行首信息
 6         if i == 0:
 7             for tag_name_i in tag_name:
 8                 tmp.write(i, tag_name.index(tag_name_i), tag_name_i)
 9         else:
10             for tag_list in range(len(tag_name)):
11                 tmp.write(i, tag_list, str(fin_result[i-1][tag_list]))
12     book.save(r'C:\Users\Administrator\Desktop\%s.xls' % file_name)

首先是xlwt,不知道为什么,xlwt存储到100多条数据之后,会存储不全,而且excel文件也会出现“部分内容有问题,需要进行修复”我检查了很多次,一开始以为是数据抓取的不完全,导致的存储问题。后来断点检查,发现数据是完整的。后来换了本地的数据进行处理,也没有出现问题。

 1 def save_excel(fin_result, tag_name, file_name):  # 将抓取到的招聘信息存储到excel当中
 2     book = xlsxwriter.Workbook(r'C:\Users\Administrator\Desktop\%s.xls' % file_name)  # 默认存储在桌面上
 3     tmp = book.add_worksheet()
 4     row_num = len(fin_result)
 5     for i in range(1, row_num):
 6         if i == 1:
 7             tag_pos = 'A%s' % i
 8             tmp.write_row(tag_pos, tag_name)          
 9         else:10             con_pos = 'A%s' % i
11             content = fin_result[i-1]  # -1是因为被表格的表头所占
12             tmp.write_row(con_pos, content)13     book.close()

这是使用xlsxwriter存储的数据,没有问题,可以正常使用。

到从为止,一个抓取拉勾网招聘信息的小爬虫就诞生了。

目前,大数据是一个非常热门的话题,受到很多人的关注和追捧,其创造的相关职业也受到大家的青睐。但大数据相关职业究竟是什么样,有怎么样的要求,有怎样的待遇还不为多数人所知,为了更好的了解大数据相关职业要求及其福利待遇进行本次数据分析。

本次以大数据为关键词,采集的数据包括所有大数据相关的岗位数据。一共采集到99页共条1476数据,每一条数据有个50变量。为了关注主要因素,在数据准备过程中将去除不必要的变量,由于数据量较多,对少数的存在缺失值的行也进行清除,重新构造易于分析和作图的数据集。

数据分析

1. 大数据相关职业招聘信息在全国各城市分布情况的分析

由各城市大数据招聘信息数量的分布可知,目前大数据相关职业的招聘主要集中在北京、上海、广州、杭州、深圳这几个经济相对更发达的地区,尤其是首都北京,是这几个城市的3倍之多。出现这种现象也不足为怪,毕竟大数据还是一个新型的产业,很多二三线城市的传统企业和公司还处在观望之中。对于北京数量之多,个人认为主要与国家政策、创业潮有关,毕竟是首都,能快速嗅觉到国家大力支持发展大数据的苗头,同时‘互联网+’的创业大潮也推进了各公司对大数据人才的渴求。

2. 大数据相关职业类型分析

由大数据相关职业工作类型的分布可知,大数据技术人才最受欢迎,其次是产品和运营。有人说大数据科学家是会编程的统计学家,从该图可以看出这个‘编程的能力’以及处理、挖掘数据的能力还是占据重要因子的。而对于产品和运营,可能与最近讨论得很火的‘人物画像’‘精细化运营’等有关,运用大数据的相关知识实现精准营销。当然,大数据在金融、市场销售等方面也逐渐受到重视,个人认为这是一个趋势,毕竟大数据只是一种手段,更重要的是如何把大数据运用的各个行业,为行业服务。

3. 大数据相关职业招聘对技能要求的分析

上面讨论到大数据技术人才最受欢迎,再继续看看大数据究竟对那种技能或那种语言和工具比较青睐。

由气泡分布图(圆圈越大,表示其重要程度越高)可知最受青睐的前10个大数据工具是Hadoop、Java、Spark、Hbase、Hive、Python、linux、Strom、Shell编程、mysql。其中Hadoop和Spark都是分布式并行计算框架,目前看来Hadoop占主导优势,Spark位居其后,但Spark有迎头赶上的趋势。Hadoop是由Java实现的,所以java排在其后也不奇怪。Hbase是一个开源的分布式的列式数据库,MySQL是一种开源的关系型数据库,Hive是一种数据仓库,Strom是一种流式处理框架,而Python/Shell是两种脚本编程语言,Linux是一个操作系统

上面这个图如果看起来比较费劲,我们来看看下面这个图:

4. 大数据相关职业招聘对学历要求的分析

由上图可知大数据相关职业对学历的要求主要是本科以上,其次是大专,而对于学历高的硕士和博士貌似不太感冒。由于大数据主要对技术人才感兴趣,工作的实践性比较高,可能学历高的人才反而占不到优势。我们可以接着对比一下对工作经验的要求再做深入的分析。

5. 大数据相关职业招聘对工作经验的分析

由上图可知,大数据相关职业对有3-5年工作经验的人才最青睐,其次是1-3年和5-10年。对比上面对学历的要求可知,大数据相关职业确实是青睐有工作经验的本科生,而不是学历高但经验缺乏的硕士生和博士生。

6. 大数据相关职业的薪资分析

由图可知,大数据相关职业总体工资水平还是有较大的波动,但也主要集中在10k-30k的范围内。我们看看不同工作类型的工资的分布情况:

由图可知金融行业相关的大数据职位的平均工资最高,其中产品、技术以及职能的平均工资相差不大,市场与销售、运营的工资相对较低,但平均工资也在10K以上。总的来说,大数据相关职业的薪资水平随工作经历等存在一定的波动,但工资来说还是相对较高的。

7. 大数据相关职业的福利待遇分析

从有大数据人才招聘需求的公司提供的福利来看,其中最多的就是五险一金的基本保障、其次是带薪休假、弹性工作、双休、年终奖、绩效奖等,总的来说这些公司福利还算不错,但从这些数据里可以看出,相比于一些大的国企,这些公司对于解决户口等同学们关注得比较多的,没有提及。

8. 有大数据人才招聘需求的公司融资情况分析

从上图可知,有大数据人才招聘需求的公司中上市公司还是占据最大的比例,排在前面的几位也都是成长型或成熟型的融过资的公司,排在后面几位的公司除了一个成熟型D轮以上,其它要么没有融资,要么不需要融资,这里可以说明上市公司或刚拿到融资的成长型公司对于大数据人才的渴求更高。

结论

从面的分析,大致可以得出下面几个重要的结论:

a. 大数据还只是北上广等经济发达城市发展得很热的新型行业,二三线城市还有待发展,所以要找大数据相关的工作就去北上广吧;

b. 大数据相关工作岗位主要以技术、产品、运营为主,而且技术占据大半江山,而技术技能要求中主要以Hadoop/java/Spark/Hbase/Hive/Python/MySQL/Strom/shell等为主,所以才要从事大数据相关岗位不防从学习这些技能开始;

c. 大数据相关职业对学历的要求主要以本科为主,就算是大专学历也是很受欢迎的,而博士和硕士却不受青睐,这是一个要求工作经验为主的行业,所以就算你学历不高,想从事大数据相关工作也是不成问题的;

d. 大数据相关工作岗位的薪资还是算比较高的,福利待遇方面也还不错,其中金融大数据人才的工资最高;

目前招聘大数据人才的公司主要是以上市公司和成长型的融资公司为主。

原文发布于微信公众号 - 大数据挖掘DT数据分析(datadw)

原文发表时间:2016-07-07

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏程序人生

软件架构之Indirection

先说两句题外话。最近蹭蹭蹭地长听众,程序君顿感惶恐。我做『程序人生』的一个原则是:一切文章皆原创,只谈开发,产品,创业,管理等和工程师的程序人生相关的内容。 有...

3488
来自专栏腾讯数据中心

每一块硬盘的告别,都是我们对用户隐私的尊重

前言 云计算已逐步进入了成熟和规模化应用的阶段,越来越多的用户将自己的业务和私密数据部署在云端。与此同时,国内外政府和监管机构对云服务的安全也提出了严格的规范和...

4368
来自专栏数据猿

安华金和技术副总裁杨海峰:金融行业数据实时共享场景下的动态脱敏技术

在信息化大潮愈演愈烈的当下,数据和信息不啻为一种“新型资本”,尤其对于数据资产量巨大,操作复杂程度高、系统性能要求高的金融领域来说,数据资产发挥着越来越突出的价...

3646
来自专栏FreeBuf

一个人的企业安全建设之路

前言 如今很多中小型互联网公司对安全需求不高,安全资源贫乏,领导只重视业务忽略安全,在这种情况下可能安全人员很难立足,推动公司做好安全,从而进入了进退两难的窘境...

3555
来自专栏钱塘大数据

网盘倒闭 解读未来数据存储模式变化

导读:移动存储领域存在移动云存储和传统硬件存储两大分支,原本这两大分支在各自领域都有着相当的发展。然而,近期各大云存储厂商或停止服务或阉割功能或有偿服务,让原本...

35510
来自专栏VRPinea

6.1 VR扫描:“仿生VR头显”Varjo,推出AR透视组件;《世嘉模拟器》支持VR模式

1537
来自专栏java一日一条

17年编程生涯的三大经验总结

今年将迎来我编程的第十七个年头。我的编程之旅始于九十年代末,上大学的时候,主要涉足基于表格的网页设计,传统的ASP,和Microsoft Access数据库。原...

573
来自专栏用户3246163的专栏

[脑书1]-《搞定》第1章 新情况 新做法

《搞定(Get Things Done)》这本书其实我在2007年就已经读过了,也是在我工作生涯早期对我影响很重要的一本书。

884
来自专栏我是攻城师

GitHub是如何征服Google、微软和其它公司的

3274
来自专栏编程坑太多

『中级篇』Docker的收费模式(53)

PS:从这次开始咱们就开始使用收费版本了,其实也是收费的试用版不用花钱的,就是了解下收费版的优越性,更好层次的了解docker。

762

扫码关注云+社区