用python对拉勾网5000条招聘进行数据分析

本文由作者:sevenry 原创投稿

声明:本文所公布代码及数据仅作学习用,若别有用途则后果自行承担。

根据@种瓜从拉勾网爬下来的数据文件

爬虫部分源代码:https://github.com/wwj718/jobSpider/blob/master/lagou/spiders/lagou_spider.py

python数据分析 代码:

https://github.com/sevenry/my_data/upload/master/160813

利用pandas库对其进行一定的处理,用于分析全国总的职位需求情况以及对招聘人员的需求分布等,可视化部分利用matplotlib库。

首先该csv包含5000条数据,每一条数据包含21项内容。如图:

利用pandas打开文件后,对数据源做了以下处理:

1workYear栏有不同数据表达同样结果,如‘1-3’‘1-3可以统一更改为‘1-3

2createTimecompanyLogo两项数据内容没太大意义,删除;

3)考虑到不同工作性质在薪资上有较大不同,因此去除兼职和实习部分,本文仅针对全职工作需求进行分析。

大家找工作一般都会首先关注城市,来看一下全国招聘情况按城市排名,总共涉及62个城市,此处仅给出前十名城市的情况:

可以看出北京遥遥领先,其后上海,深圳,广州三个城市相近,杭州略低一些屈居第五;接下来的五个城市则分别是:成都,武汉,南京,长沙和郑州;将数据转化为占总招聘数量的比例,统计发现:北京占据29.85%的招聘量,而排名前五的城市共计占据79.57%的招聘量,排名前10的城市则共计占据89.04%的招聘量。如果走互联网这一块,果然还是要去一线城市及某宝大本营呀~

那么如果我们对招聘数目最多的前十名城市,来查看一下它们的薪水情况。

公司抛出的工资值都是一个区段,因此我们给出各个城市的公司薪资最低值平均值和薪资最高值平均值这两项,可以看出北京的平均薪酬依旧是最诱惑人心的,其后分别是深圳,上海,杭州,南京四个城市。招聘人数位居第三的广州在平均薪酬上要远逊于深圳上海等地,位列第六;而长沙成都武汉相对持平,最高薪酬平均值约为10k,最低薪酬平均值为6k多。

下面来看一下这十个城市分别对人才的学历要求情况:

由于博士和高中生需求非常低,认为在并不太影响调查结果的基础上忽略了这两项因素。可以明显看出,北京的本科生需求比例最高,而广州的本科生需求量相较北京,上海,杭州,深圳等市低很多,同时大专生需求比例非常高。这可能是造成广州薪酬相较其他一线城市较低的一个原因,为了验证这一想法,我们来查看一下这些城市对不同学历所给的最低薪酬平均值情况。

北京在其他几项学历中依旧是最高,然而在硕士生中,上海开出的工资则最高,广州的工资最低,事实上广州开出的硕士工资低于本科生工资……怎么说呢,大概广州就是不太喜欢硕士生吧…… 当然南京和郑州甚至都没有硕士这一项,所以如果正在读硕士的你,或者学历是硕士的你,知道要如何筛选城市了吧2333。。

同样只考虑全职工作情况,这十个城市对人才工作经验的要求情况比较中,忽略数量非常少的1年以下和10年以上这两类:

可以看出,除北京外,对1-3年工作经验人才的需求都相对较高,而北京对3-5年工作经验的人才需求比例远高于其他城市,这应该也造成了北京薪酬平均值较高的一个因素。同样我们作出各个城市对不同工作经验给出的平均薪酬,参考的同样是公司开的最低薪酬。

可以看出,薪资水平确实是随着经验而更加值钱的,广州针对各项经验需求所开出的薪资水平都不算高…… 对工作3-5年经验开出的工资几乎与北京1-3年经验工资相同。

北京作为中国的互联网第一大城市当之无愧,来看下工作地点的分布情况:

基本都在朝阳区和海淀区;

按公司规模来看:

15-50人和50-150人的公司居多;

学历要求上:

本科学历要求需求量非常之高,硕士需求量很低;

工作经验上:

最青睐35年的工作人员,其次是1-3年的;

职业领域上:

后端开发比例非常高,其次是销售,运营,前段开发,市场开发等领域。

我们还可以查看一下北京的薪资水平按照学历及工作经验二次分类后的情况:

总算把城市部分说完,下面简单说下全国招聘按职位领域分布的情况:

后端开发领域位列第一,占据19.18%;其次是销售:11.50%;运营:9.98%;市场营销:7.54%;视觉设计:6.24%。从整体情况来看,排名前五共计占据54.44%的招聘内容,前十名占据79.66%,前十五名占据89.8%,前二十名占据94.6%。可见在互联网工作中挑选合适的职位也很有必要啊~

我们来看一下前十个热门职位所给出的薪酬情况:

后端开发不仅需求量高,工资给的也是最高,而相对的销售领域虽然需求量高,但是薪资水平较低,不过可能该领域主要是靠提成吧~

或许有人要关心这些行业在不同城市的薪酬水平,考虑到图片显示因素,仅放出这十个领域在北京,上海,广州,深圳与杭州五所城市的薪资水平:

可以看出,几乎在所有岗位中,北京上海深圳三个城市给出的工资都更高一些,特别是北京;然而在市场影响和销售领域中,几所城市差别不大,北京也没有表现出更加良好的趋势。这一点大约说明如果只是看基础工资的话,这两个行业的就业人员未必一定要去北上深。

从学历需求来看全国职位需求量:

从高到低分别是本科,大专和学历不限,硕士,博士,高中要求。其中对本科生的需求量为45.20%,对大专生的需求为36.5%,而硕士仅有百分之0.98%,博士仅有0.12%;可见在互联网这一块目前对学历的要求并不高呀~

从工作经验来看全国职位需求量:

1-3年工资经验人才的需求量最高,占总数的38.18%3-5年经验占据2508%;不限要求的占据20.32%;而5-10年经验的需求为6.48%,应届毕业生的需求量仅为3.3%,一年以下的为2%。这样的数据显示,如果是在网上投简历的话,可能工作个一年之后比较容易获得成功吧。

最后简单关注下实习情况,由于实习的工资相对来说都较低,我们在此不将薪酬作为评价体系列入考虑之中,主要关注城市和职位领域这两项。

按照城市排名来看,前五名与总体情况差别不大,有趣的是,西安和天津分别位于67两位,而成都压根就没有实习招聘……

按照领域来看,则是运营需求量最高,其次是后端开发,编辑,人力资源,视觉设计,前段开发等,与整体趋势也有所不同。

最后的最后,有朋友表示想了解一下上海的薪资水平,po一个上海薪资跟学历及工作经验要求分类的图。

最后祝大家都能找到心满意足的工作呀!

原文发布于微信公众号 - 大数据挖掘DT数据分析(datadw)

原文发表时间:2016-08-14

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏PPV课数据科学社区

带您了解大数据

第三次浪潮的华彩乐章   1980年,著名未来学家阿尔文·托夫勒便在《第三次浪潮》一书中,将大数据热情地赞颂为“第三次浪潮的华彩乐章”。大约从2009年开始,“...

3329
来自专栏人工智能快报

为什么智能自动化对政府的未来至关重要

AI可能会给政府机构带来巨大变化,智能自动化对政府的未来至关重要。 这是一直以来的刻板印象:无灵魂的人工智能机器崛起,会从诚实勤劳的美国人手中偷走工作岗位。 虽...

3428
来自专栏人称T客

适合高速增长型企业的 SaaS 营销方案 | 编译

编者:张苏月,杨丽 关键词:SaaS,HubSpot,销售/营销 网站:www.tikehui.com 环法冠军 Greg Lemond 曾说过,「你走得越快到...

3185
来自专栏大数据文摘

国内首个大数据平台性能标准制定完成

1634
来自专栏CDA数据分析师

译文|四个小建议,让你的数字营销更成功!

本文由CDA数据分析研究院翻译,转载必须获得本站、原作者、译者的同意,拒绝任何不表明译者及来源的转载! 我们都知道该怎么做。为了保持竞争力,现在的品牌企业都知道...

1805
来自专栏BestSDK

TalkingData崔晓波:人工智能的发展离不开大数据的支持

今年3月9日-15日,在韩国首尔进行的韩国围棋九段棋手李世石与人工智能围棋程序“阿尔法围棋”(AlphaGo)之间的比赛吸引了全人类的关注。3月12日,作为业余...

27510
来自专栏数据猿

金融科技&大数据产品推荐:众安科技X-model反欺诈

众安科技智能数据产品基于海量数据源和资深实战经验,为客户提供精细化风险管理及定制化模型搭建服务。通过人工智能、云平台、大数据等技术和各类金融机构无缝对接,打造“...

3516
来自专栏大数据文摘

精准营销意味着隐私的暴露

2259
来自专栏AI科技评论

联想CTO芮勇:我们在人工智能上是如何转型和布局的?

AI 科技评论按:芮勇博士在 2016 年 11 月正式从微软亚洲研究院卸任常务副院长职务,担任联想集团首席技术官、高级副总裁,负责联想集团技术战略和研发方向的...

3153
来自专栏机器之心

业界 | 苹果豪掷2亿美元收购 Lattice Data , 挖掘暗数据的数字石油价值

选自TechCrunch 作者:Ingrid Lunden 机器之心编译 参与:微胖 据媒体报道,苹果最近又收购了一家人工智能创业公司,以增强公司在人工智能领域...

3447

扫码关注云+社区