首页
学习
活动
专区
工具
TVP
发布
社区首页 >专栏 >爬取14000+条数据!分析招聘网站岗位信息

爬取14000+条数据!分析招聘网站岗位信息

作者头像
1480
发布2019-05-21 23:11:41
1.5K0
发布2019-05-21 23:11:41
举报
文章被收录于专栏:数据分析1480数据分析1480

还没关注?

快动动手指!

开头简单介绍下:本文章主要内容为利用网络爬虫与数据分析对所有招聘岗位信息进行了统一清洗、合并、分析、可视化,而本篇文章重点介绍分析和可视化。写成文章也是旨在希望有同样需要的朋友能获取到有帮助的信息,对目前的行业人才需求有一个大概的了解,选择更好的方向。

本次项目的数据来自于多个不同大型热门的招聘网站(包括拉勾网、直聘网、猎聘网等等),通过反爬机制获取到足够分析的数据量,通过数据的清洗、合并后大致有一万四千条左右的招聘信息,所以后续的分析结果可靠性还是有的。

分析的内容大致有10条,主要包括关键字内容有岗位需求量、薪资、工作经验、领域、学历、公司规模、热门职业等等。

01 各城市对职位的需求量

首先也是最重要的就是各个城市对于岗位的需求量。需求量越大的城市必然经济越发达,机遇也越多,对于自身的发展空间相对越有利,也就是日后的发展方向。

通过图表可以观察到,北、上、广、深的需求量是靠前的,尤其是北京更是遥遥领先。当然由于爬取信息是在某个时间点,所以可能这个时候杭州的招聘量是个小高峰,所以它也挤入了前列,这也说明了杭州是个发展潜力大的城市。

虽然后续的几个城市的需求量处于中等,但也能提供一个比较好的起步阶段。(这里说一下,其实一开始不一定就非要挤入北京、深圳等城市,在一定的条件下最好选择在自己熟悉的城市里做一个发展的起步,如果有必要大城市才是日后发展的方向)。

02 学历要求需求量

在这一万多条的招聘数据中对于学历的要求如上图,本科和大专独挑大梁。虽然这里没有细分,但是有一个好的学历绝对是有力的敲门砖。但是也可以看到硕士、博士的要求量并不多,或许只是某些特殊要求的岗位才会有需求。

有一个本科学历,一般的招聘都能足够了。当然大专、不限在这里也可以看到需求量也是很大的,在这里猜想一下,或许现在的很多公司都以能力作为了一个重要的指标,有能力的人不怕没有好工作。

03 各个薪资阶段的分布

薪资的范围有很多种,这里我将他们做了一个归并,归到最邻近相符的范围中,如上图。呈现出来的结果是在4k-6k的范围是最多的,当然也很能理解。这是一个不高不低的范围,应该是大多职位的薪资范围,而高薪资例如10k以上的也占一个大的比例,可以看出技术领域、高层管理需求量也是很多的,同时在4k以下的职位需求也是有很多,对于一些能力要求不是特别高的职位也就是比较容易入职的职位。

04 工作经验的需求

对于工作经验,这点特别的重要,如果有了工作经验,那对于你寻找工作、跳槽都是一个最有力的条件。

在上面的分析中,经验为不限的占比最高,或许是因为大多的招聘都是面向社会的,公司愿意招聘新人,自己培养,也或许最开始招聘的新人工作难度不大,给你一个学习的阶段。然后1-3年、3-5年这两个占比,几乎占了一半的招聘,说明很大一部分的公司希望招聘到的人马上就能开始运作,开始给公司流血流汗。

当然这些工作也就意味着薪资更高、待遇更好。这就是工作经验的优势,如果你是5年或10年以上的人才,那起码是年薪百万。反观对于指定应届毕业生的需求有,但是占比很少大约在3.3%。

05 招聘中各个领域的占比

一目了然,移动互联网独占鳌头,如今移动端的发展日新月异,毕竟马上5G都要到来了,应该又是一个移动互联网的小高潮,伴随这它的相关行业,也将面临一个迅猛的发展阶段。

紧接着的其他一些行业分布就比较平均了。电子商务、互联网金融、在线教育等等也都是伴随着互联网一同进步。未来的互联网领域绝对是经济发展领头羊(毕竟AI、数据分析产业正在逐步的收到更多人的重视)。

06 各城市的薪资分布

通过了解各热门城市的平均薪资,你可以选择投身发展的方向,也可以了解你的工资是否合理,是否拖了这座城市的后腿。

这里统计了一部分比较热门的城市,为了更好,更全面的观察,这里做了箱线图。最低的苏州的平均薪资也是在6k左右,而北京很显然最高,大约在18k左右,差距啊。很庆幸,成都也是在10k之上。而最低薪资在北京,也说明再好的城市,也不都是美好的。各城市都存在异常值,这些应该就是所谓的高端职业、全栈工程师吧。上面这个图信息量比较大,一两句话说不完,读者可以自己多观察一下。

07 公司规模与学历

如何衡量一个公司,通过其规模的大小,我们可以看出它的社会地位。同时这些不同规模的公司对于招聘人员的学历要求是什么样的呢?

我们一点一点的来分析。对于这六个不同的大小规模,公司的数量相差也很大。

其中150-500人规模的公司达到2547个,相对与50-150的规模多了5倍多。很好理解这样的中型公司应该是最多的,而少于15人的居然有1429这么多,当然500-2000、2000以上的大型公司也是占很大一部分的。

接着我们看看不同规模公司对于招聘的学历要求如何。比较清楚的一点就是,博士和硕士的需求量并不大,尤其是博士,有的规模公司甚至对于博士没有需求。而越大型的公司对学历的要求也越高,15人以下规模是个比较极端的例子,它以大专为最低限制的要求远大于对本科的要求。其它规模对于本科的要求都最高的的,当然你学历越高越好。

08 公司规模与薪资

在我们的理解下,应该是规模越大那么工资应该越高,是不是这样呢?我们来看看。

大概浏览一下确实是这样,在2000人以上规模的公司平均工资在15k左右,少于15人的公司大约在5k(15人以下数据分布很杂,导致画图时,中位数偏低,实际上平均值可能在6-7k之间),其余的大都在10k左右。

确实规模越大的公司待遇越好,当然相对的能力要求可能就要高一点了。上面这些高出四分位点或者三分位点的值应该都是一些技术能力、管理能力比较突出的岗位(最高的都是75k了,我觉得应该是10年以上经验的全栈工程师)。

09 工作经验与薪资的关系

同样的在我们的理解里,如果你有更高的工作经验,那money绝不会少。

乍一眼就看见了两个最突出的(5-10年、10年以上),22k、24k。相对比应届毕业生、不限、一年以下的平均值都接近于5k由此可以肯定了,有足够的工作经验,是好待遇的一个重要指标。当然作为一个刚入业的新人来说,良好学习的机会和待遇一样重要。同样的各阶段也存在很多异常值。

10 对职位名、领域进行自然语言处理、分析热门行业

为了更直观的了解、看到招聘岗位中对于具体的热门领域、热门职业的需求,我对数据库中的保存的领域、职位数据进行了自然语言的处理。最后以词云图的方式展现出来。

领域分析:

更直观的方式,不需要过多的解释了。上面有你喜欢的领域吗?

数据分析1480

长按扫码关注我

本文参与 腾讯云自媒体分享计划,分享自微信公众号。
原始发表:2019-02-16,如有侵权请联系 cloudcommunity@tencent.com 删除

本文分享自 数据分析1480 微信公众号,前往查看

如有侵权,请联系 cloudcommunity@tencent.com 删除。

本文参与 腾讯云自媒体分享计划  ,欢迎热爱写作的你一起参与!

评论
登录后参与评论
0 条评论
热度
最新
推荐阅读
相关产品与服务
NLP 服务
NLP 服务(Natural Language Process,NLP)深度整合了腾讯内部的 NLP 技术,提供多项智能文本处理和文本生成能力,包括词法分析、相似词召回、词相似度、句子相似度、文本润色、句子纠错、文本补全、句子生成等。满足各行业的文本智能需求。
领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档