专栏首页Python数据科学爬取14000+条数据!分析招聘网站岗位信息

爬取14000+条数据!分析招聘网站岗位信息

来源:软件定义世界(SDX)

开头简单介绍下:本文章主要内容为利用网络爬虫与数据分析对所有招聘岗位信息进行了统一清洗、合并、分析、可视化,而本篇文章重点介绍分析和可视化。写成文章也是旨在希望有同样需要的朋友能获取到有帮助的信息,对目前的行业人才需求有一个大概的了解,选择更好的方向。

本次项目的数据来自于多个不同大型热门的招聘网站(包括拉勾网、直聘网、猎聘网等等),通过反爬机制获取到足够分析的数据量,通过数据的清洗、合并后大致有一万四千条左右的招聘信息,所以后续的分析结果可靠性还是有的。

分析的内容大致有10条,主要包括关键字内容有岗位需求量、薪资、工作经验、领域、学历、公司规模、热门职业等等。

01 各城市对职位的需求量

首先也是最重要的就是各个城市对于岗位的需求量。需求量越大的城市必然经济越发达,机遇也越多,对于自身的发展空间相对越有利,也就是日后的发展方向。

通过图表可以观察到,北、上、广、深的需求量是靠前的,尤其是北京更是遥遥领先。当然由于爬取信息是在某个时间点,所以可能这个时候杭州的招聘量是个小高峰,所以它也挤入了前列,这也说明了杭州是个发展潜力大的城市。

虽然后续的几个城市的需求量处于中等,但也能提供一个比较好的起步阶段。(这里说一下,其实一开始不一定就非要挤入北京、深圳等城市,在一定的条件下最好选择在自己熟悉的城市里做一个发展的起步,如果有必要大城市才是日后发展的方向)。

02 学历要求需求量

在这一万多条的招聘数据中对于学历的要求如上图,本科和大专独挑大梁。虽然这里没有细分,但是有一个好的学历绝对是有力的敲门砖。但是也可以看到硕士、博士的要求量并不多,或许只是某些特殊要求的岗位才会有需求。

有一个本科学历,一般的招聘都能足够了。当然大专、不限在这里也可以看到需求量也是很大的,在这里猜想一下,或许现在的很多公司都以能力作为了一个重要的指标,有能力的人不怕没有好工作。

03 各个薪资阶段的分布

薪资的范围有很多种,这里我将他们做了一个归并,归到最邻近相符的范围中,如上图。呈现出来的结果是在4k-6k的范围是最多的,当然也很能理解。这是一个不高不低的范围,应该是大多职位的薪资范围,而高薪资例如10k以上的也占一个大的比例,可以看出技术领域、高层管理需求量也是很多的,同时在4k以下的职位需求也是有很多,对于一些能力要求不是特别高的职位也就是比较容易入职的职位。

04 工作经验的需求

对于工作经验,这点特别的重要,如果有了工作经验,那对于你寻找工作、跳槽都是一个最有力的条件。

在上面的分析中,经验为不限的占比最高,或许是因为大多的招聘都是面向社会的,公司愿意招聘新人,自己培养,也或许最开始招聘的新人工作难度不大,给你一个学习的阶段。然后1-3年、3-5年这两个占比,几乎占了一半的招聘,说明很大一部分的公司希望招聘到的人马上就能开始运作,开始给公司流血流汗。

当然这些工作也就意味着薪资更高、待遇更好。这就是工作经验的优势,如果你是5年或10年以上的人才,那起码是年薪百万。反观对于指定应届毕业生的需求有,但是占比很少大约在3.3%。

05 招聘中各个领域的占比

一目了然,移动互联网独占鳌头,如今移动端的发展日新月异,毕竟马上5G都要到来了,应该又是一个移动互联网的小高潮,伴随这它的相关行业,也将面临一个迅猛的发展阶段。

紧接着的其他一些行业分布就比较平均了。电子商务、互联网金融、在线教育等等也都是伴随着互联网一同进步。未来的互联网领域绝对是经济发展领头羊(毕竟AI、数据分析产业正在逐步的收到更多人的重视)。

06 各城市的薪资分布

通过了解各热门城市的平均薪资,你可以选择投身发展的方向,也可以了解你的工资是否合理,是否拖了这座城市的后腿。

这里统计了一部分比较热门的城市,为了更好,更全面的观察,这里做了箱线图。最低的苏州的平均薪资也是在6k左右,而北京很显然最高,大约在18k左右,差距啊。很庆幸,成都也是在10k之上。而最低薪资在北京,也说明再好的城市,也不都是美好的。各城市都存在异常值,这些应该就是所谓的高端职业、全栈工程师吧。上面这个图信息量比较大,一两句话说不完,读者可以自己多观察一下。

07 公司规模与学历

如何衡量一个公司,通过其规模的大小,我们可以看出它的社会地位。同时这些不同规模的公司对于招聘人员的学历要求是什么样的呢?

我们一点一点的来分析。对于这六个不同的大小规模,公司的数量相差也很大。

其中150-500人规模的公司达到2547个,相对与50-150的规模多了5倍多。很好理解这样的中型公司应该是最多的,而少于15人的居然有1429这么多,当然500-2000、2000以上的大型公司也是占很大一部分的。

接着我们看看不同规模公司对于招聘的学历要求如何。比较清楚的一点就是,博士和硕士的需求量并不大,尤其是博士,有的规模公司甚至对于博士没有需求。而越大型的公司对学历的要求也越高,15人以下规模是个比较极端的例子,它以大专为最低限制的要求远大于对本科的要求。其它规模对于本科的要求都最高的的,当然你学历越高越好。

08 公司规模与薪资

在我们的理解下,应该是规模越大那么工资应该越高,是不是这样呢?我们来看看。

大概浏览一下确实是这样,在2000人以上规模的公司平均工资在15k左右,少于15人的公司大约在5k(15人以下数据分布很杂,导致画图时,中位数偏低,实际上平均值可能在6-7k之间),其余的大都在10k左右。

确实规模越大的公司待遇越好,当然相对的能力要求可能就要高一点了。上面这些高出四分位点或者三分位点的值应该都是一些技术能力、管理能力比较突出的岗位(最高的都是75k了,我觉得应该是10年以上经验的全栈工程师)。

09 工作经验与薪资的关系

同样的在我们的理解里,如果你有更高的工作经验,那money绝不会少。

乍一眼就看见了两个最突出的(5-10年、10年以上),22k、24k。相对比应届毕业生、不限、一年以下的平均值都接近于5k由此可以肯定了,有足够的工作经验,是好待遇的一个重要指标。当然作为一个刚入业的新人来说,良好学习的机会和待遇一样重要。同样的各阶段也存在很多异常值。

10 对职位名、领域进行自然语言处理、分析热门行业

为了更直观的了解、看到招聘岗位中对于具体的热门领域、热门职业的需求,我对数据库中的保存的领域、职位数据进行了自然语言的处理。最后以词云图的方式展现出来。

领域分析:

更直观的方式,不需要过多的解释了。上面有你喜欢的领域吗?

本文分享自微信公众号 - Python数据科学(PyDataScience)

原文出处及转载信息见文内详细说明,如有侵权,请联系 yunjia_community@tencent.com 删除。

原始发表时间:2019-04-25

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

我来说两句

0 条评论
登录 后参与评论

相关文章

  • 大数据行业步入快车道?忽视了它最终要被大浪淘

    Gartner一份分析报告指出:使用先进的大数据分析系统的企业将比未使用的企业盈利能力高出20%,更多的企业开始将大数据分析作为公司盈利能力增强的潜在手段而进行...

    数据狗忙忙忙
  • 哪些客户服务的指标最重要?

    数据分析是保持优秀客户服务的一个重要组成一部分,但是你需要太多的数据吗?许多企业会跟踪很多不同的指标,他们陷入了数据的汪洋大海,丢失了那些首先要关注的数据指标。...

    臭豆腐
  • 大数据就业方向有哪些?可以干什么工作?

    大数据及其应用的迅速发展,使得大数据人才缺口较大,大数据也迅速成为行业和市场的热点,更多的企业无论是对人才的招聘还是在培训都成了刚需,大数据的就业领域是很宽广的...

    加米谷大数据
  • Anaconda安装和使用

    俗话说的好,“工欲善其事,必先利其器”。我们要运行Python代码,就需要Python的环境。本文就将详细讲解anaconda的安装和使用。

    罗罗攀
  • 大数据时代的到来,为我们提供了哪些便利之处?

    以前还没有进入大数据时,社会发展相对比较慢,比如工作生活,交通出行,互联网并没有那么的便利,大家都是各顾各的,进入了大数据时代,大家开始相互分享资源,抱团取暖。...

    墨者安全筱娜
  • 数据科学家和数据工程师有什么区别?

      本文介绍了什么是数据工程师、什么是数据科学家,以及二者之间的差别以及其不同的工作角色。

    加米谷大数据
  • Python数据分析师养成记

    从这周开始,罗罗攀开始更新新系列《Python数据分析师养成记》。该系列将以小白的视角出发,一步步的进阶Python数据分析。

    罗罗攀
  • 关于写作那些事之终于还是无法忍受纯人工统计数据

    作为正在探索如何写作并发表到各大博客平台的新人,目前虽然已基本弄清写作和发表的基本流程,但是离打造个人知名度还差很大很大一段距离.

    雪之梦技术驿站
  • 大神推荐的16本学习数据分析挖掘的好书

    深入浅出数据分析 以类似“章回小说”的活泼形式,生动地向读者展现优秀的数据分析人员应知应会的技术。

    一墨编程学习
  • 企业所需要了解的物联网基本知识

    物联网(通常称为IoT)最早由Kevin Ashton于1999年命名得来。在短短几年内,这一概念逐渐变为现实。 移动智能设备只是一个开始。 在本世纪的前十年中...

    臭豆腐

扫码关注云+社区

领取腾讯云代金券