专栏首页张俊红通过招聘要求看数据分析师岗位

通过招聘要求看数据分析师岗位

想学习数据分析,但不知道从哪里下手,那么直接看看公司招人的条件,总结一下,你就知道学习什么了。基于此,小编爬取了拉勾网上面关于数据分析的招聘信息,并存储到MySQL数据库,最后进行数据分析。

1、爬虫


爬虫部分非常简单,对网页稍加分析便能完成。首先打开拉勾网,搜索数据分析,然后将一切筛选条件勾选不限,工作地点选择全国。然后右键network然后点击xhr,我们找到了position开头的文件,打开观察其header信息,包括URL等。

往下拉,尤其注意Form Data信息,这里的pn表示页码,kd表示关键词。由于你点击翻译,会发现URL其实没有变化,那么就靠着pn来实现翻页了。

接着点击Preview这里就会发现这个json文件存储信息的一个大概框架了,没错,我们要的信息就在result里面了。

这里小编把重要信息都圈出来了,你只需按顺序找到这些信息即可。可以直观看见每一条招聘信息都存储在json里面。那么我们通过访问URL就可以获取到这些信息了。这里需要强调的是,拉勾网最多只会展示30页内容,每页15条。通过搜索,我发现大多数人都只爬取了30页,但是,但是,小编尝试着爬取了30页之后的数据,居然成功的,难道是拉勾反爬条件放宽了???考虑到招聘信息的实时性,最终小编爬取了100页数据,共计1500条招聘信息。

2、数据分析


由于这次爬取的数据属性比较多,我们分别从单变量,多变量来进行数据可视化。

  • 城市分布

招聘分析岗位的城市以北上广深一线城市为主,其次,杭州、成都等近几年发展好的城市也紧随其后,所以如果你想要找数据分析相关工作,还是要在大城市。

  • 公司规模

公司规模非常直观的说明了,公司越大越需要数据分析。公司规模越大,涉及到的数据量更大,对数据分析的要求肯定要高很多。

  • 公司融资情况

公司融资情况越好,或者说不需要融资,上市这样的公司,越有钱,对数据分析的招聘更多。和公司规模一样,更成熟、更大的公司,因为业务需要等原因,需要更多的数据分析人员来完成相关数据工作。

  • 公司所属的产业领域

这个结果是不是也是在预料之中的,互联网公司对数据分析的需求是最大的,其次是数据服务、电子商务等公司。

  • 公司福利

和大多数岗位一样,公司提供给数据分析人员的福利多是以假期、奖金为主。其实还有美女多、帅哥多等软性福利。

  • 技能需求

这些公司对数据分析岗位的技能需求包括数据挖掘、大数据、SPSS、SQL等,现在你知道需要学习什么吧!

  • 数据分析所在一级部门

绝大部分数据分析岗位都是在产品、开发部门,属于项目和运维类。所以投递简历的时候可以关注公司这些部门的招聘信息。

  • 薪水

薪水应该是大家最关心的一个点了,直接调用薪水的数据来看,薪水主要在10k-20k、15k-30k和15k-25k三个区间,待遇还是很不错的啊。为了更加直观,我们分别把薪水拆分为薪水下限、薪水上限、薪水均值三个特征,并在之后做多变量分析的时候,采用薪水均值代替薪水。

上图展示的薪水下限和薪水上限的分布,其实波动看起来还是蛮大的,这主要是数据量较少的缘故。

这是薪水下限和薪水上限的散点图,非常好的线性回归分布,当然,这不是废话吗?下限越高,上限肯定也越高啊。(这个图没有意义),再看看薪水均值的表现。

薪水均值主要集中在10k左右,20k以上也是蛮多的。

  • 招聘类型

我们爬取的招聘信息招聘全职为主,实习和兼职招聘的很少。

  • 工作经验

大部分招聘都是需要一定的工作经验的,这跟招聘的类型主要是全职的为主,一般招聘全职都需要具有工作经验。

  • 学历要求

学历还是很重要的,毕竟大部分都要求本科以上。接下来,我们分析多变量,主要是研究和薪水之间的关系。

  • 城市和薪水

是的,和城市发展有关,北上广深杭开出的待遇也是最好的,这几个城市的异常点也最多,也就是说她们开出的超高待遇也是最多的。

  • 公司规模与薪水

很明显,公司规模越大,薪水给的更丰富。

  • 融资情况与薪水

一样的,公司融资情况越好,越有钱,开的工资也是越好。

  • 工作经验与薪水

和其他行业一样,工作经验要求越高,工资也开的越高。

  • 学历与薪水

这张图告诉我们,学历越高工资越高。

  • 产业与薪水

人工智能、o2o、金融、互联网、教育这些领域开出的待遇相较于其他行业更高。

  • 工作经验、学历与薪水

不论公司要求什么工作经验,都是学历越高,开出的薪水越好。

  • 公司规模与学历

不管什么规模的公司,招聘要求的学历绝大多数都是本科。值得注意的是,在500-2000人规模的公司里面,对学历没有要求的情况居然多余大专和硕士。

3、结语


根据爬取的信息,我们还能做出很多可视化的图,这里仅做了一小部分。总结来说,如果你想要做数据分析工作,那么,大城市会给予你更多的机会,同时越大的公司越招人,并且待遇也好。公司选择方面,多以互联网、金融、教育等行业为主。技能方面,数据挖掘、SPSS、数据库这些都是必备的。

所有的代码,放在GitHub上了。地址:

https://github.com/summerheday/lagou

本文分享自微信公众号 - 张俊红(zhangjunhong0428)

原文出处及转载信息见文内详细说明,如有侵权,请联系 yunjia_community@tencent.com 删除。

原始发表时间:2019-05-04

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

我来说两句

0 条评论
登录 后参与评论

相关文章

  • 读书笔记|初级数据分析(运营人员必学)

    关于本书 数据分析是作为一名运营人员需要掌握的一项基本技能,本书基于职场三人的对话(BOSS、数据分析菜鸟、数据分析高手),从数据分析概念、作用、步奏三个方面进...

    张俊红
  • 推荐一款程序员专用的编辑器

    很多人问我写公众号用的什么写的,今天就给大家分享一下我一直用的这款编辑器。为什么要选择一款好的编辑器呢?一个好的编辑器既可以帮助你提高写作效率,又可以让你的文章...

    张俊红
  • 数据分析的 4 个层面:包括 8 种思维、N 种方法、七种武器和八条原则

    前几天,我在「大数据分析和人工智能」公众号主理人邓凯的朋友圈,看到下面这张图片:

    张俊红
  • 迁移式升级的测试(三)(r10笔记第36天)

    还是继续昨天的任务。 前面的内容可以参见:迁移式升级的一点思考 (r10笔记第27天)、迁移式升级的新方案测试 (r10笔记第30天)、迁移式升级的测试(二)(...

    jeanron100
  • 程序员获得高薪有哪些谈判技巧

    程序员获得高薪有哪些谈判技巧 问题 我在工作几年后失业了,我并不担心找不到工作,因为目前工程师市场处于旺季,不过我已经好久没面试了,我无法确保我的谈判技巧如...

    用户1289394
  • 重构:一个简单的IF语句

    private static void OldMethod(BusinessObjectInfo parentBOInfo) { IList<Busin...

    用户1172223
  • 我的CMS开发记-5 实现静态化页

          为了实现静态化页,我在博客园里可是搜了半天。最后找到两个方案:  http://www.cnblogs.com/hsqzzzl/archive/20...

    用户1687945
  • 10-jinja2

    loop.index代表当前循环的索引号,从1开始到最后循环体的数量。例如循环体有12个,那么loop.index代表1,2,3..12。

    小朋友呢
  • python学习笔记(第一章)

    笔记;因为Python不像C语言那样的强结构语言,所以我学完C就开始学Python,脑袋嗡嗡的,不过还好,它的赋值很不一般,像C语言第一条应该是先申请一个变量然...

    天钧
  • JSP页面的注释细节

    本文链接:https://blog.csdn.net/u014427391/article/details/100020721

    用户1208223

扫码关注云+社区

领取腾讯云代金券