通过招聘要求看数据分析师岗位

想学习数据分析，但不知道从哪里下手，那么直接看看公司招人的条件，总结一下，你就知道学习什么了。基于此，小编爬取了拉勾网上面关于数据分析的招聘信息，并存储到MySQL数据库，最后进行数据分析。

1、爬虫

爬虫部分非常简单，对网页稍加分析便能完成。首先打开拉勾网，搜索数据分析，然后将一切筛选条件勾选不限，工作地点选择全国。然后右键network然后点击xhr，我们找到了position开头的文件，打开观察其header信息，包括URL等。

往下拉，尤其注意Form Data信息，这里的pn表示页码，kd表示关键词。由于你点击翻译，会发现URL其实没有变化，那么就靠着pn来实现翻页了。

接着点击Preview这里就会发现这个json文件存储信息的一个大概框架了，没错，我们要的信息就在result里面了。

这里小编把重要信息都圈出来了，你只需按顺序找到这些信息即可。可以直观看见每一条招聘信息都存储在json里面。那么我们通过访问URL就可以获取到这些信息了。这里需要强调的是，拉勾网最多只会展示30页内容，每页15条。通过搜索，我发现大多数人都只爬取了30页，但是，但是，小编尝试着爬取了30页之后的数据，居然成功的，难道是拉勾反爬条件放宽了？？？考虑到招聘信息的实时性，最终小编爬取了100页数据，共计1500条招聘信息。

2、数据分析

由于这次爬取的数据属性比较多，我们分别从单变量，多变量来进行数据可视化。

• 城市分布

招聘分析岗位的城市以北上广深一线城市为主，其次，杭州、成都等近几年发展好的城市也紧随其后，所以如果你想要找数据分析相关工作，还是要在大城市。

• 公司规模

公司规模非常直观的说明了，公司越大越需要数据分析。公司规模越大，涉及到的数据量更大，对数据分析的要求肯定要高很多。

• 公司融资情况

公司融资情况越好，或者说不需要融资，上市这样的公司，越有钱，对数据分析的招聘更多。和公司规模一样，更成熟、更大的公司，因为业务需要等原因，需要更多的数据分析人员来完成相关数据工作。

• 公司所属的产业领域

这个结果是不是也是在预料之中的，互联网公司对数据分析的需求是最大的，其次是数据服务、电子商务等公司。

• 公司福利

和大多数岗位一样，公司提供给数据分析人员的福利多是以假期、奖金为主。其实还有美女多、帅哥多等软性福利。

• 技能需求

这些公司对数据分析岗位的技能需求包括数据挖掘、大数据、SPSS、SQL等，现在你知道需要学习什么吧！

• 数据分析所在一级部门

绝大部分数据分析岗位都是在产品、开发部门，属于项目和运维类。所以投递简历的时候可以关注公司这些部门的招聘信息。

• 薪水

薪水应该是大家最关心的一个点了，直接调用薪水的数据来看，薪水主要在10k-20k、15k-30k和15k-25k三个区间，待遇还是很不错的啊。为了更加直观，我们分别把薪水拆分为薪水下限、薪水上限、薪水均值三个特征，并在之后做多变量分析的时候，采用薪水均值代替薪水。

上图展示的薪水下限和薪水上限的分布，其实波动看起来还是蛮大的，这主要是数据量较少的缘故。

这是薪水下限和薪水上限的散点图，非常好的线性回归分布，当然，这不是废话吗？下限越高，上限肯定也越高啊。(这个图没有意义)，再看看薪水均值的表现。

薪水均值主要集中在10k左右，20k以上也是蛮多的。

• 招聘类型

我们爬取的招聘信息招聘全职为主，实习和兼职招聘的很少。

• 工作经验

大部分招聘都是需要一定的工作经验的，这跟招聘的类型主要是全职的为主，一般招聘全职都需要具有工作经验。

• 学历要求

学历还是很重要的，毕竟大部分都要求本科以上。接下来，我们分析多变量，主要是研究和薪水之间的关系。

• 城市和薪水

是的，和城市发展有关，北上广深杭开出的待遇也是最好的，这几个城市的异常点也最多，也就是说她们开出的超高待遇也是最多的。

• 公司规模与薪水

很明显，公司规模越大，薪水给的更丰富。

• 融资情况与薪水

一样的，公司融资情况越好，越有钱，开的工资也是越好。

• 工作经验与薪水

和其他行业一样，工作经验要求越高，工资也开的越高。

• 学历与薪水

这张图告诉我们，学历越高工资越高。

• 产业与薪水

人工智能、o2o、金融、互联网、教育这些领域开出的待遇相较于其他行业更高。

• 工作经验、学历与薪水

不论公司要求什么工作经验，都是学历越高，开出的薪水越好。

• 公司规模与学历

不管什么规模的公司，招聘要求的学历绝大多数都是本科。值得注意的是，在500-2000人规模的公司里面，对学历没有要求的情况居然多余大专和硕士。

3、结语

根据爬取的信息，我们还能做出很多可视化的图，这里仅做了一小部分。总结来说，如果你想要做数据分析工作，那么，大城市会给予你更多的机会，同时越大的公司越招人，并且待遇也好。公司选择方面，多以互联网、金融、教育等行业为主。技能方面，数据挖掘、SPSS、数据库这些都是必备的。

所有的代码，放在GitHub上了。地址：

https://github.com/summerheday/lagou