拉勾网上海Java开发等岗位的简单数据分析

最近两天终于闲来写写之前的Python代码，好久没做，手有点生，编程这个活就是这样，得需要经常写，不然认生。今天的主题比较随意，任务就是爬取拉勾网的数据并且做简要的数据分析，本文直接给出我的个人分析结论，存在比较片面的情况。感谢@某某给的提供的初始代码，我给忘了谁了，加我的人太多，发的消息我可能没看见，可以在给我发一次，两次我没回复，那就是这个问题我回答不了，或者说百度很轻松能回答你。废话少说，直奔主题。

任务：

采集两天（3.13-3.14）拉勾网的上海地区Java、Python、算法相关岗位信息，不加任何限制条件，先简单的只管看下结果：

在Java和算法岗位处于500+的情况下Python竟然才只有165个职位。而且还是在上海这样的一线城市。为了满足我的好奇心，我又去看了下北京和深圳的Python相关岗位的岗位数量。竟然是北京258个，深圳133个。注意这是仅仅是以Python为关键词，可能是不包含人工智能、机器学习、数据挖掘等岗位，因为这些岗位要求不仅仅要你只会Python。

爬到数据库的数据长这个样子：

总概述：

数据总量1175条（去重）

Java 545

Python 173 （显示165是可能有职位下架）

算法 457

因为取样的方向性、来源比较单一，但是理论上，三个岗位方向的职位总量无法判断，但是Python很明显低于其他两个方向，单纯只会Python找工作比单纯只会java 这个选择范围是小的，这个结论是可以得出来吧。

学历：

打开不限学历的详情，竟然有的岗位给开出了20k的薪资，我就吃鲸了，于是我就详细阅读JD，详情中赫然写着全日制本科及以上学历，这样的不负责任的HR，我只想口吐芬芳。不过想想也是，不限学历不限经验其实是最高的要求。好比问你找对象什么要求，你说没啥要求凭感觉。那我就想问问，月薪1500的你有没有感觉，初中没毕业的有没有感觉，没车没房的你有没有感觉，身高150cm的有木有感觉。记住一点，没有要求就是最高的要求，所有我们在分析数据的时候把不限的要求全部剔除，这属于脏数据。

三个岗位的分别统计：

Java：

Python：

算法：

以上看出，在一线城市干码农这样的工作基本配置学历是本科，语言工程类专科岗位占比在10%。算法类等高端岗位，硕士学历要求明显增高，说明搞算法对学历是有一定要求的，但是在众多岗位有有一个岗位是算法岗位是要求大专即可，也说明只要你能力够强，我们也可以要，但是在439中仅有1个岗位，后面的可能存在的难度自己考虑。学历有木有用的结论我就说了，数据在这里，自己体会。

经验：

分布占比：

（为了方便，我把1年以下按应届毕业生处理，10年以上按5-10年处理）

由此可见，今年毕业生不好找工作，很多公司是想要直接能来干活的。什么原因大家都懂，当然可能存在情况是，这是网站都是社招，校招名额不在这里公布。这个仅仅是作为了解市场需求的参考之一

薪资：

接下来你们最关心的是工资问题，每次都有人问我挣多少钱，接下来就简单看下，市场能给多少钱吧。但是工资是跟岗位和工作经验挂勾的，所有这是也是分两方面。有人说，这个数据采样Java和算法占了大多数，而且两个岗位的工资是有差别，不能统一来着看,那么来看(Python 样本实在太少了就pass)

Java岗位的经验的平均工资（workYear-经验，AVG-薪资平均数，count-岗位数）

由此可见，说不限经验的还能开到跟3-5年经验一样的工资，说明这些不限经验的还是要求3-5年经验。做java开发的应届毕业生平均工资能拿8.5K，工作1-3年平均是11k，3-5年工作经验是15k，5年以上工作经验是20k。这个数据是有参考意义的（仅限上海），不要问我挣多少钱，我还是没到个平均数呢。你能拿这个数以上，说明你比同级别人优秀，如果没有，不要灰心，好好学习，然后跳一跳，翻一翻。

算法岗位的经验平均工资：

对应数据的结论是 ：在上海，做算法的应届毕业生平均工资能拿15K，1-3年平均是18k，3-5年工作经验是24k，5年以上工作经验是33k。

两个表看起来还是不直观，来上图。

这只能说明 算法工资比java开发高，但是存在样本量太低，做Java一般是本科多，做算法的硕士比重大，不太足以说明什么问题。但是换句话说，有能力搞点算法就去，毕竟挣钱是真多啊。

但是这样比对没有什么实际意义，同岗位才有相比较的意义。

Java岗位不同学历和经验的薪资对比（由于样本量比较小，岗位小于5的pass掉）

作为545个样本分析确实比较少，但是竟然是没有一个岗位说可以要大专的应届毕业生。我猜可能原因，1.一线城市人多，2.采集数据范围比较窄，3.今年的就业压力确实很大。

不过我们看中间两个的数据，说明学历还是管用的，最起码挣钱多啊。同级别同经验情况下多2k。别跟我扯什么个案，我采集的545个都觉得少，你拿一个人的情况能说明什么问题吗。

其他：

这就是最简单的数据分析，同样可以为你找工作谈薪资提供一个参考。同样的话，除了这个用处，你可以把这些岗位的详情，爬下来，做词云分析，找出来在上海的公司都喜欢用什么技术栈，拿出最多的前10个掌握，这样你不管是你学习还是准备面试，知道重点在哪里了吧。

还有人说做爬虫要吃橘子，我只想说，聪明的人早就去找数据后面的价值。多了不说，上面的提供的思路感兴趣的可以试试，这就是学习啊。还问我怎么学习，我都给你说了。