“互联网寒冬”，来分析一下爬取的 BOSS 直聘数据。

小小詹同学

发布于 2019-11-13 00:02:04

5470

发布于 2019-11-13 00:02:04

临近年末，“互联网寒冬”的来临让大家倍感压力，大家纷纷感叹寒冬将至。但是，越是这个时候，越要明确自己的奋斗目标，不断的充实自己，提高自己的能力，为找工作打下坚实的基础。

本次我们爬取了招聘网站上关于计算机视觉方向的招聘信息，并对于招聘信息进行分析，看一下目前计算机视觉方向对于应聘者的需求如何。

首先招聘信息的爬取采用的是selenium 库，对boss 直聘招聘网站进行爬取，因为网站对于反爬的验证码比较复杂，即便是利用tesserocr 来对这种验证码识别的也很难将其识别准确，因此直接采用selenium库，对于网页信息进行爬取。对于验证码仍需要人工来进行识别并进行操作。但是由于爬取的过程中，对网页进行了模拟浏览过程，因此几乎不会产生反爬环节。

对于招聘信息的提取首先是打开我们所要查询的招聘方向的链接，这里我们查询的是计算机视觉方向(自己更改所需即可)，然后针对每一页上的每一个招聘链接，在新的网页进行打开，然后爬取其网页信息。整体的运行效果图如下动图所示。

对于每一个招聘链接，利用BeautifulSoup进行网页信息的提取，并将其保存到csv文件当中，具体代码如下图所示。

完整代码获取见文末

这里我们爬取了招聘信息中，对于应聘者的学历、经验的要求，以及招聘者提出的工作要求和薪金待遇以及工作地点。将爬取后的信息保存为csv文件放到根文件夹下，至此爬取招聘信息的工作便完成。爬取的信息如下如所示。

首先，我们想观察一下目前招聘者对于应聘者的工作要求，因此为了更加直观的展示工作要求，我们采用词云的形式，对于工作要求中的关键词进行展示。

采用词云的优势在于：第一，展示起来比较美观，第二是出现频率越高的关键词，其字体也越大，因此更能直观的进行展示。

对于爬取得到的信息，利用pandas进行读取，然后将“工作要求”一项进行提取后，采用jieba进行分析，并结合WordCloud库进行展示，得到的结果如下如所示。

由词云我们可以看出，目前计算机视觉领域深度学习技术是最杯招聘者所看重的一项技能，因此它的出现频率也是最高的。其次对于机器学习、图像处理技术也要进行掌握，并能达到熟练掌握的程度。如果有小伙伴想要进军计算机视觉领域的话，那么上述的词云所体现的信息，将会对你有很大的帮助，在处理完“工作需求之后”，我们还对大家普遍关心的“工资”水平和“经验”要求进行了分析。

由于招聘者对于工资都是提供一个大概的范围，因此，这里我们采取招聘者提供的平均工资来作为我们的“工资”数据，根据平均工资的最大值跟最小值将工资分为五类，可视化数据如下图所示。