Python爬取拉钩招聘网

爬虫准备

1、先获取薪资和学历、工作经验要求

由于拉勾网数据加载是动态加载的,需要我们分析。分析方法如下:

F12分析页面数据存储位置

我们发现网页内容是通过post请求得到的,返回数据是json格式,那我们直接拿到json数据即可。

我们只需要薪资和学历、工作经验还有单个招聘信息,返回json数据字典中对应的英文为:positionId,salary, education, workYear(positionId为单个招聘信息详情页面编号)。相关操作代码如下:

根据获取到的positionId来访问招聘信息详细页面

  • 根据positionId还原访问链接:
  • 访问招聘信息详情页面,获取职位描述(岗位职责和岗位要求)并清理数据:

运行结果:

四种图可视化数据+数据清理方式

  • 矩形树图:
  • 玫瑰饼图:
  • 普通柱状图:
  • 词云图:

Python爬虫岗位薪酬

关键词解析:

学历:本科

工作月薪:10k-30k

工作经验:1-5年

技能:分布式、多线程、框架、Scrapy、算法、数据结构、数据库

综合:爬虫这个岗位在学历要求上比较放松,大多数为本科即可,比较适合想转业的老哥小姐姐,学起来也不会特别难。而且薪资待遇上也还算比较优厚,基本在10k以上。不过唯一对工作经验要求还是比较高的,有近一半的企业要求工作经验要达到3年以上。

Python数据分析岗位

关键词解析:

学历:本科(硕士比例有所增高)

工作月薪:10k-30k

工作经验:1-5年

技能:SAS、SPSS、Hadoop、Hive、数据库、Excel、统计学、算法

综合:数据分析这个岗位在学历要求上比爬虫要求稍微高一些,硕士比例有所提升,专业知识上有一定要求。薪资待遇上也还算比较优厚,基本在10k以上,同时薪资在30k-40k的比例也有所上升。对工作经验要求还是比较高,大部分的企业要求工作经验要达到3年以上。

Python后端岗位

关键词解析:

学历:本科

工作月薪:10k-30k

工作经验:3-5年

技能:Flask、Django、Tornado、Linux、MySql、Redis、MongoDB、TCP/IP、数学(哈哈)

综合:web后端这个岗位对学历要求不高,但专业知识上有很大要求,得会Linux操作系统基本操作、三大主流数据库的使用、以及三大基本web框架的使用等计算机相关知识,总体来说难道还是比较大。薪资待遇上也比较优厚,基本在10k以上,同时薪资在30k-40k的比例也有近20%。对工作经验要求还是比较高,大部分的企业要求工作经验要达到3年以上。

Python全栈开发岗位

关键词解析:

学历:本科

工作月薪:10k-30k

工作经验:3-5年

技能:测试、运维、管理、开发、数据结构、算法、接口、虚拟化、前端

综合:全栈开发这个岗位什么都要懂些,什么都要学些,在学历要求上并不太高,本科学历即可,在专业知识上就不用说了,各个方面都得懂,还得理解运用。薪资待遇上也还可以,基本在10k以上,薪资在30k-40k的比例也有近20%。对工作经验要求还是比较高,大部分的企业要求工作经验要达到3年以上。总体来说,就我个人而言会觉得全栈是个吃力多薪水少的岗位。

Python运维开发岗位

关键词解析:

学历:本科

工作月薪:10k-30k

工作经验:3-5年

技能:SVN、Git、Linux、框架、shell编程、mysql,redis,ansible、前端框架

综合:运维开发这个岗位在学历要求上不高,除开占一大半的本科,就是专科了。工作经验上还是有一些要求,大多数要求有3-5年工作经验。从工资上看的话,不高也不低,20k以上也占有62%左右。要学习的东西也比较多,前端、后端、数据库、操作系统等等。

Python机器学习岗位

关键词解析:

学历:本科(硕士也占比很大)

工作月薪:30k以上

工作经验:3-5年

技能:Machine Learning,Data Mining,Algorithm 研发,算法,Linux,决策树,TF,Spark+MLlib,Cafe

综合:机器学习这个岗位在学历要求上比较严格,虽然看起来是本科居多,但对于刚毕业或毕业不久的同学,如果只是个本科,应聘还是很有难度的。当然机器学习岗位薪资特高,60%在30k以上,近90%在20k以上,97%在10k以上。除开对学历要求比较高外,对工作经验要求也比较高,有近一半的企业要求工作经验要达到3年以上。

Python架构师岗位

关键词解析:

学历:本科

工作月薪:30k以上

工作经验:5-10年

技能:Flask,Django,MySQL,Redis,MongoDB,Hadoop,Hive,Spark,ElasticSearch,Pandas,Spark/MR,Kafka/rabitmq

综合:架构师这个岗位单从学历上看不出什么来,但在薪资上几乎与机器学习一样,甚至比机器学习还要高,机器学习中月薪40k以上的占23.56%,架构师中月薪40k以上的占30.67%。在学历要求上比机器学习要略低,本科居多,但在工作经验上一半以上的企业要求工作经验在5-10年。在必要技能上也要求特别严格,比之前说过的全栈开发师有过之而无不及。

看着这月薪,你想去哪里呢

*声明:本文于网络整理,版权归原作者所有,如来源信息有误或侵犯权益,请联系我

本文分享自微信公众号 - python教程(pythonjc)

原文出处及转载信息见文内详细说明,如有侵权,请联系 yunjia_community@tencent.com 删除。

原始发表时间:2019-11-11

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏量子位

简单几笔素描就能“复原”真实人脸,这是沈向洋高徒出品的CSAGAN

甚至不画嘴,也不会生成无嘴怪人。效果真实,画面高清,连脸上的皱纹,都刻画得清清楚楚。

11320
来自专栏机器之心

ICCV 2019 提前看 | 三篇论文,解读神经网络压缩

神经网络压缩方向是目前深度学习研究的一个热门的方向,其主要的研究方向是压缩,蒸馏,网络架构搜索,量化等。在 ICCV2019 中,不少的研究单位和学者都发表了神...

11310
来自专栏深度学习自然语言处理

【哈工大SCIR笔记】自然语言处理中的迁移学习(上)

来源:Transfer Learning in Natural Language Processing Tutorial (NAACL 2019)

9030
来自专栏机器之心

边缘深度学习设备基准评测:英伟达Jetson Nano胜出

人类产生和收集的数据超过了以往任何时候。我们口袋中的设备就能产生巨量数据,比如照片、GPS 坐标、音频以及我们有意无意泄漏的各种个人信息。

14720
来自专栏磐创AI技术团队的专栏

人工智能免费公开课一网打尽!14个类别、230门课程,GitHub标星6000+

这原本是吴恩达在斯坦福大学开授的课程,课程视频在网络上受到了学习者的广泛好评,后来还推出了专门的网课。

8940
来自专栏小詹同学

你有哪些deep learning(rnn、cnn)调参的经验?

作者:hzwer https://www.zhihu.com/question/41631631/answer/859040970

9210
来自专栏木东居士的专栏

模型之母:简单线性回归&最小二乘法

关于作者:Japson。某人工智能公司AI平台研发工程师,专注于AI工程化及场景落地。持续学习中,期望与大家多多交流技术以及职业规划。

11320
来自专栏Datawhale专栏

还在暴力调参?机器学习模型调优的“解题思路”

选自 Machine Learning Performance Improvement Cheat Sheet

14950
来自专栏猪圈子

Python学习曲线

经历长达近一个月的资源筛选过程终于结束,总共1.5T百度网盘的资源经过:去重、筛选、整理、归档之后一份粗略的Python学习曲线资源已经成型,虽然中间经历了很多...

17910
来自专栏贾志刚-OpenCV学堂

即将不再只是图像的CVer,计算机视觉要变天

每一种信息的来源或者形式,都可以称为一种模态。例如,人有触觉,听觉,视觉,嗅觉;信息的媒介,有语音、视频、文字等;多种多样的传感器,如雷达、红外、加速度计等。以...

13250

扫码关注云+社区

领取腾讯云代金券

年度创作总结 领取年终奖励