专栏首页数据分析专栏Python+BI分析5000条招聘数据,原来数据分析工作在这儿最好找
原创

Python+BI分析5000条招聘数据,原来数据分析工作在这儿最好找

这两年的大数据热潮带火了数据分析这个职业,很多人想转行干数据分析,但是又不知道现在这个行业的求职环境和前景如何,动了心却不敢贸然行动。

前两天有个干运营的妹子找我聊天,也是问我数据分析岗位前景的问题,看在妹子长得实在好看的份上,我花了一晚上时间,去智联招聘上面爬了一下数据分析岗位的招聘数据,对数据分析岗位的薪水,需求情况,以及要求的工作年限做了个分析。

python数据爬取我就不多说了,可以参考网上的代码,我一共爬了5000条数据

拿到数据后,选择工具进行数据分析,一提到分析工具,很多人都会想到用Excel,我刚入行的时候也是“Excel打遍天下”,但Excel数据清洗和计算效率低下,需要进行大量重复性、低附加值的人工操作,而且要做好看的图表得花很多时间研究功能,遇到大数据量就卡的不行。后来我了解到了自助分析工具FineBI,从此放弃了Excel,这篇我就用FineBI来给大家展示一个完整的分析过程:

数据分析的步骤:

1、提出问题——明确数据分析目的

2、理解数据——理解数据列名的意义

3、数据清洗——统一格式内容

4、构建模型——思考用什么样的表现形式把数据呈现出来

5、数据可视化——把数据转化成图

提出问题

首先要明确这次数据分析的目的是什么?也就是为了解决什么问题?(提出的问题要能用很明确的指标和数字来衡量,切勿模棱两可)

提出问题: 1、在哪些城市找到数据分析师工作的机会比较大? 2、数据分析师的薪水如何? 3、根据工作经验的不同,薪酬是怎样变化的?

理解数据

接下来要理解表格中的各个字段(列名)表示什么意思:

城市:用于比较不同城市对数据分析师的需求如何

职位所属:分析以后的工作岗位

职位ID:表示职位的唯一表示,也就是每一行数据的唯一标识------用于去掉重复ID

薪水:比较不同城市、和所属领域的薪水区别

工作年限:从时间轴上对比薪资涨幅

数据准备

下载安装好FineBI后,链接数据。FineBI可以直接和数据库进行对接,实时更新数据,以往用excel统计数据的时候,一旦数据需要更新,比如做了8月份的财务报表,到了9月份时,就需要再次花费人力更新数据,十分麻烦,用FineBI就很方便。除此以外,FineBI还提供业务包功能,基于我们的分析主题新建一个业务包,把我本次分析需要用到的数据表存放在业务包里,方便查找。

然后将数据表添加到业务包中,数据表添加支持数据库表,sql数据表,excel数据表,还有自助数据集中的表,这里我把爬来的招聘数据Excel表添加到业务包中

然后将数据表添加到业务包中,数据表添加支持数据库表,sql数据表,excel数据表,还有自助数据集中的表,这里我把爬来的招聘数据Excel表添加到业务包中。

数据清洗加工

数据准备好了,下一步就是对数据进行清洗加工,去掉重复、无效的数据,拿到我们想到的数据,FineBI的处理过程十分方便,自助数据集可以对数据进行求和、平均、排序等一系列的运算

1、选择子集

业务包中添加自助数据集,只选择对数据分析有意义的字段,无意义的字段不勾选,也就是在Excel里面隐藏列。这里我们隐藏公司ID和公司全名,保留职位ID和公司简称还有薪水数据,数据实时预览,

2、脏数据清洗

浏览了以下,发现有几条记录中城市数据缺失,我们直接添加过滤条件,过滤掉空值和异常值

3、薪水上下限分割:

数据集中,因为薪水是以xxK-xxk的文本形式进行存储的,我需要用FineBI新增公式列(类似excel函数)将这些字符进行分割,方便面对薪水进行分析

薪水下限(数值):left( indexofarray ( split (薪水,"-") ,1),find( "K",INDEXOFARRAY( split(薪水,"-") ,1))-1)

薪水上限(含K字符):right ( indexofarray( split(薪水,"-") ,2),len(薪水)- find("K",indexofarray(split(薪水,"-"),2 ) ) )

薪水上限(数值):left((薪水上限(含K字符) ,find"k",薪水上限(含K字符))-1 )

这样就得到每个岗位的数值格式的薪水区间了:

4、岗位平均薪水计算

知道每个岗位的数值格式的薪水区间,我们还可以计算以下每个岗位的平均薪水,新增列:平均薪水=(薪水下限+薪水上限)/2,即可得到每个岗位的平均薪水。

数据可视化分析

数据清洗加工完毕,接下来就是数据可视化分析阶段了,用Finebi做数据可视化十分的简单,拖拖拽拽就可以自动生成图表,而在Excel里,要想作出美观的可视化,就肯定要学会数据透视表,操作过程也十分的繁杂。下面我用Finebi来展示以下数据可视化分析的过程:

1、我们先来看看在哪些城市找到数据分析师工作的机会比较大?

新建组件,将城市拖入横轴,记录数拖入纵轴,并将工作年限拖入颜色,图表就自动生成了

从表中可以看出,在北京数据分析的岗位最多,往后是上海、深圳、杭州、广州;按工作年限要求来看,3-5年的需求量最大,其次是1-3年,这说明数据分析对年轻人需求将更多。

2、看完了数据分析岗位在各城市的需求情况,我们再来看看数据分析师的薪水如何?

新建组件,将城市拖入横轴,平均薪水拖入纵轴,平均薪水进行二次计算,选择求平均值

从上面的结果可以看出,北京的数据分析师平均薪水最高,其次是深圳,上海,杭州。

3、根据工作经验的不同,薪酬是怎样变化的?

以工作年限要求行横轴,平均薪水为纵轴,分析工作年限与平均薪水的关系

从上面的分析结果可以看出,随着工作经验的增长,数据分析师的薪酬也在不断增加。

综合上面三个分析结果,我整理出来以下结论分享给了问我问题的妹子:

1)数据分析这一岗位,有大量的工作机会集中在北上广深以及新一线城市,如果将来去这些城市找工作,可以提高求职成功的条件概率。

2)从待遇上看,数据分析师留在北京,深圳发展是个不错的选择,其次是上海。

3)数据分析是个年轻的职业方向,大量的工作经验需求集中在1-5年。对于数据分析师来说,5年似乎是个瓶颈期,如果在5年之内没有提升自己的能力,大概以后的竞争压力会比较大。

4)随着经验的提升,数据分析师的薪酬也在不断提高,10年以上工作经验的人,能获得相当丰厚的薪酬。

原创声明,本文系作者授权云+社区发表,未经许可,不得转载。

如有侵权,请联系 yunjia_community@tencent.com 删除。

我来说两句

0 条评论
登录 后参与评论

相关文章

  • 一个公式让你真正理解什么是商业智能

    商业智能(BI)是Gartner与1996年提出的,他描述了一些了的概念和方法,通过应用基于事实的支持系统来辅助商业决策的制定。无数历史经验表明,充分利用现有的...

    数据分析的那些事儿
  • 数据分析工具深度评测:Tableau与FineBI,哪个更好用?

    谈起当今最受欢迎的数据分析工具,可能很多人都会想到国外的Tableau和国内的代表自助式工具FineBI,但其实很多人都不知道他们之间的差异,那么这两个产品究竟...

    数据分析的那些事儿
  • 如何用开源bi,打造自己的轻量级bi系统

    对于程序员来说,开源的东西都是好的,别的不说,因为可以自己自己随意开发,毕竟每个人都喜欢自己写的代码嘛,也或者,就是不想花钱哈哈哈哈(扎心了)

    数据分析的那些事儿
  • Oracle使用Scott用户登录

    system、sys、scott,其中system和sys的区别在与能否创建数据库,sys用户登录才可以创建数据库,而scott是给初学者学习的用户,学习者可以...

    用户1208223
  • 全局事务服务 GTS 与 Seata 融合的开始

    Seata(Simple Extensible Autonomous Transaction Architecture)是一款开源的分布式事务解决方案,致力于提...

    用户5397975
  • set用法小结

    set本质上是一棵红黑树,用法也就那么几个,插入删除lowerbound,再就是跌倒器之类的

    attack
  • 文本数据挖掘(Text Mining)

    文本数据挖掘是利用某些方法比如自然语言处理(Natural language processing (NLP))技术把一堆没有结构的数据而处理成有结构的数据的一...

    double
  • K8s集群中的Windows节点,这样搭建快速搞定!

    K8s 1.14版增加了对windows节点的生产级支持,从1.9就有了对windows的实验性支持,灵雀云在多个客户环境有过实践,去除平台相关的内容后整理成文...

    灵雀云
  • 大数据24小时 | 医疗保险公司Clover Health获1.6亿美元融资,网贷平台蓝金所将建企业大数据金库

    旧金山医疗保险公司Clover Health完成1.6亿美元C轮融资 ? 近日,医疗保险公司Clover Health宣布已经完成了由Greenoaks Cap...

    数据猿
  • 在医疗保健领域使健康与物联网建立关系

    医疗保健领域的物联网是一个令人兴奋的新领域,面向更广泛的科技界; 这是一个充满机遇和潜力之地。但这也是一个充满挑战的行业,从业者需要比大多数人更敏感、更投入、更...

    用户1286177

扫码关注云+社区

领取腾讯云代金券