Python+BI分析5000条招聘数据，原来数据分析工作在这儿最好找

这两年的大数据热潮带火了数据分析这个职业，很多人想转行干数据分析，但是又不知道现在这个行业的求职环境和前景如何，动了心却不敢贸然行动。

前两天有个干运营的妹子找我聊天，也是问我数据分析岗位前景的问题，看在妹子长得实在好看的份上，我花了一晚上时间，去智联招聘上面爬了一下数据分析岗位的招聘数据，对数据分析岗位的薪水，需求情况，以及要求的工作年限做了个分析。

python数据爬取我就不多说了，可以参考网上的代码，我一共爬了5000条数据

拿到数据后，选择工具进行数据分析，一提到分析工具，很多人都会想到用Excel，我刚入行的时候也是“Excel打遍天下”，但Excel数据清洗和计算效率低下，需要进行大量重复性、低附加值的人工操作，而且要做好看的图表得花很多时间研究功能，遇到大数据量就卡的不行。后来我了解到了自助分析工具FineBI,从此放弃了Excel，这篇我就用FineBI来给大家展示一个完整的分析过程：

数据分析的步骤：

1、提出问题——明确数据分析目的

2、理解数据——理解数据列名的意义

3、数据清洗——统一格式内容

4、构建模型——思考用什么样的表现形式把数据呈现出来

5、数据可视化——把数据转化成图

提出问题

首先要明确这次数据分析的目的是什么？也就是为了解决什么问题？（提出的问题要能用很明确的指标和数字来衡量，切勿模棱两可）

提出问题： 1、在哪些城市找到数据分析师工作的机会比较大？ 2、数据分析师的薪水如何？ 3、根据工作经验的不同，薪酬是怎样变化的？

理解数据

接下来要理解表格中的各个字段（列名）表示什么意思：

Python+BI分析5000条招聘数据，原来数据分析工作在这儿最好找

城市：用于比较不同城市对数据分析师的需求如何

职位所属：分析以后的工作岗位

职位ID：表示职位的唯一表示，也就是每一行数据的唯一标识------用于去掉重复ID

薪水：比较不同城市、和所属领域的薪水区别

工作年限：从时间轴上对比薪资涨幅

数据准备

下载安装好FineBI后，链接数据。FineBI可以直接和数据库进行对接，实时更新数据，以往用excel统计数据的时候，一旦数据需要更新，比如做了8月份的财务报表，到了9月份时，就需要再次花费人力更新数据，十分麻烦，用FineBI就很方便。除此以外，FineBI还提供业务包功能，基于我们的分析主题新建一个业务包，把我本次分析需要用到的数据表存放在业务包里，方便查找。

然后将数据表添加到业务包中，数据表添加支持数据库表，sql数据表，excel数据表，还有自助数据集中的表，这里我把爬来的招聘数据Excel表添加到业务包中

Python+BI分析5000条招聘数据，原来数据分析工作在这儿最好找

然后将数据表添加到业务包中，数据表添加支持数据库表，sql数据表，excel数据表，还有自助数据集中的表，这里我把爬来的招聘数据Excel表添加到业务包中。

Python+BI分析5000条招聘数据，原来数据分析工作在这儿最好找

数据清洗加工

数据准备好了，下一步就是对数据进行清洗加工，去掉重复、无效的数据，拿到我们想到的数据，FineBI的处理过程十分方便，自助数据集可以对数据进行求和、平均、排序等一系列的运算

1、选择子集

业务包中添加自助数据集，只选择对数据分析有意义的字段，无意义的字段不勾选，也就是在Excel里面隐藏列。这里我们隐藏公司ID和公司全名，保留职位ID和公司简称还有薪水数据，数据实时预览，

Python+BI分析5000条招聘数据，原来数据分析工作在这儿最好找

2、脏数据清洗

浏览了以下，发现有几条记录中城市数据缺失，我们直接添加过滤条件，过滤掉空值和异常值

Python+BI分析5000条招聘数据，原来数据分析工作在这儿最好找

3、薪水上下限分割：

数据集中，因为薪水是以xxK-xxk的文本形式进行存储的，我需要用FineBI新增公式列（类似excel函数）将这些字符进行分割，方便面对薪水进行分析

薪水下限（数值）：left( indexofarray ( split (薪水,"-") ,1),find( "K",INDEXOFARRAY( split(薪水,"-") ,1))-1)

薪水上限（含K字符）：right ( indexofarray( split(薪水,"-") ,2),len(薪水)- find("K",indexofarray(split(薪水,"-"),2 ) ) )

薪水上限（数值）：left((薪水上限（含K字符） ,find"k",薪水上限（含K字符）)-1 )

这样就得到每个岗位的数值格式的薪水区间了：

Python+BI分析5000条招聘数据，原来数据分析工作在这儿最好找

4、岗位平均薪水计算

知道每个岗位的数值格式的薪水区间，我们还可以计算以下每个岗位的平均薪水，新增列：平均薪水=(薪水下限+薪水上限)/2，即可得到每个岗位的平均薪水。

Python+BI分析5000条招聘数据，原来数据分析工作在这儿最好找

数据可视化分析

数据清洗加工完毕，接下来就是数据可视化分析阶段了，用Finebi做数据可视化十分的简单，拖拖拽拽就可以自动生成图表，而在Excel里，要想作出美观的可视化，就肯定要学会数据透视表，操作过程也十分的繁杂。下面我用Finebi来展示以下数据可视化分析的过程：

1、我们先来看看在哪些城市找到数据分析师工作的机会比较大？

新建组件，将城市拖入横轴，记录数拖入纵轴，并将工作年限拖入颜色，图表就自动生成了

Python+BI分析5000条招聘数据，原来数据分析工作在这儿最好找

从表中可以看出，在北京数据分析的岗位最多，往后是上海、深圳、杭州、广州；按工作年限要求来看，3-5年的需求量最大，其次是1-3年，这说明数据分析对年轻人需求将更多。

2、看完了数据分析岗位在各城市的需求情况，我们再来看看数据分析师的薪水如何？

新建组件，将城市拖入横轴，平均薪水拖入纵轴，平均薪水进行二次计算，选择求平均值

Python+BI分析5000条招聘数据，原来数据分析工作在这儿最好找

从上面的结果可以看出，北京的数据分析师平均薪水最高，其次是深圳，上海，杭州。

3、根据工作经验的不同，薪酬是怎样变化的？

以工作年限要求行横轴，平均薪水为纵轴，分析工作年限与平均薪水的关系

Python+BI分析5000条招聘数据，原来数据分析工作在这儿最好找

从上面的分析结果可以看出，随着工作经验的增长，数据分析师的薪酬也在不断增加。

综合上面三个分析结果，我整理出来以下结论分享给了问我问题的妹子：

1）数据分析这一岗位，有大量的工作机会集中在北上广深以及新一线城市，如果将来去这些城市找工作，可以提高求职成功的条件概率。

2）从待遇上看，数据分析师留在北京，深圳发展是个不错的选择，其次是上海。

3）数据分析是个年轻的职业方向，大量的工作经验需求集中在1-5年。对于数据分析师来说，5年似乎是个瓶颈期，如果在5年之内没有提升自己的能力，大概以后的竞争压力会比较大。

4）随着经验的提升，数据分析师的薪酬也在不断提高，10年以上工作经验的人，能获得相当丰厚的薪酬。