基于pandas、matplotlib、pyecharts的人工智能相关职位招聘市场数据分析

容大教育人工智能班数据分析阶段实战项目:人工智能相关职位数据分析 小组成员:雷坤、韦民童、李波、陶宇 项目周期5天,数据分析为第2天的需求。

0.下载数据集

小组成员利用爬虫收集各大招聘网站的人工智能相关岗位信息,小组分工:

姓名

网站

网址

雷坤

中华英才网

www.chinahr.com

李波

智联招聘

www.zhaopin.com

韦民童

拉勾网

www.lagou.com

陶宇

前程无忧51job

www.51job.com

本文中使用的数据集是前程无忧51job网站爬虫收集的职位信息。 数据集下载链接: https://pan.baidu.com/s/1XyKcm_KlV5jO6aQSQMWb7A 密码: wyar

1.观察数据

1.1解压压缩文件

将压缩文件解压,如下图所示:

image.png

1.2打开jupyter notebook

人工智能职位信息_前程无忧51job文件夹同级目录下打开powershell powershell输入命令并运行:jupyter notebook

image.png

1.3新建dataAnalysis.ipynb文件

新建ipynb文件.png

新建ipynb文件完成后重命名,重命名按钮位置如下图所示:

image.png

1.4.查看数据

import pandas as pd
df = pd.read_csv('人工智能.csv', engine='python', encoding='utf8')
print(df.shape)
print(len(df.columns), df.columns)
df.head()

上面一段代码的运行结果如下:

image.png

2.数据处理

2.1 删除空行

print('删除空行前共有%d行' %len(df))
df = df.dropna(how='all')
print('删除空行后共有%d行' %len(df))

上面一段代码的运行结果如下:

删除空行前共有14383行 删除空行后共有14304行

从上面的运行结果可以看出,一共删除了14383-14304=79行。

3.绘制词云图

3.1 词频统计

利用jieba库进行中文分词,jieba.cut方法的返回值数据类型为生成器generator。

import pandas as pd
import jieba

df = pd.read_csv('人工智能.csv', engine='python', encoding='utf8')
allText = ' '.join(df.jobRequirement.dropna().map(str.lower))
top200_keyword = pd.value_counts(list(jieba.cut(allText))).iloc[:200]
print(top200_keyword.iloc[:50])

通过上面一段代码运行可以查看分词后统计词频排名前50的关键词。 本文作者通过分词统计词频和手动添加关键词的方法形成关键词词库。

3.2 下载人工智能关键词词库

此词库是本文作者观察数据后根据现实情况编辑的词库,只有43个关键词。 读者绘制词云图时可以自行尝试多添加关键词。 关键词词库下载链接: https://pan.baidu.com/s/1o-yrnZe6cyqJaYTuLcR1HA 密码: q6yi 下载后将词库放到人工智能职位信息_前程无忧51job文件夹中。

3.3 编写代码

利用str对象的count方法可以统计字符串中某个子字符串出现的次数,这个方法效率非常高。

from pyecharts import WordCloud
import pandas as pd

def drawWordCloud(allText):
    with open('keyword.txt', encoding='utf-8') as file:
        keyword_list = [k.strip() for k in file.readlines()]
    count_list = []
    for keyword in keyword_list:
        count_list.append(allText.count(keyword))
    top20_keyword = pd.Series(count_list, index=keyword_list).sort_values(ascending=False).iloc[:10]
    print(top20_keyword)
    wordcloud = WordCloud(width=900, height=600)
    wordcloud.add('', keyword_list, count_list, word_size_range=[20,100])
    return wordcloud

df = pd.read_csv('人工智能.csv', engine='python', encoding='utf8')
allText = ' '.join(df.jobRequirement.dropna().map(str.lower))
print('字符串allText变量的长度:',len(allText))
drawWordCloud(allText)

上面一段代码的运行结果如下:

字符串allText变量的长度: 7164775 人工智能 13262 培训 12148 算法 6389 大数据 5486 科技 5249 计算机 5145 互联网 4954 上海 3597 北京 3139 机器学习 2681 dtype: int64

绘制的词云图:

词云图.png

分析结论: 人工智能培训很火热,工作中对算法要求多,与大数据相关度高。

4.全国城市的岗位需求量分析

4.1 数据处理

招聘信息当中的工作地点信息在tags字段中,该字段以“|”为分隔符,包含工作地点workPlace、工作经验要求experienceRequirement、学历要求educationRequirement、招聘人数、发布时间publishTime这5个字段。 工作地点workPlace以“-”为分隔符,包含市和区。

import pandas as pd

df = pd.read_csv('人工智能.csv', engine='python', encoding='utf8')
workPlace = df.tags.dropna().map(lambda x:x.split('|')[0].strip())
city = workPlace.map(lambda x:x.split('-')[0])
region = workPlace.map(lambda x:x.split('-')[1] if len(x.split('-'))>1 else '')

4.2 统计地区岗位需求量

city_jobCount = city.value_counts(ascending=False).iloc[:10]
city_jobCount

上面一段代码的运行结果如下:

上海 3027 北京 1835 深圳 1647 广州 1259 杭州 1158 成都 553 武汉 545 南京 448 苏州 406 石家庄 290 Name: tags, dtype: int64

4.3 数据可视化-柱形图

import matplotlib.pyplot as plt
plt.rcParams['font.sans-serif']=['SimHei'] #用来正常显示中文标签
plt.rcParams['axes.unicode_minus']=False #用来正常显示负号
plt.figure(figsize=(10,6))
city_jobCount.plot(kind='bar')
plt.show()

上面一段代码的运行结果如下:

柱形图.png

4.4 分析结论

从上面的运行结果可以看出,人工智能相关职位上海需求量最高,之后分别是北京、深圳、广州、杭州、成都等城市。

5.上海地区的岗位需求量分析

5.1 统计上海各区岗位需求量

import pandas as pd

df = pd.read_csv('人工智能.csv', engine='python', encoding='utf8')
workPlace = df.tags.dropna().map(lambda x:x.split('|')[0].strip())
city = workPlace.map(lambda x:x.split('-')[0])
region = workPlace.map(lambda x:x.split('-')[1] if len(x.split('-'))>1 else '')
shanghai_region = region[city=='上海']
region_count_series = shanghai_region.value_counts().drop([''])
region_count_series

上面一段代码的运行结果如下:

浦东新区 579 徐汇区 347 嘉定区 266 杨浦区 224 静安区 162 闵行区 148 宝山区 131 普陀区 106 黄浦区 103 松江区 99 奉贤区 77 长宁区 72 虹口区 63 青浦区 54 金山区 28

5.2 数据可视化-热力图

安装pyecharts库绘制热力图需要的中国城市地图库,cmd命令:pip install echarts-china-cities-pypkg

from pyecharts import Map

map1 = Map('上海各区岗位需求量', width=900, height=800)
attr = region_count_series.index
value = region_count_series.values/region_count_series.max() * 100
map1.add('', attr, value, maptype='上海', is_visualmap=True, is_label_show=True)
map1

上面一段代码的运行结果如下:

热力图.png

5.3 数据可视化-饼图

from pyecharts import Pie

attr = region_count_series.index
value = region_count_series.values
pie = Pie('上海各区岗位需求占比', title_pos='center', width = 900, height=600)
pie.add('', attr, value, is_label_show=True, legend_pos='left', legend_orient="vertical",)
pie

上面一段代码的运行结果如下:

饼图.png

5.4 分析结论

从上面的运行结果可以看出,上海市的人工智能相关职位需求量浦东新区最高,之后分别是徐汇区、嘉定区、杨浦区、静安区等。

6.学历要求分析

该数据分析部分由李波完成,使用pyecharts库绘制饼图。 数据集为智联招聘网站爬虫收集的数据。 数据集下载链接: https://pan.baidu.com/s/1W5F9OZph3PnunAahj68fUw 密码: bf8t

6.1 定义绘制饼图函数

定义drawPie函数,需要传入2个参数,第1个参数series是传入的可迭代对象,第2个参数title是图的标题。

from pyecharts import Pie
import pandas as pd

def drawPie(series, title):
    series = pd.Series(series)
    count_series = series.value_counts(ascending=False)
    count_series = count_series[count_series/count_series.sum()>0.01]
    pie = Pie(title, title_pos='center', width=900, height=600)
    pie.add("", count_series.index, count_series.values, 
            radius=[30, 75],       
            is_label_show=True, 
            legend_orient='vertical',        
            legend_pos='left') 
    return pie

6.2 数据处理和可视化-饼图

df = pd.read_excel('人工智能_李波.xls')
df.columns = [k.strip() for k in df.columns]
drawPie(df.educationRequirement, '学历要求占比饼图')

上面一段代码的运行结果如下:

学历要求占比饼图.png

6.3 分析结论

人工智能相关岗位的学历要求占比最大的为大专,明显违背实际情况。 造成此结果的可能原因如下: 1.智联招聘网站对于招聘信息的审核不严格。 2.智联招聘网站搜索的返回结果混乱,不能给求职者带来有效信息。 3.没有做删除非人工智能岗位信息条目的数据清洗操作。

6.4 前程无忧51job网站对比

项目第4天重新进行了数据处理 前程无忧51job网站经过数据处理的数据集下载链接: https://pan.baidu.com/s/1KGvJ8ZtN37kL5y05-dC-Kg 密码: wa92

import pandas as pd

df = pd.read_csv('51job.csv')
drawPie(df.educationRequirement, '学历要求占比饼图')

上面一段代码的运行结果如下:

学历要求占比饼图.png

通过上面2个网站的对比分析,51job网站的职位学历要求更符合人工智能岗位的实际情况。

6.5 拉勾网对比

下面代码成功运行的前提是6.1节的画饼图函数drawPie先运行。 拉勾网数据集下载链接: https://pan.baidu.com/s/1nxaVTsPKttgleZ5oY1139w 密码: 7cm6 在数据集文件夹中编辑代码文件,代码如下:

keyword_list = ['NLP', '机器学习', '人工智能', '人脸识别', '深度学习',
               '算法研究员', '图像识别', '无人驾驶', '语音识别']
fileName_list = [k+'.csv' for k in keyword_list]
df_list = [pd.read_csv(open(fileName, encoding='utf8')) for fileName in fileName_list]
df_all = pd.concat(df_list)
df_all = df_all.reset_index(drop=True)
drawPie(df_all['学历要求'].str.strip('及以上'), '学历要求占比饼图-拉勾网')

上面一段代码的运行结果如下:

学历要求占比饼图-拉勾网.png

对比分析结论: 1.51job网站的职位学历要求更符合人工智能岗位的实际情况。 2.拉勾网的职位学历要求更高,可以在拉勾网找较高标准的工作。

7.人工智能相关职位的薪资对比

数据集是拉勾网人工智能相关职位招聘信息,即6.5节的数据集。

7.1 数据处理

import pandas as pd 

keyword_list = ['NLP', '机器学习', '人工智能', '人脸识别', '深度学习',
               '算法研究员', '图像识别', '无人驾驶', '语音识别']
fileName_list = [k+'.csv' for k in keyword_list]
df_list = [pd.read_csv(open(fileName, encoding='utf8')) for fileName in fileName_list]
salary_list = [df['薪资区间'].dropna() for df in df_list]  
salary_list2 = [salary[salary.str.contains('-')] for salary in salary_list]
salary_list3 = [salary.map(lambda x:x.lower().replace('k','000')) for salary in salary_list2]

7.2 查看数据

for salary in salary_list3:
    print(len(salary))

上面一段代码的运行结果如下:

445 897 448 450 447 448 899 235 445

7.3 数据转换

获取各种人工智能相关职位薪酬的较低值、较高值、平均值。 对于列表推导式、匿名函数要比较熟练才能看懂下面的代码。 Series对象的map方法需要传入一个参数,参数数据类型为函数对象,返回值数据类型也为Series。 Seies对象的quantile方法可以得到从小到大排序位置的数,例如quantile(0.5)得到从小到大排序50%位置的数,即中位数;quantile(0.25)得到从小到大排序25%位置的数,即下四分位数;quantile(0.75)得到从小到大排序75%位置的数,即上四分位数。

import numpy as np
salaryLow_list = [salary.map(lambda x:int(x.split('-')[0])).quantile(0.5) for salary in salary_list3]
salaryHigh_list = [salary.map(lambda x:int(x.split('-')[1])).quantile(0.5) for salary in salary_list3]
salaryAvg_list = [salary.map(lambda x:np.average([int(k) for k in x.split('-')])).quantile(0.5) for salary in salary_list3]

7.4 数据可视化-柱状图

import matplotlib.pyplot as plt
plt.rcParams['font.sans-serif']=['SimHei'] #用来正常显示中文标签
plt.rcParams['axes.unicode_minus']=False #用来正常显示负号
plt.figure(figsize=(18,8))
min_x = range(1, 42, 5)
max_x = range(2, 43, 5)
avg_x = range(3, 44, 5)
plt.bar(min_x, salaryLow_list, color='b', label='薪酬较低值')
plt.bar(max_x, salaryHigh_list, color='r', label='薪酬较高值')
plt.bar(avg_x, salaryAvg_list, color='g', label='薪酬平均值')
plt.xticks(range(2, 58, 5), keyword_list, fontsize=16)
plt.xlabel('人工智能相关职位', fontsize=12)
plt.ylabel('薪酬', fontsize=20)
plt.legend(fontsize=16)
plt.show()

上面一段代码的运行结果如下:

各种职位对比柱形图.png

7.5 取薪酬平均值作图

import numpy as np
salaryLow_list = [salary.map(lambda x:int(x.split('-')[0])).mean() for salary in salary_list3]
salaryHigh_list = [salary.map(lambda x:int(x.split('-')[1])).mean()  for salary in salary_list3]
salaryAvg_list = [salary.map(lambda x:np.average([int(k) for k in x.split('-')])).mean()  for salary in salary_list3]

import matplotlib.pyplot as plt
plt.rcParams['font.sans-serif']=['SimHei'] #用来正常显示中文标签
plt.rcParams['axes.unicode_minus']=False #用来正常显示负号
plt.figure(figsize=(18,8))
min_x = range(1, 42, 5)
max_x = range(2, 43, 5)
avg_x = range(3, 44, 5)
plt.bar(min_x, salaryLow_list, color='b', label='薪酬较低值')
plt.bar(max_x, salaryHigh_list, color='r', label='薪酬较高值')
plt.bar(avg_x, salaryAvg_list, color='g', label='薪酬平均值')
plt.xticks(range(2, 44, 5), keyword_list, fontsize=16)

plt.xlabel('人工智能相关职位', fontsize=12)
plt.ylabel('薪酬', fontsize=20)
plt.legend(fontsize=16)
plt.show()

上面一段代码的运行结果如下:

各种职位对比柱形图2.png

从上面的运行结果可以看出,采用数据的平均值和中值作图相差不大,比较具有可信度。 结论如下: 1.9种人工智能相关职位中,NLP的薪资待遇最高 2.深度学习、算法研究员的薪资待遇也不错 3.人工智能相关职位的较低薪资在1.5万左右 4.人工智能相关职位的平均薪资在2万左右 5.人工智能相关职位的较高薪资在3万左右

8.项目经理心得

1.分配给组员的需求要明确 2.表格名字段名统一 3.说明文档需要配图

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏java工会

每个程序员要注意的 9 种反模式

有一个健康的自我批评对于专业和个人成长是很重要的。对于编程而言,自我批评的意义就是需要能查明设计中、代码中、开发中和行为中的无效或反效果的模式。这就是为什么反面...

912
来自专栏Python中文社区

Python数据分析之基情的择天记

專 欄 ❈ 罗罗攀,Python中文社区专栏作者 专栏地址: http://www.jianshu.com/u/9104ebf5e177 ❈ 人一生都可能无...

2226
来自专栏我是攻城师

2015年8月 TIOBE 编程语言排行榜单 笑傲的java

28612
来自专栏牛客网

秋招时间规划,知识点汇总,以及面试总结一、知识储备二、面试问题三、心态变化四、总结

秋招已结束,作为一个平时潜水的牛友,很感激牛客网和广大牛友们。在我无知时,给与我知识;在我烦恼时,给与我慰藉;现在自己也拿到了心仪的offer,就简单写写这段时...

40711
来自专栏PHP在线

编程命名看编程质量问题

很多人以为提高编码质量,需要很多激动人心的创新,需要明显的飞跃,这也许对,但我个人感觉项目中提高编码质量是个水磨功夫,要一步步积累,方法论大多时候帮助不大。 这...

3434
来自专栏诸葛青云的专栏

为什么C++比C要麻烦?程序员这样回答,终于知道他为什么单身了

同样衍生出来的还有一个小故事:情人节,有人看到C一个人喝酒,便问:你的好哥们C++、Java、Python他们呢?

780
来自专栏程序员宝库

比较优雅地编码

命名很重要,随便一本逻辑学教材(如果读者有兴趣,此处推荐《逻辑学导论》)里都会有长篇大论来讨论命名的问题,我国古代在人才辈出的百家争鸣时期曾经出现过一个学派叫“...

1423
来自专栏java一日一条

Java程序员的错

这些年来,在我见过的各种 Java 代码中,我发现这最大的问题是,写代码的人痴迷于把自己当作架构师。他们很喜欢这样,在我阅读他们的代码时,经常会发现这些代码与其...

1193
来自专栏java工会

科大讯飞人工智能方向的一次面试经历

2685
来自专栏风口上的猪的文章

终于,我也要出一本C#的书了 - 我的写作历程与C#书单推荐

我于2012年3月开始工作,到现在马上就满六年了。这六年里,我从一个连Sql server是什么都不知道,只会写最简单的c#的程序员开始做起,一步一步从一个籍籍...

1424

扫码关注云+社区

领取腾讯云代金券