带你来看全国3000所高等院校分布

 #先导入Jupyter lab渲染插件
from pyecharts.globals import CurrentConfig, NotebookType
CurrentConfig.NOTEBOOK_TYPE = NotebookType.JUPYTER_LAB
#如果使用Jupyter notebook 则改为如下代码
#CurrentConfig.NOTEBOOK_TYPE = NotebookType.JUPYTER_NOTEBOOK
from pyecharts.charts import *
from pyecharts.components import Table
from pyecharts import options as opts
from pyecharts.globals import ThemeType

import pyecharts
print(pyecharts.__version__)

1.7.1

# map地图（省份）
c = (
    Map()
    .add("各省高校分布", [list(z) for z in zip(area['所在省'], area['合计'])], "china",label_opts=opts.LabelOpts(is_show=True))
    .set_global_opts(
        title_opts=opts.TitleOpts(title="高校分布-省"),
        visualmap_opts=opts.VisualMapOpts(max_=150),
    )
)
c.width = '1500px'
c.height = '900px'
c.render_notebook()

# map地图（城市）
c = (
    Map()
    .add("各市高校分布", [list(z) for z in zip(city['所在地'], city['合计'])], "china-cities",label_opts=opts.LabelOpts(is_show=False))
    .set_global_opts(
        title_opts=opts.TitleOpts(title="高校分布-城市"),
        visualmap_opts=opts.VisualMapOpts(max_=50),
    )
)
c.width = '1500px'
c.height = '900px'
c.render_notebook()
c.render()

from pyecharts.globals import ThemeType
bar = (
    Bar({"theme": ThemeType.MACARONS})
    .add_xaxis(list(level.所在省))
    .add_yaxis('专科', list(level.专科))
    .add_yaxis('本科', list(level.本科))
    .set_global_opts(title_opts=opts.TitleOpts(title="本科&专科高校数",
                                               title_textstyle_opts=opts.TextStyleOpts(font_style="italic")),
                     #强制显示全部x坐标标签
                     xaxis_opts=opts.AxisOpts(axislabel_opts={"interval":"0"})
                     )
    
)
bar.width = '1500px'
bar.render_notebook()

#计算办学层次中 本科及专科 分布
level_ = df.groupby('办学层次')['学校名称'].count().to_frame('数量').reset_index()
level_

# 本专科分布图
c = (
    Pie()
    .add("", [list(z) for z in zip(level_.办学层次, level_.数量)])
    .set_global_opts(title_opts=opts.TitleOpts(title="本学层次分布"))
    .set_series_opts(label_opts=opts.LabelOpts(formatter="{b}: {c}"))
)
c.width = '1500px'
c.render_notebook()

bar = (
    Bar({"theme": ThemeType.MACARONS})
    .add_xaxis(list(area.所在省))
    .add_yaxis('中外合作办学', list(area.中外合作办学))
    .add_yaxis('内地与港澳台地区合作办学', list(area.内地与港澳台地区合作办学))
    .add_yaxis('民办', list(area.民办))  
    .add_yaxis('公办', list(area.公办))
    .set_global_opts(title_opts=opts.TitleOpts(title="民办&公办高校数",
                                               title_textstyle_opts=opts.TextStyleOpts(font_style="italic")),
                     #强制显示全部x坐标标签
                     xaxis_opts=opts.AxisOpts(axislabel_opts={"interval":"0"})
                     )
    
)
bar.width = '1500px'
bar.render_notebook()

#主管部门为省级单位
gov = pd.pivot_table(df,values='学校名称',index='主管部门',columns='办学层次',aggfunc='count',
               margins=True,margins_name='合计').fillna(0).sort_values(by='合计',ascending=False).reset_index()
#删除行汇总
gov.drop(0,axis=0,inplace=True)
govP = gov[gov['主管部门'].str.endswith(('省','市','区'))]

bar = (
    Bar({"theme": ThemeType.MACARONS})
    .add_xaxis(list(govP.主管部门))
    .add_yaxis('专科', list(govP.专科))  
    .add_yaxis('本科', list(govP.本科))
    .set_global_opts(title_opts=opts.TitleOpts(title="省级主管部门高校数",
                                               title_textstyle_opts=opts.TextStyleOpts(font_style="italic")),
                     #强制显示全部x坐标标签
                     xaxis_opts=opts.AxisOpts(axislabel_opts={"rotate":30,"interval":0})
                     )
    
)
bar.width = '1500px'
bar.render_notebook()

#主管部门为教育单位
gov = pd.pivot_table(df,values='学校名称',index='主管部门',columns='办学层次',aggfunc='count',
               margins=True,margins_name='合计').fillna(0).sort_values(by='合计',ascending=False).reset_index()
#删除行汇总
gov.drop(0,axis=0,inplace=True)
govE = gov[gov['主管部门'].str.contains('教')]

bar = (
    Bar({"theme": ThemeType.MACARONS})
    .add_xaxis(list(govE.主管部门))
    .add_yaxis('专科', list(govE.专科))  
    .add_yaxis('本科', list(govE.本科))
    .set_global_opts(title_opts=opts.TitleOpts(title="教育类主管部门高校数",
                                               title_textstyle_opts=opts.TextStyleOpts(font_style="italic")),
                     #强制显示全部x坐标标签
                     xaxis_opts=opts.AxisOpts(axislabel_opts={"rotate":30,"interval":0})
                     )
    
)
bar.width = '1500px'
bar.render_notebook()

#主管部门为其他单位
gov = pd.pivot_table(df,values='学校名称',index='主管部门',columns='办学层次',aggfunc='count',
               margins=True,margins_name='合计').fillna(0).sort_values(by='合计',ascending=False).reset_index()
#删除行汇总
gov.drop(0,axis=0,inplace=True)
govE = gov[~((gov['主管部门'].str.contains('教'))|(gov['主管部门'].str.endswith(('省','市','区'))))]

bar = (
    Bar({"theme": ThemeType.MACARONS})
    .add_xaxis(list(govE.主管部门))
    .add_yaxis('专科', list(govE.专科))  
    .add_yaxis('本科', list(govE.本科))
    .set_global_opts(title_opts=opts.TitleOpts(title="其他主管部门高校数",
                                               title_textstyle_opts=opts.TextStyleOpts(font_style="italic")),
                     #强制显示全部x坐标标签
                     xaxis_opts=opts.AxisOpts(axislabel_opts={"rotate":30,"interval":0})
                     )
    
)
bar.width = '1500px'
bar.render_notebook()

# 国防七子
df[df.主管部门=='工业和信息化部'].drop('序号',axis=1).reset_index(drop=True)

# 公安系统大学
df[df.主管部门=='公安部'].drop('序号',axis=1).reset_index(drop=True)

# 民族大学
df[df.主管部门=='国家民委'].drop('序号',axis=1).reset_index(drop=True)

# map地图（省份）
c = (
    Map()
    .add("各省高校分布", [list(z) for z in zip(area_42['院校所在地'], area_42['数量'])], "china",label_opts=opts.LabelOpts(is_show=True))
    .set_global_opts(
        title_opts=opts.TitleOpts(title="一流大学建设高校分布-省"),
        visualmap_opts=opts.VisualMapOpts(max_=5),
    )
)
c.width = '1500px'
c.height = '900px'
c.render_notebook()

# 北京 一流大学建设高校
college_42[college_42['院校所在地']=='北京']

# 上海 一流大学建设高校
college_42[college_42['院校所在地']=='上海'].reset_index(drop=True)

# map地图（省份）
c = (
    Map()
    .add("各省高校分布", [list(z) for z in zip(area_95['院校所在地'], area_95['数量'])], "china",label_opts=opts.LabelOpts(is_show=True))
    .set_global_opts(
        title_opts=opts.TitleOpts(title="一流学科建设高校分布-省"),
        visualmap_opts=opts.VisualMapOpts(max_=10),
    )
)
c.width = '1500px'
c.height = '900px'
c.render_notebook()

# 北京 一流学科建设高校
college_95[college_95['院校所在地']=='北京']

# 上海 一流学科建设高校
college_95[college_95['院校所在地']=='上海'].reset_index(drop=True)

#引入需要用到的库
import pandas as pd
import requests
from bs4 import BeautifulSoup

# 从教育部官网获取最新的高校名单
# 简单使用requests + bs4 爬取
lis = []
num = 0
for page in range(1,138):
    url = f'http://www.moe.gov.cn/school/wcmdata/getDataIndex.jsp?listid=10000023&page={page}&keyword='
    headers = {'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/83.0.4103.97 Safari/537.36'}
    re = requests.get(url,headers=headers)    
    
    soup = BeautifulSoup(re.text,'lxml')    
    trs = soup.find_all('tr')
    
    for tr in trs:
        num+=1
        li = {}
        tds = tr.find_all('td')
        li['序号'] = tds[0].text
        li['学校名称'] = tds[1].text
        li['学校标识码'] = tds[2].text
        li['主管部门'] = tds[3].text
        li['所在省'] = tds[4].text
        li['所在地'] = tds[5].text
        li['办学层次'] = tds[6].text
        li['备注'] = tds[7].text
        lis.append(li)
        print(f'\r已采集{num}个学校信息',end=' ')
    
df = pd.DataFrame(lis)

#数据预览
df.head()

# 从阳光高考网站获取各高校
# 在分析网页的时候，发现是标准的table表单形式，刚好可以使用pandas的read_html进行简单的爬取
data = pd.DataFrame()
for i in range(141):
    data_ = pd.read_html(f'https://gaokao.chsi.com.cn/sch/search.do?searchType=1&start={i*20}')[0]
    data = data.append(data_)
    print(f'\r已采集{(i+1)*20}个学校信息',end=' ')
# 由于双一流标识是√，这里替换为数字1方便后续计算
data.replace('',1,inplace=True)
# 重置索引，并删除旧的索引
data = data.reset_index(drop=True)

#数据预览
data.head()

# 由于在两份数据中，一个使用的是英文括号，一个使用的是中文括号，为了方便数据比对，我们统一改为中文括号。
# 将阳光高考院校库院校名称中英文括号改为中文括号
data.院校名称 = data.院校名称.str.replace('(','（').str.replace(')','）')

#筛选出名单列表
dfNotdata = list(set(df.学校名称)-set(data.院校名称))
#isin选取数据
dfDiff = df[df['学校名称'].isin(dfNotdata)]
dfDiff.head()

dfDiff.shape

(24, 8)

# 阳光高考院校库中 华北电力大学情况
data[data.院校名称.str.contains('华北电力大学')]

#筛选出名单列表
dataNotdf = list(set(data.院校名称)-set(df.学校名称))
#isin选取数据
dataDiff = data[data['院校名称'].isin(dataNotdf)]
dataDiff.head()

dataDiff.shape

(102, 9)

# 教育部全国高等学校名单中华北电力大学和北京邮件大学相关关键字学校信息
df[df.学校名称.str.contains('华北电力大学|北京邮电大学')]

# “双一流”标识字段在阳光高考院校库才有，我们用这部分数据进行筛选
a = data.copy(deep=True)
# 由于部分 院校有 分校，我们需要过滤
a.院校名称 = data.院校名称.str.split('（',1,True)[0]
a.drop_duplicates(subset='院校名称',inplace=True)
#42所一流大学建设学校（分校、医学院等过滤）
college_42 = a[(a['一流大学建设高校']==1)&(a.满意度!='--')&(a['院校名称'].str.endswith('学'))].reset_index(drop=True)

print(list(college_42.院校名称))

['北京大学', '中国人民大学', '清华大学', '北京航空航天大学', '北京理工大学', '中国农业大学', '北京师范大学', '中央民族大学', '南开大学', '天津大学', '大连理工大学', '东北大学', '吉林大学', '哈尔滨工业大学', '复旦大学', '同济大学', '上海交通大学', '华东师范大学', '南京大学', '东南大学', '浙江大学', '中国科学技术大学', '厦门大学', '山东大学', '中国海洋大学', '郑州大学', '武汉大学', '华中科技大学', '湖南大学', '中南大学', '国防科技大学', '中山大学', '华南理工大学', '重庆大学', '四川大学', '电子科技大学', '云南大学', '西安交通大学', '西北工业大学', '西北农林科技大学', '兰州大学', '新疆大学']

#95所一流大学建设学校
college_95 = a[(a['一流学科建设高校']==1)&(a.满意度!='--')].reset_index(drop=True)

print(list(college_95.院校名称))

['北京交通大学', '北京工业大学', '北京科技大学', '北京化工大学', '北京邮电大学', '北京林业大学', '北京协和医学院', '北京中医药大学', '首都师范大学', '北京外国语大学', '中国传媒大学', '中央财经大学', '对外经济贸易大学', '外交学院', '中国人民公安大学', '北京体育大学', '中央音乐学院', '中国音乐学院', '中央美术学院', '中央戏剧学院', '中国政法大学', '华北电力大学', '中国矿业大学', '中国石油大学', '中国地质大学', '中国科学院大学', '天津工业大学', '天津医科大学', '天津中医药大学', '河北工业大学', '太原理工大学', '内蒙古大学', '辽宁大学', '大连海事大学', '延边大学', '东北师范大学', '哈尔滨工程大学', '东北农业大学', '东北林业大学', '华东理工大学', '东华大学', '上海海洋大学', '上海中医药大学', '上海外国语大学', '上海财经大学', '上海体育学院', '上海音乐学院', '上海大学', '海军军医大学', '苏州大学', '南京航空航天大学', '南京理工大学', '南京邮电大学', '河海大学', '江南大学', '南京林业大学', '南京信息工程大学', '南京农业大学', '南京中医药大学', '中国药科大学', '南京师范大学', '中国美术学院', '宁波大学', '安徽大学', '合肥工业大学', '福州大学', '南昌大学', '河南大学', '武汉理工大学', '华中农业大学', '华中师范大学', '中南财经政法大学', '湖南师范大学', '暨南大学', '广州中医药大学', '华南师范大学', '广西大学', '海南大学', '西南大学', '西南交通大学', '西南石油大学', '成都理工大学', '四川农业大学', '成都中医药大学', '西南财经大学', '贵州大学', '西藏大学', '西北大学', '西安电子科技大学', '长安大学', '陕西师范大学', '空军军医大学', '青海大学', '宁夏大学', '石河子大学']

# 导入需要用到的库
import numpy as np
#将备注中空值改为 公办类型，用于后续统计
df.备注[df.备注==''] = '公办'
#pyecharts作图时需要去掉省市及自治州等属性标签
df['所在省']=df['所在省'].apply(lambda x:x.replace("省",'').replace("市",''))
df.所在省 = df.所在省.replace(['广西壮族自治区','新疆维吾尔自治区','内蒙古自治区','宁夏回族自治区','西藏自治区'],['广西','新疆','内蒙古','宁夏','西藏'])
df.所在地 = df.所在地.apply(lambda x: x.replace('市','').replace('地区','')
                              .replace('蒙古族藏族自治州','').replace('布依族苗族自治州','')
                              .replace('哈萨克自治州','').replace('白族自治州','')
                              .replace('苗族侗族自治州','').replace('哈尼族彝族自治州','')
                              .replace('土家族苗族自治州','').replace('回族自治州','')
                              .replace('彝族自治州','').replace('朝鲜族自治州','')
                              .replace('布依族苗族自治州','').replace('傣族景颇族自治州','')
                              .replace('藏族羌族自治州','').replace('蒙古自治州','')
                              .replace('壮族苗族自治州','').replace('柯尔克孜自治州','')
                              .replace('傣族自治州','').replace('藏族自治州','')
                              .replace('蒙古族藏族自治州','')
                              )
df.head()

# 计算各省高校数
area = pd.pivot_table(df,values='学校名称',index='所在省',columns='备注',aggfunc='count',
               margins=True,margins_name='合计').fillna(0).sort_values(by='合计',ascending=False).reset_index()
#删除行汇总
area.drop(0,axis=0,inplace=True)

area.head()

#计算各市高校数
city = pd.pivot_table(df,values='学校名称',index='所在地',columns='备注',aggfunc='count',
               margins=True,margins_name='合计').fillna(0).sort_values(by='合计',ascending=False).reset_index()
#删除行汇总
city.drop(0,axis=0,inplace=True)
city.head()

#计算办学层次中 本科及专科 分布
level = pd.pivot_table(df,values='学校名称',index='所在省',columns='办学层次',aggfunc='count',
               margins=True,margins_name='合计').fillna(0).sort_values(by='合计',ascending=False).reset_index()
#删除行汇总
level.drop(0,axis=0,inplace=True)
level.head()

#计算主管部门 分布
gov = pd.pivot_table(df,values='学校名称',index='主管部门',columns='办学层次',aggfunc='count',
               margins=True,margins_name='合计').fillna(0).sort_values(by='合计',ascending=False).reset_index()
#删除行汇总
gov.drop(0,axis=0,inplace=True)
gov.head()

area_42 = college_42.groupby('院校所在地')['院校名称'].count().to_frame('数量').sort_values(by='数量',ascending=False).reset_index()
area_42.head()

area_95 = college_95.groupby('院校所在地')['院校名称'].count().to_frame('数量').sort_values(by='数量',ascending=False).reset_index()
area_95.head()