教程 | 中国酷炫地图,大神教你用Python一边爬一边画

为什么是Python?

先来聊聊为什么做数据分析一定要用Python或R语言。编程语言这么多种,Java, PHP都很成熟,但是为什么在最近热火的数据分析领域,很多人选择用Python语言?

数据分析只是一个需求,理论上来讲,任何语言都可以满足任何需求,只是麻烦与简易之别。Python这门语言诞生也相当之早,它的第一个版本是26年前发表的,曾经(或者说当前)也被用于web开发,但是就流行程度来说,远远干不过Java和PHP。东方不亮西方亮,在与Java干仗失败的这20几年时光里,Python练就了一身独门武艺,是Java和PHP远远不及的(当然以后是不是能追得上来,目前还不好说)。你要说做个博客网站,Python的特长不在这里,PHP和Java也是分分钟的事情。你要说做个BBS网站,做个电商网站,PHP手到擒来。Python在这些方面和Java或者PHP竞争,基本就是作死的节奏,虽然也有django这样的框架,但流行程度远远不及其他语言。但在这些年默默的失败背后,有一帮研究人员用Python干出了一些惊天地泣鬼神的神器,使Python在数据研究领域做到了除了R语言以外基本无人能及的地步。

Jupyter

首先,第一神器是Jupyter。如果你是第一次使用,可能搞不清楚它的开发者做这么个鬼东西出来干什么,说它是博客系统也不像,说它是web服务器也不像,但它就是有用。因为我们传统的web开发首先想的就是面向公众,你做一个服务器就是要服务成千上万浏览器的,当然Jupyter也可以服务众多浏览器,但它更多的还是方便研究人员,对研究人员来说简直是太方便了,你把代码像写文章一样直接写在输入框里,然后在本页面直接就看到了这个代码的结果,随时修改,随时展现,文码混排,是Markdown的一个增强版,毕竟Markdown还只能显示文字,最多再加上一些图片,而Jupyter是可以直接运行Python代码的。当然,也有些人试图在Jupyter里运行PHP或Java代码,但显然成不了气候。因为Python这个语言天生就是脚本语言,可能将来唯一有希望往里移植的就是Javascript,这货也是一个脚本语言。脚本语言的好处就是不用编译,一行一个结果。纵观计算机语言发展历史,就是一个从繁到简的过程,C语言需要编译+链接才能运行,Java只要javac一下,把编译和链接合二为一,PHP更简单,直接运行就行了,连编译都省了。但是还不够直接,因为还要编写一个.php文件存盘,然后才能运行,到了Python以及其它脚本语言这里,可以直接在壳里运行,但最大的问题是运行可以运行,无法保存,要保存就又要跟传统方式一样,找个编辑器来,或者vi,存成文件以后才可以运行。Jupyter最大的优点就是:它本身还是一个外壳环境,可以运行脚本,但同时也帮你自动把这些脚本代码保存了下来,不但保存脚本代码,并且你插在脚本代码当中的所有注释不是普通注释,而是各种格式化的Markdown都一并帮你保存下来,并且可以随时修改。所以它兼具了脚本外壳和文件管理系统的优点,从此你开发Python代码再也不用先在IDE里写好代码,然后再到终端里去运行,而直接在一个web页面上就全部搞定了。Java有这样的工具吗?PHP有这样的工具吗?没有,所以我们必须选择Python。

Pandas

第二神器是Pandas。如果我让你读取一个csv文件,然后求每一列数据的平均值,最大值,最小值,方差,用Java或PHP怎么做?你首先要fopen一个文件,然后一行一行读进来,再给它整个数据结构,然后弄个循环计算,最后你可能还要fclose这个文件。总之代码一坨,麻烦死。而Python语言因为有Pandas这个神器,一行代码搞定:

df = pd.read_csv('a.csv')

行了,从此以后,df就是这个DataFrame,它本身就是一个强大的数据结构,也可以把它理解成mysql数据库中的一张表吧,各种增删改查,求总和,求平均都是一行代码的事情。所以有这样强大的库,研究人员有什么理由选择Java?

scikit-learn

第三神器scikit-learn,一般缩写为sclearn,各种机器学习算法,基本上只要你能想得到的,线性回归,逻辑回归,SVM,随机森林,最近邻居等等等等,各种算法全部在这里面(http://scikit-learn.org/stable/user_guide.html),简而言之,只有你想不到,没有它做不到,不详述。所以这就是为什么玩机器学习必选Python的原因,你给我找一个Java或者PHP有这样多种算法的库来?

matplotlib

第四神器是matplotlib。如果我让你根据上面csv文件里的信息,画一个图,用Java该怎么做?你当然会去找第三方插件库,然后又是一通折腾,终于把图做出来,然后编译,然后运行。如果我要改配色呢?如果我要求画地图呢?如果要画热力图呢?那个麻烦就不是一星半点,而对于matplotlib来说,简直就是小菜一碟。简单的直方图就不说了,下面重点介绍如何用matplotlib配合Basemap画一个中国地图。

安装Basemap

先安装相应的组件。我假定你已经都安装好了Python以及Jupyter等等。如果没有安装的话,就去尝试一下brew install python3和brew install jupyter吧,网上有很多教程。

然后你需要用pip3 install很多我们下面可能需要用到的库。但是因为我们要用一个叫做Basemap的库,而这个库没有办法用简单的pip3 install安装,所以稍多两个步骤:

brew install geos 
pip3 install https://github.com/matplotlib/basemap/archive/v1.1.0.tar.gz

1

开始画图

启动Jupyter之后,我们还是本着从最简单的代码开始。先画一个世界地图:

import matplotlib.pyplot as plt
from mpl_toolkits.basemap import Basemap

plt.figure(figsize=(16,8))
m = Basemap()
m.drawcoastlines()

plt.show()

前面两行引入相应的库,真正的代码就4行,够简单吧。第1行甚至可以不写,它定义了图的大小。第2行我们创建一个地图,第3行把海岸线画上,第4行显示这个地图,就是这样:

你用Java的4行代码画一个地图出来?

然后我们开始画上国家,又是1行代码:

m.drawcountries(linewidth=1.5)

就变成了这样:

用Java可能吗?用PHP可能吗?

如果我们想显示中国地图,只需要在创建Basemap时指定一下经纬度就行了:

m = Basemap(llcrnrlon=73, llcrnrlat=18, urcrnrlon=135, urcrnrlat=53)

然后就得到了中国地图:

看上去有点变形,这是因为我们没有添加任何投影的原因,Basemap提供24种不同的投影方式,你可以自己一个个试一下,比较常用的是兰勃特投影,我们添加一下:

m = Basemap(llcrnrlon=77, llcrnrlat=14, urcrnrlon=140, urcrnrlat=51, projection='lcc', lat_1=33, lat_2=45, lon_0=100)

这次终于看上去比较正常了:

我们想加上省的边界怎么办呢?Basemap缺省的包里没有中国的省区,只有美国的州,毕竟是美国人做的嘛。不过好在世界很大,有专门的国际组织干这事,在这里(https://gadm.org/download_country_v3.html) 你可以下载全世界任何一个国家的行政区划Shape文件,然后我们给它加上:

m.readshapefile('CHN_adm_shp/CHN_adm1', 'states', drawbounds=True)

然后就得到了下图:

再往后,你还可以往图上改颜色啦,写数字啦,这些就留待你研究吧。总之,我想说的是,用Python画地图真的超容易。

最后再为Java和PHP美言几句:大家分工不同,Java和PHP虽然做这样的数字研究不是很方便,但还是非常适合web开发的,而Python在这方面并不适合。所以通常的做法是:首先用Python验证算法,经过一系列复杂的计算,把算法确定下来之后,当要应用到web上的时候,再用Java或者PHP把最终形成的结论重写一遍,这样就能充分利用各种语言的优势。

2

上色

延续上一次的代码,我们这次还是只增加5行代码:

from matplotlib.patches import Polygon

ax = plt.gca()
for nshape, seg in enumerate(m.states):
    poly = Polygon(seg, facecolor='r')
    ax.add_patch(poly)

在展示结果之前,稍微解释一下。第2行plt.gca,函数名看上去很诡异,是因为Python里大量使用了缩写,这个gca就是Get Current Axes的缩写,实际上就是要获得当前图形的座标轴。然后我们开始一个循环,把图形文件中各个省的多边形取出来,给它一个颜色,在这里我们统一放上红色,也就是Red的缩写r,然后把这个多边形放在我们图形的座标轴上,然后就得到了下图:

糟糕,怎么能少了台湾呢?在此郑重声明:台湾是中华人民共和国不可分割的领土!加入台湾的Shape文件,然后循环一下:

m.readshapefile('TWN_adm_shp/TWN_adm0', 'taiwan', drawbounds=True)
for nshape, seg in enumerate(m.taiwan):
    poly = Polygon(seg, facecolor='r')
    ax.add_patch(poly)

好了,这下祖国山河一片红,看上去正确多了。

接下来,你还可以把各个省的名字打出来看一下,具体代码就不解释了:

for shapedict in m.states_info:
    statename = shapedict['NL_NAME_1']
    p = statename.split('|')
    if len(p) > 1:
        s = p[1]
    else:
        s = p[0]
    print(s)
for shapedict in m.taiwan_info:
    s = shapedict['NAME_CHINE']
    print(s)

结果如下:

安徽
北京
重庆
福建
福建
福建
...

3

数据

接下来我们去国家统计局搞点数据

(http://www.stats.gov.cn/tjsj/pcsj/rkpc/6rp/indexce.htm),第六次全国人口普查数据可以直接下载Excel文件,略作修改,导出成csv文件,用我们上一课讲的方法,一句话读取进来:

df = pd.read_csv('chnpop.csv')

直接输出,大概是下面这个样子:

4

渲染

好了,数据也有了,我们终于要开始做一些激动人心的事情了。我们希望根据各省人口的多少用深浅不同的颜色为各个省份染色,那么首先第一步,我们需要选择一个调色板,也就是色彩映射表colormap,为此,matplotlib为你准备了数不胜数的选择,我们随便选择一款国旗色红黄色调的吧:

cmap = plt.cm.YlOrRd

然后我们把每个省的数据映射到colormap上:

colors[s] = cmap(np.sqrt((pop - vmin) / (vmax - vmin)))[:3]

最后,我们把各个省的颜色描在地图上:

color = rgb2hex(colors[statenames[nshape]])
poly = Polygon(seg, facecolor=color, edgecolor=color)

哒哒,我们的全国人口数量热力图就完成了!可以看到河南、四川、广东、山东几个省的颜色比较深,说明这几个省的人口总数最多,而西藏颜色最浅,代表这里的人口总数最少。

这里只是简单地举了一个例子,你还可以把各省的人口总数除以面积,得到人口密度数据,你还可以把各省的经济总量画在图上,总之,有了这个入门的方法,一切就都简单了呢。

最后,附上完整的代码供大家参考。

import matplotlib.pyplot as plt
from mpl_toolkits.basemap import Basemap
from matplotlib.patches import Polygon
from matplotlib.colors import rgb2hex

plt.figure(figsize=(16,8))
m = Basemap(
    llcrnrlon=77,
    llcrnrlat=14,
    urcrnrlon=140,
    urcrnrlat=51,
    projection='lcc',
    lat_1=33,
    lat_2=45,
    lon_0=100
)
m.drawcountries(linewidth=1.5)
m.drawcoastlines()

m.readshapefile('CHN_adm_shp/CHN_adm1', 'states', drawbounds=True)

df = pd.read_csv('chnpop.csv')
df['省名'] = df.地区.str[:2]
df.set_index('省名', inplace=True)

statenames=[]
colors={}
cmap = plt.cm.YlOrRd
vmax = 100000000
vmin = 3000000
for shapedict in m.states_info:
    statename = shapedict['NL_NAME_1']
    p = statename.split('|')
    if len(p) > 1:
        s = p[1]
    else:
        s = p[0]
    s = s[:2]
    if s == '黑龍':
        s = '黑龙'
    statenames.append(s)
    pop = df['人口数'][s]
    colors[s] = cmap(np.sqrt((pop - vmin) / (vmax - vmin)))[:3]

ax = plt.gca()
for nshape, seg in enumerate(m.states):
    color = rgb2hex(colors[statenames[nshape]])
    poly = Polygon(seg, facecolor=color, edgecolor=color)
    ax.add_patch(poly)

plt.show()

文章来源:悟空智能科技

文章编辑:小柳

原文发布于微信公众号 - 灯塔大数据(DTbigdata)

原文发表时间:2018-06-21

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏北京马哥教育

用 4 行代码画一幅中国地图

2925
来自专栏IT派

用Python画一个中国地图

先来聊聊为什么做数据分析一定要用Python或R语言。编程语言这么多种,Java, PHP都很成熟,但是为什么在最近热火的数据分析领域,很多人选择用Python...

4805
来自专栏恰童鞋骚年

Unity3D游戏开发初探—1.跨平台的游戏引擎让.NET程序员新生

  Unity是由Unity Technologies开发的一个让轻松创建诸如三维视频游戏、建筑可视化、实时三维动画等类型互动内容的多平台的综合型游戏开发工具,...

1373
来自专栏数据科学学习手札

(数据科学学习手札33)基于Python的网络数据采集实战(1)

  前面两篇文章我们围绕利用Python进行网络数据采集铺垫了很多内容,但光说不练是不行的,于是乎,本篇就将基于笔者最近的一项数据需求进行一次网络数据采集的实战...

4965
来自专栏小红豆的数据分析

毕业设计:爬虫及数据分析

指导老师跟我说,本科毕业设计不需要创新,但是工作量一定要够,我就知道又要搞事情了。

2.4K2
来自专栏小文博客

用Python画一个中国地图【转】

2083
来自专栏大数据挖掘DT机器学习

如何用R语言从网上读取多样格式数据

第一部分:数据信息 生活中,我们面临着各种各样的数据:比如你的成绩单,比如公司的财务报表,比如朋友圈的一些状态,比如微信里的一段语音……我们生活的大数据时代的一...

3877
来自专栏TSW

程序员大型甩锅现场,太搞笑了!

2172
来自专栏程序员互动联盟

【计算机基本概念】中央处理器

中央处理器(CPU,Central Processing Unit)是一块超大规模的集成电路,是一台计算机的运算核心(Core)和控制核心( Control U...

3495
来自专栏施炯的IoT开发专栏

Windows Mobile上的小宇宙

  在codeproject上看到了一个非常有意思的应用,windows mobile上看星座图。试想下面一个场景,在北京寒冷冬天的一个晚上,西北风把城市上空的...

1796

扫码关注云+社区

领取腾讯云代金券