Python 项目实践二(下载数据)第四篇

接着上节继续学习,在本节中,你将下载JSON格式的人口数据,并使用json模块来处理它们。Pygal提供了一个适合初学者使用的地图创建工具,你将使用它来对人口数据进行可视化,以探索全球人口的分布情况。

一 制作世界人口地图

1 下载世界人口数据和提取相关的数据

可以去(http://data.okfn.org/)下载population_data.json,来研究一下population_data.json,看看如何着手处理这个文件中的数据:

[
  {
    "Country Name": "Arab World",
    "Country Code": "ARB",
    "Year": "1960",
    "Value": "96388069"
  },
  {
    "Country Name": "Arab World",
    "Country Code": "ARB",
    "Year": "1961",
    "Value": "98882541.4"
  },
省略。。。。
}

这个文件实际上就是一个很长的Python列表,其中每个元素都是一个包含四个键的字典:国家名、国别码、年份以及表示人口数量的值。我们只关心每个国家2010年的人口数量,因此我们首先编写一个打印这些信息的程序:

import json

#将数据加载到一个列表中
filename= 'population_data.json'

with open(filename) as f :
    pop_data = json.load(f)

for pop_dic in pop_data :
     if pop_dic["Year"] == '2010' :
         country_name= pop_dic['Country Name']
         population = pop_dic['Value']
         print(country_name + ":" + population)

结果如下:

2 将字符串转换为数字值

population_data.json中的每个键和值都是字符串。为处理这些人口数据,我们需要将表示人口数量的字符串转换为数字值,为此我们使用函数int():

 population = int(pop_dic['Value'])
 print(country_name + ":" + str(population))

然而,对于有些值,这种转换会导致错误,如下所示:

===== RESTART: D:/study/python/code/world_population/world_population.py =====
Arab World:357868000
Caribbean small states:6880000
East Asia & Pacific (all income levels):2201536674
East Asia & Pacific (developing only):1961558757
Euro area:331766000
Europe & Central Asia (all income levels):890424544
Europe & Central Asia (developing only):405204000
European Union:502125000
Heavily indebted poor countries (HIPC):635663000
Traceback (most recent call last):
  File "D:/study/python/code/world_population/world_population.py", line 12, in <module>
    population = int(pop_dic['Value'])
ValueError: invalid literal for int() with base 10: '1127437398.85751'
>>>

导致上述错误的原因是,Python不能直接将包含小数点的字符串'1127437398.85751'转换为整数(这个小数值可能是人口数据缺失时通过插值得到的)。为消除这种错误,我们先将字符串转换为浮点数,再将浮点数转换为整数:

population = int(float(pop_dict['Value']))

函数float()将字符串转换为小数,而函数int()丢弃小数部分,返回一个整数。每个字符串都成功地转换成了浮点数,再转换为整数。以数字格式存储人口数量值后,就可以使用它们来制作世界人口地图了。

三 获取两个字母的国别码

制作地图前,还需要解决数据存在的最后一个问题。Pygal中的地图制作工具要求数据为特定的格式:用国别码表示国家,以及用数字表示人口数量。处理地理政治数据时,经常需要用到几个标准化国别码集。population_data.json中包含的是三个字母的国别码,但Pygal使用两个字母的国别码。我们需要想办法根据国家名获取两个字母的国别码。Pygal使用的国别码存储在模块i18n(internationalization的缩写)中。字典COUNTRIES包含的键和值分别为两个字母的国别码和国家名。要查看这些国别码,可从模块i18n中导入这个字典,并打印其键和值:

from pygal.i18n import COUNTRIES
 for country_code in sorted(COUNTRIES.keys()):
    print(country_code, COUNTRIES[country_code])

报错:

======== RESTART: D:/study/python/code/world_population/countries.py ========
Traceback (most recent call last):
  File "D:/study/python/code/world_population/countries.py", line 1, in <module>
    from pygal.i18n import COUNTRIES
ModuleNotFoundError: No module named 'pygal.i18n'
>>> 

原因和解决方案:

The i18n module was removed in pygal-2.0.0, however, it can now be found in the pygal_maps_world plugin.
You can install that with pip install pygal_maps_world. Then you can access COUNTRIES as pygal.maps.world.COUNTRIES:
from pygal.maps.world import COUNTRIES

按上面的操作:

from pygal.maps.world import COUNTRIES

for country_code in sorted(COUNTRIES.keys()):
    print(country_code, COUNTRIES[country_code])

结果如下:

为获取国别码,我们将编写一个函数,它在COUNTRIES中查找并返回国别码。我们将这个函数放在一个名为country_codes的模块中,以便能够在可视化程序中导入它:

from pygal.maps.world import COUNTRIES

def get_country_code(country_name):
    #根据指定的国家,返回Pygal使用的两个字母的国别码
    for code,name in COUNTRIES.items():
        if name == country_name :
            return code
    # 如果没有找到指定的国家,就返回None
    return None

print(get_country_code('Andorra'))
print(get_country_code('United Arab Emirates'))
print(get_country_code('Afghanistan'))

结果如下:

======= RESTART: D:/study/python/code/world_population/contry_codes.py =======
ad
ae
af
>>> 

接下来,在world_population.py中导入get_country_code:

import json
from country_codes import get_country_code

#将数据加载到一个列表中
filename= 'population_data.json'

with open(filename) as f :
    pop_data = json.load(f)

# 打印每个国家2010年的人口数量
for pop_dic in pop_data :
     if pop_dic["Year"] == '2010' :
         country_name= pop_dic['Country Name']
         population = int(float(pop_dic['Value']))
         code =get_country_code(country_name)

         if code :
             print(code + ":" + str(population))
         else :
             print("ERROR -" + country_name)

结果如下:

导致显示错误消息的原因有两个。首先,并非所有人口数量对应的都是国家,有些人口数量对应的是地区(阿拉伯世界)和经济类群(所有收入水平)。其次,有些统计数据使用了不同的完整国家名(如Yemen, Rep.,而不是Yemen)。当前,我们将忽略导致错误的数据,看看根据成功恢复了的数据制作出的地图是什么样的。 3 绘制世界地图

有了国别码后,制作世界地图易如反掌。Pygal提供了图表类型Worldmap,可帮助你制作呈现各国数据的世界地图。为演示如何使用Worldmap,我们来创建一个突出北美、中美和南美的简单地图:

import pygal
#此处书中的代码已过时,请用最新的。
wm = pygal.maps.world.World()
wm.title = 'North, Central, and South America'
wm.add('North America', ['ca', 'mx', 'us'])
wm.add('Central America', ['bz', 'cr', 'gt', 'hn', 'ni', 'pa', 'sv'])
wm.add('South America', ['ar', 'bo', 'br', 'cl', 'co', 'ec', 'gf',
'gy', 'pe', 'py', 'sr', 'uy', 've'])

wm.render_to_file('americas.svg')

(1)我们创建了一个Worldmap实例,并设置了该地图的的title属性

(2)了方法add(),它接受一个标签和一个列表,其中后者包含我们要突出的国家的国别码。每次调用add()都将为指定的国家选择一种新颜色,并在图表左边显示该颜色和指定的标签。我们要以同一种颜色显示整个北美地区,因此第一次调用add()时,在传递给它的列表中包含'ca'、'mx'和'us',以同时突出加拿大、墨西哥和美国。接下来,对中美和南美国家做同样的处理。

(3)方法render_to_file()创建一个包含该图表的.svg文件,你可以在浏览器中打开它。输出是一幅以不同颜色突出北美、中美和南美的地图,如下图:

4 绘制完整的世界人口地图

要呈现其他国家的人口数量,需要将前面处理的数据转换为Pygal要求的字典格式:键为两个字母的国别码,值为人口数量。为此,在world_population.py中添加如下代码:

import json
from country_codes import get_country_code
import pygal
#将数据加载到一个列表中
filename= 'population_data.json'

with open(filename) as f :
    pop_data = json.load(f)
    
cc_populations ={}
for pop_dict in pop_data :
    if pop_dict['Year'] == '2010' :
        country_name= pop_dict['Country Name']
        population = int(float(pop_dict['Value']))
        code =get_country_code(country_name)

        if code :
            cc_populations[code] = population

wm = pygal.maps.world.World()
wm.title="World Population in 2010,by Country"
wm.add('2010',cc_populations)

wm.render_to_file("world_population.svg")

如下图:

5根据人口数量将国家分组

印度和中国的人口比其他国家多得多,但在当前的地图中,它们的颜色与其他国家差别较小。中国和印度的人口都超过了10亿,接下来人口最多的国家是美国,但只有大约3亿。下面不将所有国家都作为一个编组,而是根据人口数量分成三组——少于1000万的、介于1000万和10亿之间的以及超过10亿的。

import json
from country_codes import get_country_code
import pygal
#将数据加载到一个列表中
filename= 'population_data.json'

with open(filename) as f :
    pop_data = json.load(f)
    
cc_populations ={}
for pop_dict in pop_data :
    if pop_dict['Year'] == '2010' :
        country_name= pop_dict['Country Name']
        population = int(float(pop_dict['Value']))
        code =get_country_code(country_name)

        if code :
            cc_populations[code] = population


# 根据人口数量将所有的国家分成三组
cc_pops_1, cc_pops_2, cc_pops_3 = {}, {}, {}

for cc, pop in cc_populations.items():
    if pop < 10000000:
        cc_pops_1[cc] = pop
    elif pop < 1000000000:
        cc_pops_2[cc] = pop
    else:
        cc_pops_3[cc] = pop
# 看看每组分别包含多少个国家
print(len(cc_pops_1), len(cc_pops_2), len(cc_pops_3))

wm = pygal.maps.world.World()
wm.title="World Population in 2010,by Country"
#wm.add('2010',cc_populations)
wm.add('0-10m', cc_pops_1)
wm.add('10m-1bn', cc_pops_2)
wm.add('>1bn', cc_pops_3)

wm.render_to_file("world_population.svg")

结果如下:

现在使用了三种不同的颜色,让我们能够看出人口数量上的差别。在每组中,各个国家都按人口从少到多着以从浅到深的颜色。

 6 使用Pygal设置世界地图的样式

在这个地图中,根据人口将国家分组虽然很有效,但默认的颜色设置很难看。例如,在这里,Pygal选择了鲜艳的粉色和绿色基色。下面使用Pygal样式设置指令来调整颜色。我们也让Pygal使用一种基色,但将指定该基色,并让三个分组的颜色差别更大:

import json
from country_codes import get_country_code
import pygal
from pygal.style import RotateStyle
#将数据加载到一个列表中
filename= 'population_data.json'

with open(filename) as f :
    pop_data = json.load(f)
    
cc_populations ={}
for pop_dict in pop_data :
    if pop_dict['Year'] == '2010' :
        country_name= pop_dict['Country Name']
        population = int(float(pop_dict['Value']))
        code =get_country_code(country_name)

        if code :
            cc_populations[code] = population


# 根据人口数量将所有的国家分成三组
cc_pops_1, cc_pops_2, cc_pops_3 = {}, {}, {}

for cc, pop in cc_populations.items():
    if pop < 10000000:
        cc_pops_1[cc] = pop
    elif pop < 1000000000:
        cc_pops_2[cc] = pop
    else:
        cc_pops_3[cc] = pop
# 看看每组分别包含多少个国家
print(len(cc_pops_1), len(cc_pops_2), len(cc_pops_3))
wm_style=RotateStyle('#336699')
wm = pygal.maps.world.World(style=wm_style)
wm.title="World Population in 2010,by Country"
#wm.add('2010',cc_populations)
wm.add('0-10m', cc_pops_1)
wm.add('10m-1bn', cc_pops_2)
wm.add('>1bn', cc_pops_3)

wm.render_to_file("world_population.svg")

Pygal样式存储在模块style中,我们从这个模块中导入了样式RotateStyle。创建这个类的实例时,需要提供一个实参——十六进制的RGB颜色;Pygal将根据指定的颜色为每组选择颜色。十六进制格式的RGB颜色是一个以井号(#)打头的字符串,后面跟着6个字符,其中前两个字符表示红色分量,接下来的两个表示绿色分量,最后两个表示蓝色分量。每个分量的取值范围为00(没有相应的颜色)~FF(包含最多的相应颜色)。如果你在线搜索hex color chooser(十六进制颜色选择器),可找到让你能够尝试选择不同的颜色并显示其RGB值的工具。这里使用的颜色值(#336699)混合了少量的红色(33)、多一些的绿色(66)和更多一些的蓝色(99),它为RotateStyle提供了一种淡蓝色基色。

效果如下图:

7 加亮颜色主题

Pygal通常默认使用较暗的颜色主题。为方便印刷,我使用LightColorizedStyle加亮了地图的颜色。这个类修改整个图表的主题,包括背景色、标签以及各个国家的颜色。要使用这个样式,先导入它:

from pygal.style import LightColorizedStyle, RotateStyle

再使用RotateStyle创建一种样式,并传入另一个实参base_style:  

wm_style = RotateStyle('#336699', base_style=LightColorizedStyle)

最后的代码和效果图如下:

import json
from country_codes import get_country_code
import pygal
from pygal.style import RotateStyle,LightColorizedStyle

#将数据加载到一个列表中
filename= 'population_data.json'

with open(filename) as f :
    pop_data = json.load(f)
    
cc_populations ={}
for pop_dict in pop_data :
    if pop_dict['Year'] == '2010' :
        country_name= pop_dict['Country Name']
        population = int(float(pop_dict['Value']))
        code =get_country_code(country_name)

        if code :
            cc_populations[code] = population


# 根据人口数量将所有的国家分成三组
cc_pops_1, cc_pops_2, cc_pops_3 = {}, {}, {}

for cc, pop in cc_populations.items():
    if pop < 10000000:
        cc_pops_1[cc] = pop
    elif pop < 1000000000:
        cc_pops_2[cc] = pop
    else:
        cc_pops_3[cc] = pop
# 看看每组分别包含多少个国家
print(len(cc_pops_1), len(cc_pops_2), len(cc_pops_3))
wm_style=RotateStyle('#336699',base_style=LightColorizedStyle)
wm = pygal.maps.world.World(style=wm_style)
wm.title="World Population in 2010,by Country"
#wm.add('2010',cc_populations)
wm.add('0-10m', cc_pops_1)
wm.add('10m-1bn', cc_pops_2)
wm.add('>1bn', cc_pops_3)

wm.render_to_file("world_population.svg")

未完待续,今天是元旦节第二天,加油!

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏Huramkin的归档库

Latex笔记(一)

也可以使用Cmd编辑Tex文件,当然也可以使用其他文本编辑器来编辑Tex文件,这里为了方便起见,使用自带的编辑器TeXworks。

1191
来自专栏ACM算法日常

消防车Firetruck(DFS+回溯)- UVA 208

中心城市消防部门与运输部门合作,维护反映城市街道现状的城市地图。消防员需要能够选择从火警站到火警的路线。 中心城市分为不重叠...

832
来自专栏数据结构与算法

13:人民币支付

13:人民币支付 总时间限制: 1000ms 内存限制: 65536kB描述 从键盘输入一指定金额(以元为单位,如345),然后输出支付该金额的各种面额的人...

4175
来自专栏Alice

js最新手机号码、电话号码正则表达式

js最新手机号码、电话号码正则表达 正则表达式(regular expression)是一个描述字符模式的对象。使用javascript正则表达式可以进行强大的...

1.7K10
来自专栏SeanCheney的专栏

《利用Python进行数据分析·第2版》第14章 数据分析案例14.1 来自Bitly的USA.gov数据14.2 MovieLens 1M数据集14.3 1880-2010年间全美婴儿姓名14.4

本书正文的最后一章,我们来看一些真实世界的数据集。对于每个数据集,我们会用之前介绍的方法,从原始数据中提取有意义的内容。展示的方法适用于其它数据集,也包括你的。...

4035
来自专栏灯塔大数据

技术 | Python从零开始系列连载(二十三)

为了解答大家学习Python时遇到各种常见问题,小灯塔特地整理了一系列从零开始的入门到熟练的系列连载,每周五准时推出,欢迎大家学积极学习转载~

1483
来自专栏数据小魔方

一篇小短文助你打开数据可视化的任督二脉!

本文主要讨论ggplot2是如何通过颜色信号来对多边形进行填充的底层理念,这也是想要进阶R语言数据可视化过程中必须搞明白的关键环节。 ggplot2所有图层对象...

3374
来自专栏数据结构与算法

BZOJ1096: [ZJOI2007]仓库建设(dp+斜率优化)

Description   L公司有N个工厂,由高到底分布在一座山上。如图所示,工厂1在山顶,工厂N在山脚。由于这座山处于高原内 陆地区(干燥少雨),L公司一...

3615
来自专栏GIS讲堂

dojo chart详解

Dojo提供了一套很完善的统计图(Chart)接口,在dojox/charting下面,可以支持很多种类型的。

1392
来自专栏Crossin的编程教室

【每周一坑】谁是哪国人?

一道比较老套的题目: 在一个宾馆里住着六个不同国籍的人,他们分别来自美国、德国、英国、法国、俄罗斯和意大利。他们的名字叫 A、B、C、D、E、F。名字的顺序与...

2564

扫码关注云+社区

领取腾讯云代金券