前往小程序,Get更优阅读体验!
立即前往
首页
学习
活动
专区
工具
TVP
发布
社区首页 >专栏 >不用编程,教你轻松搞定数据地图

不用编程,教你轻松搞定数据地图

作者头像
数据小磨坊
发布2018-04-11 17:08:14
2K0
发布2018-04-11 17:08:14
举报
文章被收录于专栏:数据小魔方数据小魔方

这篇文章,教会大家使用菜单类工具搞定数据地图,包括数据的获取、经纬度解析、数据地图生成等三大技能。

  • 利用Excel2016版的PowerQuery的数据爬取功能爬取网页表格;
  • 利用XGeocoding_v2工具批评解析地址经纬度;
  • 利用PowerBI、Tableau制作数据地图。

首先保证安装桌面版Excel2016,下载XGeocoding_v2地址解析工具,安装PowerBITableau等工具,最后需要拥有一个百度地图的免费API(需自行申请)。

要爬取的网页是关于中国大学排行榜,网址:http://www.sohu.com/a/149017301_356902,

我们要抓取的是其中的中国大学排行榜一千强。

一、获取大学排行榜数据:

在Excel(2016)中找到导入web数据的入口(其实这就是PowerQuery的内置功能),点击从网站导入,在弹出菜单中键入目标网站网址。

待建立连接成功之后,会弹出数据选择导航器,导航器左下侧列表显示该网页可用的数据表格,因为表格没有名称,所有我们需要结合网页上的表格位置和表格的预览功能,确定我们需要导入的对象(勾选左上角选择多项,然后在左侧表格列表前勾选对应表格)。

通过预览观察之后,我们发现一千强的表格是从table6~table13内,获取8个表格之后,通过查询编辑器中的数据追加,将这些变革追加为一个表格。

通过批量追加合并之后,你可以得到一个810个记录的中国2017大学质量排行榜(不代表个人观点,这个是网页的标题)。

###关于什么类型的表格可以使用Excel抓取,现将鼠标定位到网页表格位置,打开F12键,当看到目标表格位置的节点是table的时候,一般都是可以识别的,如果是需要向下刷新或者有翻页操作,表格单项内容包含在li>ui里面的话,通常使用Excel抓取数据的可能性不大,可以考虑使用专门的爬虫工具或者Python去爬。

也不是很懂为啥里面这么多排名相同的,但是无所谓我们想要的仅仅是学校名称而已,然后通过名称解析经纬度地址,然后制作数据地图,展示学校分布。

二、抓取经纬度地址:

第二步,将以上保存的数据导入XGeocoding_v2工具,设置百度地图API,设定待查询地址,输出经纬格式,最后点击开始解析。(百度地图API设置是一次性的,即第一次使用该软件的时候需要设定一下api,之后使用就不用了,自己去百度地图官网申请免费的就行)。

(注意,此时设定输出的时候,如果你是地址解析经纬度,只需指定地址列,经纬度菜单空白,如果是经纬度解析地址,则地址留空,经纬度设置好对应列,输出格式一般百度地图就可以了)。

按照该软件的解析速度,一般一秒钟3~4个地址,一千个需要五分钟左右。

解析完成之后,点击输出菜单输出文本。因为输出的经纬度表格包含很多空白字段,需要全部清除,只留下地址,经纬度信息,完成之后,再原始表中利用Vlookup函数把新解析的经纬度地址匹配过去。

有若干学校无法解析的(相当于缺失值了,你做模型也会有缺失值的,不会有那么完美的数据的,需要需要将解析失败的个案删掉),最后剩余804个有效经纬度。

---

=VLOOKUP($B2,'E:\微信公众号\公众号——数据小魔方\2017年7月\20170722\[大学排行榜1000强_geo_ok.csv]大学排行榜1000强_geo_ok'!$A:$C,2,0)

---

函数就是这样子的,相信大部分小伙伴儿们都比我熟!

三、制作数据地图:

首先演示使用PowerBI的地图功能制作数据地图。

PowerBI的数据地图非常好做,首先在右侧点击生成地图的对象;

然后使用刚才导入的经纬度数据分别拖拽至对应菜单栏目;

根据我们需要将分类或者连续性字段拖入对应颜色、大小便签内,可以完后才能数据地图制作。(这里我分被将综合评分、星级打分、学校层次等字段依次拖入了颜色、大小邓字段内)。

Tableau制作数据地图方法也是如此。

在导入数据之后,数据源页面设置好经纬度字段的地理信息格式;

然后进入工作表,只需将经纬度字段拖入行列标签;然后将左侧的度量(数值型)或者 维度(类别型)字段拖入标记点下面的对应大小、形状等标签内。(规则是我之前说过的关于数字信息通过视觉编码转换为我们可见的视觉信号)。

即可通过位置,度量值进行数据量级和分类资料的展示。最后新建一个工作簿,将工作表都添加到一个仪表盘中,这样可以系统化展示同一份数据资料的数据信息。

以上我从大学的定位层次、大学的综合得分、大学的星级打分三个角度展示了该份数据资料的大学排行榜排名信息。

本文参与 腾讯云自媒体分享计划,分享自微信公众号。
原始发表:2017-07-22,如有侵权请联系 cloudcommunity@tencent.com 删除

本文分享自 数据小魔方 微信公众号,前往查看

如有侵权,请联系 cloudcommunity@tencent.com 删除。

本文参与 腾讯云自媒体分享计划  ,欢迎热爱写作的你一起参与!

评论
登录后参与评论
0 条评论
热度
最新
推荐阅读
领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档