【干货】挖掘数据的工具与技巧,这20种资源帮你玩转数据

导读:全球编辑网数据新闻奖理事、通讯部主任Marianne Bouchart为我们分享了她挖掘数据的工具与技巧,特别是这份线上数据资源清单,让我们一睹为快!

以下就是她推荐的数据资源列表:

1

Dataportals.org

来自世界各地的开放数据门户的综合列表,是寻找各种不同数据很好的起点。

2

FindTheData.com

和Dataportals.org相似,它包含了很多不同主题和行业的数据。

3

EU Data Portal:欧盟数据库

于上周刚刚推出,现在仍处于测试阶段。它由欧洲委员会资助,可用于浏览官方数据。

4

European Union Open Data Portal

很像EU Data Portal,这个网站也提供欧洲不同主题的综合性数据。

5

Data.gov.uk

英国政府的数据网站,公开公共数据以帮助人们了解数据如何工作、政策是如何制定的。

6

Data.gov

和Data.gov.uk对应,这是美国的政府数据网。还有许多来自其他国家的类似网站,可以作为数据来源。

7

Open Corporates

世界上最大的开放式数据库公司。其主要目标是为每个已建立的公司创建一个URL,现在这里已经汇集了大量商业性数据。

8

WikiLeaks

人们总以为维基解密是过时的,但Bouchart强调,这仍然是一个特殊的资源,也是个会定期更新的网站。

9

The World Bank

它拥有一个数据门户,提供关于世界各地发展问题的免费、开放的数据。

10

The UN Data Portal

这里按照国家和主题,提供综合性数据列表。

11

The UNHCR Data Portal

这里提供针对难民危机的数据,有着非常视觉化的资源,并且提供原始数据信息。

12

The World Health Organisation Data

这里的大型数据库包含地图和报告,以及各种国家统计数据。

13

Google Public Data Explorer

输入关键词,它就会搜索到与此相关的数据信息,无论是什么数据来源。

14

GetTheData.org

在这个论坛,用户可以询问他人如何找到特定数据。

15

Crowdsourcing using Google Forms

曾被英国《卫报》等机构广泛使用,用来收集他们的读者购买了多少奥运门票等数据。

16

WhatDoTheyKnow.com

当你没法找到你想要的数据时,这里就是个好去处。该网站汇集了所有已提交的信息公开申请,并告知你这些请求是否成功。

17

Quora:知乎英文版

可以用来浏览信息,就像GetTheData.org一样,也可以询问他人哪里可以搜索到特定数据。

18

Google

除了上面提到的,你也可以直接在谷歌上找到数据,以下操作符会大大帮助到你:

★搜索文件类型中,填写CSV或XLS可以用来搜索excel表单

★SHP可以用来搜索地质数据

★MDB、SQL和DB用来做数据库提取

★你还可以输入PDF,比如site:Adidas-group.com,filetype:pdf(在指定网址Adidas-group.com中,搜索类型为pdf的文件)

★inurl:downloads,filetype:xls:这个指令不仅能让你找到公司或组织公开的文件,也能帮你找到他们内部共享的信息

要做更好的数据新闻,就尝试从谷歌那里搜刮更多的数据。

19

Bouchart

★Bouchart可以运用谷歌来搜索网页,一条魔法指令就是:

=importHTML(“”,”table”,N)

★伯克利的电子表单教程,以及新闻调查中心的数据新闻手册,后者可以指导你在使用表格查询数据时获取更多的信息。

20

Open Refine

别忘了清洗你的数据! Bouchart提醒道,数据中的各种漏洞,意味着信息有可能是错误或不可靠的。她建议使用Open Refine,一个免费的源代码开放工具,下载到本地之后,不需联网即可使用。

原文发布于微信公众号 - 钱塘大数据(qtbigdata)

原文发表时间:2016-12-08

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏闵开慧

云存储深层解析

云存储的概念与云计算类似,它是指通过集群应用、网格技术或分布式文件系统等功能,将网络中大量各种不同类型的存储设备通过应用软件集合起来协同工作,共同对外提供数据存...

66160
来自专栏杨建荣的学习笔记

运维建设的方向和思路

今天和同事聊需求的时候,突然发现目前我们在做的一些系统,其实他感觉有些迷茫,主要就是一个建设的思路和方向这一块,我想了下,也确实,目前来看,其实系统的功能初期避...

21620
来自专栏云计算D1net

将数据迁移到云:回到未来?

数百家公司现在已经证明,单一数据泄露可能会造成长期的经济,法律和品牌上的损失。除了数据保护之外,仅仅管理云中的数据是不同的,如果做法不当,成本,复杂性和风险会使...

14400
来自专栏web前端教室

【先行者】一份不合格的作业的讲解

然后我收到了几份作业,其中有二份作业不是特别的合格。就作业本身来讲吧,也不能说它是错的,但它确实是不对,把作业图贴在下面大家看看,

7510
来自专栏喔家ArchiSelf

来吧,一个IoT应用设计

大量的研究表明,智能家居和可穿戴设备是目前最流行的物联网应用。嵌入式的MCU是这些物联网应用程序的核心。 然而,为了在这个快速而有竞争力的市场上成为一个有效的基...

19520
来自专栏java一日一条

你不要升级到 Windows 10 的 10 大理由

本文通过对微软合作伙伴的询问,了解到他们不想升级到Windows 10的原因。下面,我们将详细讲解用户不该升级到Windows 10的十大理由。

13430
来自专栏后端技术探索

12306系统高并发探讨

铁道部的12306网上购票系统着实“火”了一把,在中国境内可谓是无人不知无人不晓,曾有人在网上戏称12306为“史上最牛电商”。12306购票系统的初衷是系统通...

93520
来自专栏大数据钻研

你不要升级到 Windows 10 的 10 大理由

本文通过对微软合作伙伴的询问,了解到他们不想升级到Windows 10的原因。下面,我们将详细讲解用户不该升级到Windows 10的十大理由。 在佛罗里达州多...

27950
来自专栏java一日一条

程序员遇到Bug时的30个反应

开发应用程序是一个非常有压力的工作。没有人是完美的,因此在这个行业中,代码中出现bug是相当普遍的现象。面对bug,一些程序员会生气,会沮丧,会心烦意乱,甚至会...

8930
来自专栏程序员宝库

程序员遇到 Bug 时的 30 个反应,你是哪一种?

来源:techug.com http://www.techug.com/post/programmer-reaction-with-30-bugs.html 开...

40690

扫码关注云+社区

领取腾讯云代金券