如何从亚马逊下载aws-SpaceNet卫星遥感图片数据集

前言

亚马逊SpaceNet数据集是作用于机器学习人工智能方面比赛或者研究用的商用数据集。我们在利用深度学习进行卫星图像分割时,比如利用FCN、Deeplab算法进行图像分割时,这些数据集就可以利用起来,而且省去了标记的麻烦。本篇文章简单介绍该数据集的内容并说明如何从awsCLi平台上下载这些数据集。

数据集介绍

总览

一共有5个地方的卫星数据,每个地点数据又分为训练集和测试集。

  1. Area of Interest 1 (AOI 1) – Location: Rio de Janeiro. 50cm imagery collected from DigitalGlobe’s WorldView-2 satellite. The dataset includes building footprints and 8-band multispectral data.
  2. Area of Interest 2 (AOI 2) – Location: Vegas. 30cm imagery collected from DigitalGlobe’s WorldView-3 satellite. The dataset includes building footprints and 8-band multispectral data.
  3. Area of Interest 3 (AOI 3) – Location: Paris. 30cm imagery collected from DigitalGlobe’s WorldView-3 satellite. The dataset includes building footprints and 8-band multispectral data.
  4. Area of Interest 4 (AOI 4) – Location: Shanghai. 30cm imagery collected from DigitalGlobe’s WorldView-3 satellite. The dataset includes building footprints and 8-band multispectral data.
  5. Area of Interest 5 (AOI 5) – Location: Khartoum. 30cm imagery collected from DigitalGlobe’s WorldView-3 satellite. The dataset includes building footprints and 8-band multispectral data.

AOI

Area of Raster (Sq. Km)

Building Labels (Polygons)

Road Labels (LineString)

AOI_1_Rio

2,544

382,534

N/A

AOI_2_Vegas

216

151,367

3685 km

AOI_3_Paris

1,030

23,816

425 km

AOI_4_Shanghai

1,000

92,015

3537 km

AOI_5_Khartoum

765

35,503

1030 km

具体数据

我们以AOI_4_Shanghai数据集为例,打开压缩包可以看到:

分为5个文件夹和一个汇总文件夹,其中标记信息在geojson文件夹中。

数据集下载

需要注意的是,从亚马逊平台下载数据集需要使用命令行方式进行下载,并且你需要有一个亚马逊云平台账号和一个生成的拥有下载权限的密匙。

亚马逊云平台

进入https://aws.amazon.com/cn/这个官网。

注册一个账号,需要注意,下载数据集不需要翻墙,但是在下载之前的一些列操作中部分操作是需要翻墙的,请确保有一个稳定的翻墙软件以便完成之后的操作。

创建下载密匙

通过之前的官网注册完账号后,打开用户界面(oldpan是我的用户名)选择Security Credentials-安全认证。

然后选择Users-用户,选择Add user-添加用户。

User name-用户名字随便起,选中Access type中的两项(和下图相同即可)

创建好之后就会看到你创建这个用户的Access Key ID 和 Secret access key以及 password,这些是我们之后下载数据集需要输入的信息(密匙可以直接查看或者通过csv下载下来保存起来)。

但是光有用户是不够的,因为我们创建的这个用户并没有下载的权限,这里我们需要创建一个groups组,类似于linux的用户组,赋予这个用户下载数据集的权限。

从管理面板找到IAM这个栏目并点开。

然后创建group,group名字随便起,这里我是spacenet,然后在group政策里policy选择AmazonS3ReadOnlyAccess这个政策,创建即可。

创建好后,将我们之前创建的用户添加到这个组里。

添加到组里我们刚才创建的用户oldpan就有下载数据集的权利了。

通过命令行下载数据集

命令行不同平台的,这里介绍在linux下python3.6.1版本的下载方式。https://aws.amazon.com/cn/cli/

进入命令行,这里默认python已经安装好了。

pip install awscli

安装命令行平台。

aws configfure

配置账号信息,输入之前额密匙ID和key,后面两个直接回车跳过去:

  • AWS Access Key ID [None]: XXXXXXXXXXXXXXXX
  • AWS Secret Access Key [None]: XXXXXXXXXXXXXXXXXXXXXXXXXXXXXXX
  • Default region name [None]:
  • Default output format [None]:

配置好了就可以下载了。

下载命令可以点击上方介绍数据集名称链接进入具体页面获取,这里举个例子:

aws s3api get-object --bucket spacenet-dataset --key SpaceNet_Roads_Competition/AOI_4_Shanghai_Roads_Train.tar.gz --request-payer requester AOI_4_Shanghai_Roads_Train.tar.gz

需要注意的地方

数据集下载速度不需要翻墙也可以达到满速,但是容易受到干扰造成time out从而导致下载失败,最好找个不错的网络环境进行下载。

文章来源于Oldpan博客

欢迎关注Oldpan博客公众号,持续酝酿深度学习质量文:

Oldpan博客

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

编辑于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏张善友的专栏

Mix 10 上的asp.net mvc 2的相关Session

Beyond File | New Company: From Cheesy Sample to Social Platform Scott Hansel...

2587
来自专栏魂祭心

原 canvas绘制clock

4164
来自专栏Golang语言社区

【Golang语言社区】GO1.9 map并发安全测试

var m sync.Map //全局 func maintest() { // 第一个 YongHuomap := make(map[st...

4778
来自专栏一个爱瞎折腾的程序猿

sqlserver使用存储过程跟踪SQL

USE [master] GO /****** Object: StoredProcedure [dbo].[sp_perfworkload_trace_s...

2070
来自专栏我和未来有约会

Kit 3D 更新

Kit3D is a 3D graphics engine written for Microsoft Silverlight. Kit3D was inita...

2576
来自专栏java 成神之路

使用 NIO 实现 echo 服务器

4717
来自专栏C#

DotNet加密方式解析--非对称加密

    新年新气象,也希望新年可以挣大钱。不管今年年底会不会跟去年一样,满怀抱负却又壮志未酬。(不过没事,我已为各位卜上一卦,卦象显示各位都能挣钱...)...

4928
来自专栏pangguoming

Spring Boot集成JasperReports生成PDF文档

由于工作需要,要实现后端根据模板动态填充数据生成PDF文档,通过技术选型,使用Ireport5.6来设计模板,结合JasperReports5.6工具库来调用渲...

1.2K7
来自专栏跟着阿笨一起玩NET

c#实现打印功能

2802
来自专栏张善友的专栏

Silverlight + Model-View-ViewModel (MVVM)

     早在2005年,John Gossman写了一篇关于Model-View-ViewModel模式的博文,这种模式被他所在的微软的项目组用来创建Expr...

2988

扫码关注云+社区