如何从亚马逊下载aws-SpaceNet卫星遥感图片数据集

前言

亚马逊SpaceNet数据集是作用于机器学习人工智能方面比赛或者研究用的商用数据集。我们在利用深度学习进行卫星图像分割时,比如利用FCN、Deeplab算法进行图像分割时,这些数据集就可以利用起来,而且省去了标记的麻烦。本篇文章简单介绍该数据集的内容并说明如何从awsCLi平台上下载这些数据集。

数据集介绍

总览

一共有5个地方的卫星数据,每个地点数据又分为训练集和测试集。

  1. Area of Interest 1 (AOI 1) – Location: Rio de Janeiro. 50cm imagery collected from DigitalGlobe’s WorldView-2 satellite. The dataset includes building footprints and 8-band multispectral data.
  2. Area of Interest 2 (AOI 2) – Location: Vegas. 30cm imagery collected from DigitalGlobe’s WorldView-3 satellite. The dataset includes building footprints and 8-band multispectral data.
  3. Area of Interest 3 (AOI 3) – Location: Paris. 30cm imagery collected from DigitalGlobe’s WorldView-3 satellite. The dataset includes building footprints and 8-band multispectral data.
  4. Area of Interest 4 (AOI 4) – Location: Shanghai. 30cm imagery collected from DigitalGlobe’s WorldView-3 satellite. The dataset includes building footprints and 8-band multispectral data.
  5. Area of Interest 5 (AOI 5) – Location: Khartoum. 30cm imagery collected from DigitalGlobe’s WorldView-3 satellite. The dataset includes building footprints and 8-band multispectral data.

AOI

Area of Raster (Sq. Km)

Building Labels (Polygons)

Road Labels (LineString)

AOI_1_Rio

2,544

382,534

N/A

AOI_2_Vegas

216

151,367

3685 km

AOI_3_Paris

1,030

23,816

425 km

AOI_4_Shanghai

1,000

92,015

3537 km

AOI_5_Khartoum

765

35,503

1030 km

具体数据

我们以AOI_4_Shanghai数据集为例,打开压缩包可以看到:

分为5个文件夹和一个汇总文件夹,其中标记信息在geojson文件夹中。

数据集下载

需要注意的是,从亚马逊平台下载数据集需要使用命令行方式进行下载,并且你需要有一个亚马逊云平台账号和一个生成的拥有下载权限的密匙。

亚马逊云平台

进入https://aws.amazon.com/cn/这个官网。

注册一个账号,需要注意,下载数据集不需要翻墙,但是在下载之前的一些列操作中部分操作是需要翻墙的,请确保有一个稳定的翻墙软件以便完成之后的操作。

创建下载密匙

通过之前的官网注册完账号后,打开用户界面(oldpan是我的用户名)选择Security Credentials-安全认证。

然后选择Users-用户,选择Add user-添加用户。

User name-用户名字随便起,选中Access type中的两项(和下图相同即可)

创建好之后就会看到你创建这个用户的Access Key ID 和 Secret access key以及 password,这些是我们之后下载数据集需要输入的信息(密匙可以直接查看或者通过csv下载下来保存起来)。

但是光有用户是不够的,因为我们创建的这个用户并没有下载的权限,这里我们需要创建一个groups组,类似于linux的用户组,赋予这个用户下载数据集的权限。

从管理面板找到IAM这个栏目并点开。

然后创建group,group名字随便起,这里我是spacenet,然后在group政策里policy选择AmazonS3ReadOnlyAccess这个政策,创建即可。

创建好后,将我们之前创建的用户添加到这个组里。

添加到组里我们刚才创建的用户oldpan就有下载数据集的权利了。

通过命令行下载数据集

命令行不同平台的,这里介绍在linux下python3.6.1版本的下载方式。https://aws.amazon.com/cn/cli/

进入命令行,这里默认python已经安装好了。

pip install awscli

安装命令行平台。

aws configfure

配置账号信息,输入之前额密匙ID和key,后面两个直接回车跳过去:

  • AWS Access Key ID [None]: XXXXXXXXXXXXXXXX
  • AWS Secret Access Key [None]: XXXXXXXXXXXXXXXXXXXXXXXXXXXXXXX
  • Default region name [None]:
  • Default output format [None]:

配置好了就可以下载了。

下载命令可以点击上方介绍数据集名称链接进入具体页面获取,这里举个例子:

aws s3api get-object --bucket spacenet-dataset --key SpaceNet_Roads_Competition/AOI_4_Shanghai_Roads_Train.tar.gz --request-payer requester AOI_4_Shanghai_Roads_Train.tar.gz

需要注意的地方

数据集下载速度不需要翻墙也可以达到满速,但是容易受到干扰造成time out从而导致下载失败,最好找个不错的网络环境进行下载。

文章来源于Oldpan博客

欢迎关注Oldpan博客公众号,持续酝酿深度学习质量文:

Oldpan博客

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

编辑于

我来说两句

1 条评论
登录 后参与评论

相关文章

来自专栏FreeBuf

MBR勒索木马再度来袭:GoldenEye分析

早在今年上半年,破坏力极强的修改MBR并加密MFT (Master File Table)的勒索木马Petya就引起了杀毒厂商的高度关注,然而在今年下半年360...

1957
来自专栏机器之心

教程 | 如何使用Kubernetes GPU集群自动训练和加速深度学习?

选自GitHub 机器之心编译 参与:蒋思源、Smith、吴攀 像 Docker 这样的容器格式和 Kubernetes 之类的容器管理平台正越来越受到人们的欢...

3623
来自专栏Python中文社区

Github|Python开源项目漫游指南(一)

Scikit-learn Scikit-learn是基于Scipy为机器学习建造的的一个Python模块,他的特色就是多样化的分类,回归和聚类的算法包括支持向量...

2047
来自专栏大数据智能实战

deepwalk遇到RuntimeError on windows trying python multiprocessing问题解决办法

本实验基于deepwalk1.0.2,Windows7,64bits 在调试代码TriDNR时,编译如下模块时发生错误: 代码网址:https://github...

2037
来自专栏人工智能头条

基于容器的AI系统开发——百度PaddlePaddle解析

922
来自专栏Coding01

推荐一个制作 https 证书的工具 Certbot

刚好前段时间给我同事布置个生成 https 证书的任务,发现很多人都是寻求于阿里云、七牛等国内大厂提供的免费或者付费证书。

894
来自专栏Python中文社区

jupyter notebook 远程连接调试实录

最近使用了一下jupyter notebook搭配GPU服务器这套搭配,顿时打开了一个新天地,记录一下配置过程。

1303
来自专栏MelonTeam专栏

google cloud--穷人也能玩深度学习

导语:想玩深度学习但是没钱更新电脑配置怎么办?google cloud,只要1美元,只要1美元,300美元赠金带回家!365天免费使用,让你轻松入门深度学习!是...

32510
来自专栏张鹏宇的专栏

google cloud :穷人也能玩深度学习

由于深度学习计算量大,常常会遇到一个训练跑几小时甚至1天多的情况。一段时间后,你肯定会有升级电脑的想法。而其中很重要的一块是gpu运算需要一块好显卡。但是当我看...

6.1K1
来自专栏生信技能树

高通量数据下载还能这样操作?

本文属于转录组入门系列(RAN-seq基础入门传送门 http://www.biotrainee.com/thread-1750-1-1.html )第2部分内...

4405

扫码关注云+社区