前往小程序,Get更优阅读体验!
立即前往
首页
学习
活动
专区
工具
TVP
发布
社区首页 >专栏 >NASA环境数据批量下载

NASA环境数据批量下载

作者头像
Jamesjin63
发布2022-10-25 14:42:34
9680
发布2022-10-25 14:42:34
举报
文章被收录于专栏:EpiHub

我们在NASA网站下载数据如温度,降雨,植被指数,通常数据量较多。时间及地区范围,通过改文章,我们获取到所需数据的下载链接,然后使用SHELL来实现 批量下载。(如何获取下载链接

下面就来介绍如何设置批量下载。本文主要参考 How to Download Data Files from HTTPS Service with wget

(MAC 测试成功。Windows 自行摸索)

1.注册NASA账号

这里给出注册链接地址,可自行百度

2.Wget设置

注册好账号后,需要在终端安装wget

wget for Mac/Linux

2.1.版本号:wget 1.18
2.2.在home目录下新建两个文件:.netrc.urs_cookies
代码语言:javascript
复制
cd $HOME
touch .netrc
echo "machine urs.earthdata.nasa.gov login <账号> password <密码>" >> .netrc
chmod 0600 .netrc

cd $HOME
touch .urs_cookies.

Note: you may need to re-create .urs_cookies in case you have already executed wget without valid authentication.

3.下载文件

3.1根据index文件夹,查看文件夹下的列表,如
代码语言:javascript
复制
curl -s "[https://goldsmr4.gesdisc.eosdis.nasa.gov/data/MERRA2_MONTHLY/M2TMNXSLV.5.12.4/1981/](https://goldsmr4.gesdisc.eosdis.nasa.gov/data/MERRA2_MONTHLY/M2SMNXSLV.5.12.4/1981/)" | grep MERRA2_100 | cut -f4 -d\"
3.2下载单个文件
代码语言:javascript
复制
wget --load-cookies ~/.urs_cookies --save-cookies ~/.urs_cookies --keep-session-cookies --content-disposition [https://goldsmr4.gesdisc.eosdis.nasa.gov/data/MERRA2_MONTHLY/M2TMNXSLV.5.12.4/1981/MERRA2_100.tavgM_2d_slv_Nx.198101.nc4](https://goldsmr4.gesdisc.eosdis.nasa.gov/data/MERRA2_MONTHLY/M2SMNXSLV.5.12.4/1981/)
3.3下载文件(多个)
代码语言:javascript
复制
wget --load-cookies ~/.urs_cookies --save-cookies ~/.urs_cookies --keep-session-cookies -r -c -nH -nd -np -A nc4,xml  --content-disposition "[https://goldsmr4.gesdisc.eosdis.nasa.gov/data/MERRA2_MONTHLY/M2TMNXSLV.5.12.4/1981/](https://goldsmr4.gesdisc.eosdis.nasa.gov/data/MERRA2_MONTHLY/M2SMNXSLV.5.12.4/1981/)"
3.4下载文件(多个):根据已有目录myfile.dat

myfile.txt是根据(如何获取下载链接)改文章中,指定条件下载的download link,存在txt文件下

代码语言:javascript
复制
wget --content-disposition --load-cookies ~/.urs_cookies --save-cookies ~/.urs_cookies --keep-session-cookies --content-disposition -i myfile.txt

更多详情请见: How to Download Data Files from HTTPS Service with wget

image

参考

1.NASA注册

2.How to Download Data Files from HTTPS Service with wget

本文参与 腾讯云自媒体同步曝光计划,分享自作者个人站点/博客。
原始发表:2020-06-10,如有侵权请联系 cloudcommunity@tencent.com 删除

本文分享自 作者个人站点/博客 前往查看

如有侵权,请联系 cloudcommunity@tencent.com 删除。

本文参与 腾讯云自媒体同步曝光计划  ,欢迎热爱写作的你一起参与!

评论
登录后参与评论
0 条评论
热度
最新
推荐阅读
目录
  • 1.注册NASA账号
  • 2.Wget设置
    • 2.1.版本号:wget 1.18
      • 2.2.在home目录下新建两个文件:.netrc 与.urs_cookies
      • 3.下载文件
        • 3.1根据index文件夹,查看文件夹下的列表,如
          • 3.2下载单个文件
            • 3.3下载文件(多个)
              • 3.4下载文件(多个):根据已有目录myfile.dat
              • 参考
              相关产品与服务
              访问管理
              访问管理(Cloud Access Management,CAM)可以帮助您安全、便捷地管理对腾讯云服务和资源的访问。您可以使用CAM创建子用户、用户组和角色,并通过策略控制其访问范围。CAM支持用户和角色SSO能力,您可以根据具体管理场景针对性设置企业内用户和腾讯云的互通能力。
              领券
              问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档