前往小程序,Get更优阅读体验!
立即前往
首页
学习
活动
专区
工具
TVP
发布
社区首页 >专栏 >一个脚本下载风云卫星数据所有订单

一个脚本下载风云卫星数据所有订单

作者头像
bugsuse
发布2020-07-07 11:07:30
1.2K0
发布2020-07-07 11:07:30
举报
文章被收录于专栏:气象杂货铺气象杂货铺

背景

众所周知,风云卫星数据下载麻烦,尤其是下载大量数据,需要点击多个链接来一一下载。

尽管用户也可以使用DownThemAll[1]进行批量下载,但不适合直接在服务器上操作。

由于无法忍受这种**下载方式,朝曦dawn[2]就写了个爬虫脚本,爬取订单信息中的所有链接,放入bash脚本中,使用lftp进行一键下载

虽然该方法可以暂时避免繁琐的下载步骤,不过还是建议卫星中心的网页/数据库开发者采用NASA GES DISC[3]的数据下载方式(支持一键导出下载链接,使用wget等工具下载)。

安装

依赖于三个Python库:logging, getpass and selenium,以及Chrome driver

具体请百度或右转谷歌。

使用方法

脚本和详细例子[4]以及下载葵花8,ERA5的数据脚本[5],见底部References。

生成订单

使用风云网页[6] (全平台) 或风云工具箱[7] (Windows)提交订单。

如果下载大量数据,建议使用工具箱(虽然工具箱也卡,但不会像网页直接卡死,希望网页/数据库开发者进行完善)。

爬取订单信息

在终端运行脚本,并根据提示填入用户信息(用户名,密码和验证码)

代码语言:javascript
复制
 $ python fy.py

检查bash脚本

检查生成的 download_fy.sh文件(文件名可通过脚本中的 savename 修改)。

bash脚本示例:

代码语言:javascript
复制
#!/bin/bash
lftp -e "mget -c ftp://AO20200701000066936:Uo6O5__j@ftp.nsmc.org.cn/*" &
lftp -e "mget -c ftp://AO20200701000065328:0lK_rxpW@ftp.nsmc.org.cn/AO202007010000653280001/*" &
lftp -e "mget -c ftp://AO20200701000065328:0lK_rxpW@ftp.nsmc.org.cn/AO202007010000653280002/*" &
lftp -e "mget -c ftp://AO20200701000065328:0lK_rxpW@ftp.nsmc.org.cn/AO202007010000653280003/*" &
.....
.....

下载数据

代码语言:javascript
复制
$ chmod +x download_fy.sh
$ ./download_fy.sh

References

[1] DownThemAll: https://www.downthemall.net/ [2] 朝曦dawn: https://dreambooker.site/ [3] NASA GES DISC: https://disc.gsfc.nasa.gov/ [4] 脚本和详细例子: https://github.com/zxdawn/weather_data/tree/master/FY [5] 葵花8,ERA5的数据脚本: https://github.com/zxdawn/weather_data [6] 风云网页: http://satellite.nsmc.org.cn/portalsite/default.aspx [7] 风云工具箱: http://fy4.nsmc.org.cn/nsmc/en/data/pcclient.html

本文参与 腾讯云自媒体分享计划,分享自微信公众号。
原始发表:2020-07-05,如有侵权请联系 cloudcommunity@tencent.com 删除

本文分享自 气象杂货铺 微信公众号,前往查看

如有侵权,请联系 cloudcommunity@tencent.com 删除。

本文参与 腾讯云自媒体分享计划  ,欢迎热爱写作的你一起参与!

评论
登录后参与评论
0 条评论
热度
最新
推荐阅读
目录
  • 背景
  • 安装
  • 使用方法
    • 生成订单
      • 爬取订单信息
        • 检查bash脚本
          • 下载数据
            • References
            相关产品与服务
            验证码
            腾讯云新一代行为验证码(Captcha),基于十道安全栅栏, 为网页、App、小程序开发者打造立体、全面的人机验证。最大程度保护注册登录、活动秒杀、点赞发帖、数据保护等各大场景下业务安全的同时,提供更精细化的用户体验。
            领券
            问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档