众所周知,风云卫星数据下载麻烦,尤其是下载大量数据,需要点击多个链接来一一下载。
尽管用户也可以使用DownThemAll[1]进行批量下载,但不适合直接在服务器上操作。
由于无法忍受这种**下载方式,朝曦dawn[2]就写了个爬虫脚本,爬取订单信息中的所有链接,放入bash脚本中,使用lftp进行一键下载。
虽然该方法可以暂时避免繁琐的下载步骤,不过还是建议卫星中心的网页/数据库开发者采用NASA GES DISC[3]的数据下载方式(支持一键导出下载链接,使用wget等工具下载)。
依赖于三个Python库:logging
, getpass
and selenium
,以及Chrome driver
。
具体请百度或右转谷歌。
脚本和详细例子[4]以及下载葵花8,ERA5的数据脚本[5],见底部References。
使用风云网页[6] (全平台) 或风云工具箱[7] (Windows)提交订单。
如果下载大量数据,建议使用工具箱(虽然工具箱也卡,但不会像网页直接卡死,希望网页/数据库开发者进行完善)。
在终端运行脚本,并根据提示填入用户信息(用户名,密码和验证码)
$ python fy.py
检查生成的 download_fy.sh
文件(文件名可通过脚本中的 savename
修改)。
bash脚本示例:
#!/bin/bash
lftp -e "mget -c ftp://AO20200701000066936:Uo6O5__j@ftp.nsmc.org.cn/*" &
lftp -e "mget -c ftp://AO20200701000065328:0lK_rxpW@ftp.nsmc.org.cn/AO202007010000653280001/*" &
lftp -e "mget -c ftp://AO20200701000065328:0lK_rxpW@ftp.nsmc.org.cn/AO202007010000653280002/*" &
lftp -e "mget -c ftp://AO20200701000065328:0lK_rxpW@ftp.nsmc.org.cn/AO202007010000653280003/*" &
.....
.....
$ chmod +x download_fy.sh
$ ./download_fy.sh
[1]
DownThemAll: https://www.downthemall.net/
[2]
朝曦dawn: https://dreambooker.site/
[3]
NASA GES DISC: https://disc.gsfc.nasa.gov/
[4]
脚本和详细例子: https://github.com/zxdawn/weather_data/tree/master/FY
[5]
葵花8,ERA5的数据脚本: https://github.com/zxdawn/weather_data
[6]
风云网页: http://satellite.nsmc.org.cn/portalsite/default.aspx
[7]
风云工具箱: http://fy4.nsmc.org.cn/nsmc/en/data/pcclient.html