wget 批量下载文件

大大大黑白格子

发布于 2020-07-14 09:49:26

4.8K0

发布于 2020-07-14 09:49:26

文章被收录于专栏：云服务笔记

Linux 下使用wget批量下载文件：

方法一

wget 的 -i 参数支持下载本地或外部 FILE 中的 URLs，所以需要在Linux批量下载文件时，可将多个URL写入到一个文件中，然后使用下列命令下载这些URL对应对应资源

root@SH-Web /tmp # cat urlsfiles.txt
https://www.clhuang.cn/upload/2020/07/image-7f609af751664f4486a910f54a526239-thumbnail.png
https://www.clhuang.cn/upload/2020/06/image-6f097169e9f6420794bc9d8884ec384d-thumbnail.png
https://www.clhuang.cn/upload/2020/06/image-e5520f7c58c04d349787aa376c17c2da-thumbnail.png
root@SH-Web /tmp #
root@SH-Web /tmp # wget -i urlsfiles.txt
--2020-07-13 12:21:48--  https://www.clhuang.cn/upload/2020/07/image-7f609af751664f4486a910f54a526239-thumbnail.png
正在解析主机 www.clhuang.cn (www.clhuang.cn)... 49.235.56.56
正在连接 www.clhuang.cn (www.clhuang.cn)|49.235.56.56|:443... 已连接。
已发出 HTTP 请求，正在等待回应... 200 OK
长度：18015 (18K) [image/png]
正在保存至: “image-7f609af751664f4486a910f54a526239-thumbnail.png”

100%[===================================================================================================================================================>] 18,015      --.-K/s 用时 0s

2020-07-13 12:21:48 (189 MB/s) - 已保存 “image-7f609af751664f4486a910f54a526239-thumbnail.png” [18015/18015])

--2020-07-13 12:21:48--  https://www.clhuang.cn/upload/2020/06/image-6f097169e9f6420794bc9d8884ec384d-thumbnail.png
再次使用存在的到 www.clhuang.cn:443 的连接。
已发出 HTTP 请求，正在等待回应... 200 OK
长度：24372 (24K) [image/png]
正在保存至: “image-6f097169e9f6420794bc9d8884ec384d-thumbnail.png”

100%[===================================================================================================================================================>] 24,372      --.-K/s 用时 0s

2020-07-13 12:21:48 (286 MB/s) - 已保存 “image-6f097169e9f6420794bc9d8884ec384d-thumbnail.png” [24372/24372])

--2020-07-13 12:21:48--  https://www.clhuang.cn/upload/2020/06/image-e5520f7c58c04d349787aa376c17c2da-thumbnail.png
再次使用存在的到 www.clhuang.cn:443 的连接。
已发出 HTTP 请求，正在等待回应... 200 OK
长度：30984 (30K) [image/png]
正在保存至: “image-e5520f7c58c04d349787aa376c17c2da-thumbnail.png”

100%[===================================================================================================================================================>] 30,984      --.-K/s 用时 0.003s

2020-07-13 12:21:48 (9.98 MB/s) - 已保存 “image-e5520f7c58c04d349787aa376c17c2da-thumbnail.png” [30984/30984])

FINISHED --2020-07-13 12:21:48--
Total wall clock time: 0.1s
Downloaded: 3 files, 72K in 0.003s (22.3 MB/s)

方法二：

wget 后直接跟多个文件URL

root@SH-Web /tmp # wget https://www.clhuang.cn/upload/2020/07/image-7f609af751664f4486a910f54a526239-thumbnail.png https://www.clhuang.cn/upload/2020/06/image-6f097169e9f6420794bc9d8884ec384d-thumbnail.png https://www.clhuang.cn/upload/2020/06/image-e5520f7c58c04d349787aa376c17c2da-thumbnail.png
--2020-07-13 12:22:42--  https://www.clhuang.cn/upload/2020/07/image-7f609af751664f4486a910f54a526239-thumbnail.png
正在解析主机 www.clhuang.cn (www.clhuang.cn)... 49.235.56.56
正在连接 www.clhuang.cn (www.clhuang.cn)|49.235.56.56|:443... 已连接。
已发出 HTTP 请求，正在等待回应... 200 OK
长度：18015 (18K) [image/png]
正在保存至: “image-7f609af751664f4486a910f54a526239-thumbnail.png.1”

100%[===================================================================================================================================================>] 18,015      --.-K/s 用时 0s

2020-07-13 12:22:42 (252 MB/s) - 已保存 “image-7f609af751664f4486a910f54a526239-thumbnail.png.1” [18015/18015])

--2020-07-13 12:22:42--  https://www.clhuang.cn/upload/2020/06/image-6f097169e9f6420794bc9d8884ec384d-thumbnail.png
再次使用存在的到 www.clhuang.cn:443 的连接。
已发出 HTTP 请求，正在等待回应... 200 OK
长度：24372 (24K) [image/png]
正在保存至: “image-6f097169e9f6420794bc9d8884ec384d-thumbnail.png.1”

100%[===================================================================================================================================================>] 24,372      --.-K/s 用时 0s

2020-07-13 12:22:42 (276 MB/s) - 已保存 “image-6f097169e9f6420794bc9d8884ec384d-thumbnail.png.1” [24372/24372])

--2020-07-13 12:22:42--  https://www.clhuang.cn/upload/2020/06/image-e5520f7c58c04d349787aa376c17c2da-thumbnail.png
再次使用存在的到 www.clhuang.cn:443 的连接。
已发出 HTTP 请求，正在等待回应... 200 OK
长度：30984 (30K) [image/png]
正在保存至: “image-e5520f7c58c04d349787aa376c17c2da-thumbnail.png.1”

100%[===================================================================================================================================================>] 30,984      --.-K/s 用时 0.003s

2020-07-13 12:22:42 (10.1 MB/s) - 已保存 “image-e5520f7c58c04d349787aa376c17c2da-thumbnail.png.1” [30984/30984])

FINISHED --2020-07-13 12:22:42--
Total wall clock time: 0.05s
Downloaded: 3 files, 72K in 0.003s (22.8 MB/s)

本文参与腾讯云自媒体同步曝光计划，分享自作者个人站点/博客。

如有侵权请联系 cloudcommunity@tencent.com 删除

php