Windows上Wget的更快替代方案
Windows上Wget的更快替代方案
提问于 2021-07-07 23:07:54
我正在下载大约5000 .htm网页从一个网站使用惠特为Windows。页面大小在500 KB到1，5MB之间。
下载1000个文件需要35分钟，这意味着5000个文件需要3个小时。还有更快的选择吗？也许某个程序可以在同一时间下载多个文件，或者下载内存中的文件，然后以100或300个文件的批次保存在磁盘上？
脚本如下所示：
wget -O 10001.htm https://www.wowhead.com/item=10001
wget -O 10002.htm https://www.wowhead.com/item=10002
..
wget -O 11000.htm https://www.wowhead.com/item=11000我只是使用wowhead.com作为一个例子，因为它们有很多文件，所以我可以创建一个很好的例子。我不需要那些文件从wowhead，但有时我不得不下载数千个类似大小的文件从其他网站。
回答 4
Software Recommendation用户
回答已采纳
发布于 2021-07-08 13:58:44
可能考虑使用aria2代替。
它附带了一系列特性，使得它在这种类型的使用中优于wget，包括：
- 支持并行运行多个下载，可以选择地限制每次下载带宽(如果处理大量的小文件，这是一个巨大的性能改进，如果服务器强制每个连接的带宽限制(对于大型文件托管站点来说这是相当常见的))。
- 支持使用多个连接下载单个大文件(如果web服务器支持的话)。
- 支持恢复部分下载，如果web服务器支持它的话。
- 支持为正在下载的文件预先分配空间(这有助于确保是否处理了许多您没有耗尽磁盘空间的文件，有时还可以加快将数据写入磁盘)。
- 内置支持HTTP，HTTPS，FTP，FTPS，SFTP，BitTorrent和Metalink.
- 能够以服务的形式运行并通过RPC远程控制，并使用少量第三方GUI界面(我个人对此的建议是AriaNg，这是一个不错的web用户界面)。
它也是完全免费的，并具有良好的跨平台支持。
Software Recommendation用户
发布于 2021-07-08 03:53:55
由于请求是独立的，所以可以将脚本划分为将并发执行的较小脚本。使四个大致相等的脚本很可能在当前时间的1/4内运行。随着同时请求的数量越来越多，您将受到限制在您的终端或主机。
Software Recommendation用户
发布于 2021-07-08 23:32:56
看起来您正在为每次下载启动一个新的wget实例。我通常将所有的URL存储在一个文本文件中(每行一个URL)，并使用wget的-i (输入文件)标志。
类似于：wget --no-clobber -i urls.txt
页面原文内容由Software Recommendation提供。腾讯云小微IT领域专用引擎提供翻译支持
原文链接：
https://softwarerecs.stackexchange.com/questions/79850
复制相关文章
相似问题
腾讯云开发者
