linux常用下载工具

重点介绍一下wget

这个工具是在linux下最常用的下载的工具,支持多种条件的下载。

普通下载

wget http://example.com/file.iso

指定保存文件名

wget ‐‐output-document=myname.iso http://example.com/file.iso

保存到指定目录

wget ‐‐directory-prefix=folder/subfolder http://example.com/file.iso

大文件断点续传

wget ‐‐continue http://example.com/big.file.iso

下载最新版本

wget ‐‐continue ‐‐timestamping http://wordpress.org/latest.zip

下载指定文件中的url列表

wget ‐‐input list-of-file-urls.txt

下载指定数字列表的多个文件

wget http://example.com/images/{1..20}.jpg

下载web页面的所有资源

wget ‐‐page-requisites ‐‐span-hosts ‐‐convert-links ‐‐adjust-extension http://example.com/dir/file

下载整个网站

下载所有lian接的页面和文件

wget ‐‐execute robots=off ‐‐recursive ‐‐no-parent ‐‐continue ‐‐no-clobber http://example.com/

下载指定后缀的文件

wget ‐‐level=1 ‐‐recursive ‐‐no-parent ‐‐accept mp3,MP3 http://example.com/mp3/

下载指定目录的所有图片

wget ‐‐directory-prefix=files/pictures ‐‐no-directories ‐‐recursive ‐‐no-clobber ‐‐accept jpg,gif,png,jpeghttp://example.com/images/

下载多个域名下的pdf文件

wget ‐‐mirror ‐‐domains=abc.com,files.abc.com,docs.abc.com ‐‐accept=pdf http://abc.com/

排除指定目录下载

wget ‐‐recursive ‐‐no-clobber ‐‐no-parent ‐‐exclude-directories /forums,/support http://example.com

绕过限制下载

指定user-agent

wget ‐‐refer=http://google.com ‐‐user-agent=”Mozilla/5.0 Firefox/4.0.1″ http://baidu.com

指定用户名密码

wget ‐‐http-user=labnol ‐‐http-password=hello123 http://example.com/secret/file.zip

post帐号密码并保存cookie

wget ‐‐cookies=on ‐‐save-cookies cookies.txt ‐‐keep-session-cookies ‐‐post-data 'user=labnol&password=123'http://example.com/login.php

使用cookie下载文件

wget ‐‐cookies=on ‐‐load-cookies cookies.txt ‐‐keep-session-cookies http://example.com/paywall

Axel

这个工具作为一个多线程的下载工具,对于大文件下载来说是非常好用的。

指定下载的线程数

axel.exe -n 30 http://www.test.com/bigfile.zip

切换下载显示模式

axel.exe -a http://www.test.com/bigfile.zip

默认满屏幕都是结果,使用-a参数后输出类似于wget

参数解释

axel.png

curl

这个作为一个强大的命令行版的浏览网页的工具,在下载文件这个功能上没有以上两个工具专业,他的强大之处需要去使用了才知道。

直接显示内容

curl http://www.test.com/test.txt

指定保存的名字

curl -o test.html http://www.test.com/test.txt

不指定自动保存为原文件的名字

curl -O http://www.test.com/test.txt

总结

这几个工具在linux下常用的工具,也有Windows版的,可以安装预感cygwin,然后从里面提取出来在Windows下使用。

原文发布于微信公众号 - 信安之路(xazlsec)

原文发表时间:2017-07-01

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏测试驿栈

JProfiler简明使用教程

 JProfile是一款性能瓶颈分析工具,监控粒度可以细化到某一个类包,堪称神器!我安装了一下9.11的版本,并简单说说使用方法。

1.9K30
来自专栏极客慕白的成长之路

搭建自己的Git服务器

搭建Git服务器   让我们先看下服务器端SSH访问的配置。在这个例子中,我们使用authorized_keys的方法认证用户。我们假设你的服务器是一个标...

23410
来自专栏技术博文

linux创建目录mkdir命令(5)

linux mkdir 命令用来创建指定的名称的目录,要求创建目录的用户在当前目录中具有写权限,并且指定的目录名不能是当前目录中已有的目录。 1.命令格式: m...

41490
来自专栏不想当开发的产品不是好测试

find命令小结

背景:由于机器上log日志比较多,所以想写个脚本定时清理日志 find  /apps/logs/log_receiver -mtime +7 -name "*[...

21050
来自专栏云计算教程系列

如何在CVM上安装Nginx

Nginx是世界上最受欢迎的网络服务器之一,负责托管互联网上一些规模最大,流量最高的网站。在大多数情况下,它比Apache更具资源友好,可以用作Web服务器或反...

41420
来自专栏小狼的世界

Tomcat 安装与配置

Tomcat 在官方网站中提供了两个 Windows 安装版本,一个是普通安装版,一个是解压版。普通安装版带了安装器,像我们安装其他Windows程序一样,可以...

24010
来自专栏Ryan Miao

redis学习之三配置文件redis.conf 的含义

摘自http://www.runoob.com/redis/redis-conf.html 安装redis之后的第一件事,我就开始配置密码,结果总是不生效,而我...

27750
来自专栏noteless

eclipse 创建maven 项目 动态web工程完整示例

注意,以下所有需要建立在你的eclipse等已经集成配置好了maven了,说白了就是新建项目的时候已经可以找到maven了

13210
来自专栏Jay的后台开发笔记

简单的linux系统配置故障定位与排除

本文旨在通过一些常用命令的用法示例,让有一定linux基础的开发同学能对系统进行简单配置,也能够上服务器定位或者解决一些简单基础性的问题,做出初步故障排除,或者...

31060
来自专栏草根专栏

Git基本命令 -- 基本工作流程 + 文件相关操作

可以先找一个已经被git管理的项目, 我就使用这个项目吧: https://github.com/solenovex/ID3-Editor 基本工作流程 克隆以...

31580

扫码关注云+社区

领取腾讯云代金券