专栏首页程序员小助手常在web漂,哪有不挨刀:curl独门绝技,不来学几招防身吗?

常在web漂,哪有不挨刀:curl独门绝技,不来学几招防身吗?

引言

curl 是一个软件包,由命令行工具和使用URL语法传输数据的库组成。

curl 支持多种协议,如DICT、FILE、FTP、FTPS、Gopher、HTTP、HTTPS、IMAP、IMAPS、LDAP、LDAPS、POP3、POP3S、RTMP、RTSP、SCP、SFTP、SMTP、SMTPS、Telnet和TFTP。

本文用实例深度演示 curl 的详细用法。

下载单个文件

下面的命令将获取URL的内容并将其显示在STDOUT中(即在你的终端上)。

curl URL

要将输出存储到文件中,您可以将其重定向,如下所示。这还将显示一些额外的下载统计信息。

curl URL > output.html

将cURL输出保存到文件

我们可以使用-o/-O选项将curl命令的结果保存到文件中。

  • -o(小写o)结果将保存在命令行中提供的文件名中。
  • -O(大写O)将采用URL中的文件名,并将其用作存储结果的文件名
curl -o gettext.html URL

现在,页面URL将保存在名为“gettext.html”的文件中。你还会注意到,当使用-o选项运行curl时,它会显示下载的进度表。

当你使用curl-O(大写O)时,它会使用URL后缀文件名,并将内容保存在本地。

注意:当cURL必须将数据写入终端时,它会禁用进度表,以避免打印时的混乱。我们可以使用‘>’|‘-o’|‘-O’选项将结果移动到文件中

一次下载多个页面

通过在命令行上指定URL,我们可以一次下载多个文件。

curl -O URL1 -O URL2

下面的命令将下载a.html和b.html,并将其以对应的名称保存在当前目录下。

curl -O URL/a.html -O URL/b.html

当我们如上所述从同一服务器下载多个文件时,cURL将会尝试复用该连接。

使用-L选项跟随请求头HTTP Location

默认情况下,cURL不跟随HTTP Location标头。它也称为重定向

当请求的网页移动到另一个位置时,HTTP Location标头将作为响应发送,它将显示实际网页所在的位置。

例如,当用户在浏览器中键入a.com时,它将自动重定向到b.com。这是基于HTTP Location标头完成的,如下所示。

curl a.com

<TITLE>302 Moved</TITLE>
<H1>302 Moved</H1>
The document has moved
<A HREF="http://b.com">here</A>

上述信息也表明请求地址被永久重定向(302)到了其他地址。

我们可以使用-L选项坚持curl遵循重定向,使它下载最终的目标页面。

curl -L a.com

断点续传

使用curl-C选项,您可以继续下载由于某种原因已经停止的下载。当下载大文件,但网络被中断时,这将很有帮助。

如果我们使用“-C -”选项,那么cURL将找到断点并开始恢复下载

我们还可以给出一个偏移量‘-C<偏移量>’。将从源文件的开头跳过给定的偏移量字节

下面测试一下。使用curl开始大文件的下载,然后在下载之间按Ctrl-C组合键停止下载。

curl -O URL
##############             42.1%

下面额#表示进度条,下载停止在42.1%。

使用“curl -C -”,我们可以从前面停止的地方继续下载。现在,下载进度将从42.1%继续。

curl -C - -O URL
###############            42.1%

限制下载速度

你可以使用-limit-rate选项限制数据的传输量,将最大传输速率指定为参数。

 curl --limit-rate 50k -O UTL

上述命令将数据传输限制为50kb/秒。在短时间内,curl可以使用较高的传输速率。但平均而言,它将达到50kb/秒左右。可以使用大文件进行速度测试。

仅当文件在给定时间之前/之后被修改时才下载

我们可以使用curl中的-z选项获取在特定时间之后修改的文件。这对FTP和HTTP都有效。

curl -z 2012-03-04 URL

上述命令仅当URL文件晚于给定日期和时间时,上述命令才会下载。

curl -z -2012-03-04 URL

上述命令正好反过来,仅当URL文件早于给定日期时间才进行下载。

有关日期表达式支持的各种语法,请参阅 man curl_getdate。

在cURL中传递HTTP身份验证

有时,网站需要用户名和密码才能查看内容(可以使用.htaccess文件)。在-u选项的帮助下,我们可以将这些凭据从cURL传递到Web服务器,如下所示。

curl -u username:password URL

默认情况下,cURL使用基本HTTP身份验证,我们可以使用-ntlm | -digest指定其他身份验证方法。

从FTP服务器下载资源

cURL还可以用于从FTP服务器下载文件。如果给定的FTP路径是目录,则默认情况下将列出特定目录下的文件。

curl -u user:password -O ftp://ftp_server/path/to/file/readme

上述命令将会直接下载FTP服务器上的readme文件。

curl -u user:password -O ftp://ftp_server/path/to/file/

上述命令则罗列出该目录下所有的目录和文件。

模糊匹配下载路径

cURL支持URL中给定的范围。当给定范围时,将下载该范围内匹配的文件。从FTP镜像站点下载软件包会很有帮助。

 curl ftp://ftp_server/path/to/dest/[a-z]/

这样会罗列出所有从dest/a/ 到 dest/z/ 目录下的所有文件和目录。

上传文件到FTP服务器

cURL还可以用于通过-T选项将文件上传到FTP服务器。

curl -u user:password -T build.tar.gz ftp://ftp_server/path/to/dest/

上述命令把压缩包 build.tar.gz 推送到FTP服务器目录。

curl -u user:password -T "{file1,file2}" ftp://ftp_server/

上述命令则是上传多个文件到FTP服务器。

还有一个黑魔法,就是“-”,使用管道处理,获取stdin信息流,并经由cURL上传到FTP服务器。

echo blablabla | curl -u user:password -T - ftp://ftp_server/path/summary.log

更详细的输出

Linux下的同学应该很熟悉,多加几个-v就可以了。cURL也是如此。

curl -vvv URL

加到3个-v,请求的握手过程都给打印出来了。

通过代理下载文件

我们可以使用-x选项指定curl来使用代理执行特定的操作,需要指定代理的主机和端口。

curl -x proxy_ip:port URL

使用长选项更好记。

curl --proxy proxy_ip:port URL

使用SMTP协议发邮件

cURL还可用于通过SMTP协议发送邮件。你应该指定发件人地址、收件人地址和邮件服务器IP地址,如下所示。

curl --mail-from foo@bar.com --mail-rcpt foo@bar.com smtp://mailserver.com

一旦输入上述命令,它将等待用户向邮件提供数据。编写完消息后,请键入.(英文句号)作为最后一行,将立即发送电子邮件。

Subject: Testing
This is a test mail
.

写在最后

cURL提供的能力,不亚于生态完整的浏览器,更多用法等你来使用。

本文分享自微信公众号 - 程序员小助手(mql45ea),作者:罗卜生

原文出处及转载信息见文内详细说明,如有侵权,请联系 yunjia_community@tencent.com 删除。

原始发表时间:2020-04-07

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

我来说两句

0 条评论
登录 后参与评论

相关文章

  • 3分钟短文 | MySQL存时间,到底该用timestamp还是datetime?

    今天我们把知识的焦点投向数据库方面,因为数据库是应用程序的基石,是一切生产的动力。先说一个小小的知识点,在存储日期时间时,应该选用 timestamp 时间戳类...

    程序员小助手
  • 简单有趣:使用Go语言实现“时间服务器”,从此时间你说了算

    今天我们做一个简单的小实验,使用Go语言,实现“时间服务器”功能,让服务器对外提供时间同步校准功能。

    程序员小助手
  • 战斗民族最强大的壳:TTS语音合成必杀技,俄罗斯造的这款你没用过

    文件体积如此之小,主要在于它调用了系统的TTS服务,自身并没有文本合成语音的能力。

    程序员小助手
  • 微信公众平台开发

    <?php header('Content-Type: text/html; charset=UTF-8'); //_reply_customer("o2n...

    joshua317
  • 全新云彩APIV2发布

    原创文章采用CC BY-NC-SA 4.0协议进行许可,转载请注明转载自:全新云彩APIV2发布

    FHYC
  • 10个 ThinkPHP 开发常用代码片段

    在编写代码的时候有个神奇的汇总是好的!下面这里收集了 10+ PHP 代码片段,可以帮助你开发 PHP 项目。这些 PHP 片段对于 PHP 初学者也非常有帮助...

    php007
  • PHP模拟发送POST请求之五curl基本使用和多线程优化

    今天来介绍PHP模拟发送POST请求的重型武器——cURL函数库的使用和其多线程的优化方法。 说起cURL函数,可谓是老生常谈,但网上许多资料都在关键部分语焉不...

    枕边书
  • 使用curl工具调试https接口

    工作中需要对接调试http接口,之前都是写代码测试,发现直接用curl这个工具更简单高效。

    特立独行的猫a
  • 可以Postman也可以cURL.进来领略下cURL的独门绝技

    cURL 是一个开源免费项目,主要是命令行工具 cURL 和 libcurl,cURL 可以处理任何网络传输协议,但是不涉及任何具体的数据处理。

    未读代码
  • PHP使用curl取HTTP状态码

    墨渊

扫码关注云+社区

领取腾讯云代金券