专栏首页叉叉敌Linux常用命令08 - curl

Linux常用命令08 - curl

curl 是一个命令行实用程序,用于将数据从服务器或传输到服务器,该服务器设计用于在没有用户交互的情况下工作。 使用 curl,您可以使用支持的协议(包括 HTTP、 HTTPS、 SCP、 SFTP 和 FTP)下载或上传数据。 curl 提供了许多选项,允许您恢复传输、限制带宽、代理支持、用户认证等等。

下面就介绍常见的用法, 将通过实际例子和最常见的 curl 选项的详细说明,向您展示如何使用 curl 工具。

安装 curl

现在大多数 Linux 发行版都预先安装了 curl 包。

要检查 curl 包是否已安装在系统上,请打开控制台,键入 curl,然后按回车键。 如果您安装了 curl,系统将打印 curl: 尝试‘curl --help’或‘ curl --manual’获取更多信息。 否则,您将看到类似 curl 命令的内容没有被找到。

如果没有安装 curl,您可以使用发行版的包管理器轻松地安装它。

在 Ubuntu 和 Debian 上安装 curl

sudo apt update
sudo apt install curl

在 CentOS 和 Fedora 上安装 curl

sudo yum install curl

如何使用 curl

curl 命令的语法如下:

curl [options] [URL...]

在其最简单的形式中,当不使用任何选项调用时,curl 将指定的资源显示到标准输出。

例如,要检索示例网站的主页,你可以运行:

curl chasays.github.io

该命令将在您的终端窗口中打印示例.com 主页的源代码。

如果没有指定协议,curl 会尝试猜测您想要使用的协议,它将默认为 HTTP。

将输出保存到文件中

若要保存 curl 命令的结果,请使用-o 或-O 选项。

Lowercase -o 使用一个预定义的文件名保存文件,在下面的示例中是 vue-v2.6.10. js:

curl -o vue-v2.6.10.js https://cdn.jsdelivr.net/npm/vue/dist/vue.js

大写 -O 保存文件和它的原始文件名:

curl -O https://cdn.jsdelivr.net/npm/vue/dist/vue.js

下载多个文件

要一次下载多个文件,请使用多个 -O 选项,后跟要下载的文件的 URL。

在下面的例子中,我们正在下载 Arch Linux 和 Debian iso 文件:

curl -O http://mirrors.edge.kernel.org/archlinux/iso/2018.06.01/archlinux-2018.06.01-x86_64.iso  \
     -O https://cdimage.debian.org/debian-cd/current/amd64/iso-cd/debian-9.4.0-amd64-netinst.iso

恢复下载

您可以使用 -C 选项恢复下载。 如果您的连接在下载一个大文件期间断开,而且您可以继续前一个文件而不是从头开始下载,那么这将非常有用。

例如,如果你正在下载 Ubuntu 18.04 iso 文件,使用以下命令:

curl -O https://updates.cdn-apple.com/2020/macos/061-44388-20200128-3badc52c-6391-412c-86d9-fc2aaf9514e0/macOSUpd10.15.3.dmg

然后你的连接突然断开,你可以用以下命令继续下载:

curl -C - -O https://updates.cdn-apple.com/2020/macos/061-44388-20200128-3badc52c-6391-412c-86d9-fc2aaf9514e0/macOSUpd10.15.3.dmg

获取 URL 的 HTTP 头

Http 头是冒号分隔的键值对,包含用户代理、内容类型和编码等信息。 头文件通过请求或响应在客户端和服务器之间传递。

使用 -I 选项仅获取指定资源的 HTTP 标头:

curl -I --http2 https://www.apple.com/

测试网站是否支援 http/2

要检查某个特定的 URL 是否支持新的 HTTP/2协议,请使用-i 和 --http2选项获取 HTTP header:

curl -I --http2 -s https://apple.com/ | grep HTTP

S 选项告诉 curl 以静音(quiet)运行,并隐藏进度表和错误消息。

如果远程服务器支持 http/2,curl 打印 http/2.0200:

HTTP/2 200

否则,回复就是 http/1.1200:

HTTP/1.1 200 OK

如果您使用的是 curl 版本7.47.0或更高版本,则不需要使用 -- http2选项,因为所有 HTTPS 连接都默认启用了 http/2。

遵循重定向

默认情况下,curl 不遵循 HTTP Location 头。

如果你尝试检索非 www 版本的 google. com,你会注意到,你不但没有获得页面的来源,反而会被重定向到 www 版本:

curl baidu.com

选项指示 curl 跟踪任何重定向,直到它到达最终目的地: curl -L baidu.com

更改用户代理

有时在下载文件时,远程服务器可能被设置为阻止 curl User-Agent,或者根据访问者设备和浏览器返回不同的内容。

在这种情况下模拟不同的浏览器,使用 -a 选项。

例如,要模拟 Firefox 60,你可以使用:

curl -A "Mozilla/5.0 (X11; Linux x86_64; rv:60.0) Gecko/20100101 Firefox/60.0" https://baidu.org/

指定最大传输速率

--limit-rate 选项允许您限制数据传输速率。 该值可以用字节表示,k 后缀为千字节,m 后缀为兆字节,g 后缀为千字节。

在下面的例子中 curl 将下载 Go 二进制文件,并将下载速度限制在1 mb:

curl --limit-rate 1m -O https://dl.google.com/go/go1.10.3.linux-amd64.tar.gz

此选项有助于防止 curl 占用所有可用带宽。

通过 FTP 传输文件

要使用 curl 访问受保护的 FTP 服务器,请使用-u 选项并指定用户名和密码,如下所示:

curl -u FTP_USERNAME:FTP_PASSWORD ftp://ftp.baidu.com/

登录后,该命令列出用户主目录中的所有文件和目录。

你可以使用以下语法从 FTP 服务器下载一个文件:

curl -u FTP_USERNAME:FTP_PASSWORD ftp://ftp.example.com/file.tar.gz

要将文件上传到 FTP 服务器,请使用-t 后跟要上传的文件的名称:

curl -T newfile.tar.gz -u FTP_USERNAME:FTP_PASSWORD ftp://ftp.example.com/

使用cookies

有时您可能需要使用特定的 cookie 发出 HTTP 请求以访问远程资源或调试问题。

默认情况下,当使用 curl 请求资源时,不会发送或存储 cookie。

若要将 cookie 发送到服务器,请使用-b 开关,后跟包含 cookie 或字符串的文件名。

例如,下载 oraclejavajdkrpm 文件 JDK-10.0.2 linux-x64 bin。 Rpm 你需要传递一个值为 a 的名为 oraclericense 的 cookie:

curl -L -b "oraclelicense=a" -O http://download.oracle.com/otn-pub/java/jdk/10.0.2+13/19aef61b38124481863b1413dce1855f/jdk-10.0.2_linux-x64_bin.rpm

使用代理

支持不同类型的代理,包括 HTTP、 HTTPS 和 SOCKS。 若要通过代理服务器传输数据,请使用-x (-- proxy)选项,后跟代理 URL。

下面的命令使用代理在192.168.44.1 port 8888上下载指定的资源:

curl -x 192.168.44.1:8888 http://google.com/

如果代理服务器需要身份验证,请使用-u (-- proxy-user)选项,后跟用户名和密码,用冒号分隔(user: password) :

curl -U username:password -x 192.168.44.1:8888 http://google.com/

小结

curl 是一个命令行工具,它允许您从远程主机或向远程主机传输数据。 它对于故障排除、下载文件等非常有用。 我只是做了一些简单的实例,但是演示了最常用的 curl 选项,这些示例旨在帮助您理解 curl 命令的工作原理。

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

我来说两句

0 条评论
登录 后参与评论

相关文章

  • gRPC-是个好东西

    最近写自动化测试脚本的时候发现,从安卓设备上用am执行完成,获取返回值是有问题的,没法获取到这个值,都是一堆TestRunner的信息。怎么解决喃?那就试试gR...

    叉叉敌
  • Windows下运行 Android CTS

    在windows下运行android CTS的文章, 在网上找了一圈, 发现都是老版本的, 而且官方也明确说了, 不支持在window上运行.

    叉叉敌
  • 用JCIFS下载windows共享文件

    有同事在外地,他们提供给我的软件包也是在他们本地的,因此开启了windows自带的共享,这样就方便我们取包。由于地域限制,我们访问非常的慢,因此考虑到用Jenk...

    叉叉敌
  • PHP使用curl取HTTP状态码

    V站CEO-西顾
  • PHP使用CURL模拟POST和GET请求

    在PHP中想要构造类似GET和POST请求,在一些APP或者等后端功能开发中是有这种需求。 在PHP语言当中有file_get_content ()函数和cur...

    WZR
  • php使用CURL模拟POST请求函数

    本文为仙士可原创文章,转载无需和我联系,但请注明来自仙士可博客www.php20.cn

    仙士可
  • 10个 ThinkPHP 开发常用代码片段

    在编写代码的时候有个神奇的汇总是好的!下面这里收集了 10+ PHP 代码片段,可以帮助你开发 PHP 项目。这些 PHP 片段对于 PHP 初学者也非常有帮助...

    php007
  • PHP网络爬虫之CURL

    php的curl可以实现模拟http的各种请求,这也是php做网络爬虫的基础,也多用于接口api的调用。 PHP 支持 Daniel Stenberg 创建的 ...

    benny
  • PHP扩展功能--cURL

    cURL 表示以命令行的形式请求某个 url, 提交数据或获取相应数据。在日常的程序开发中会用到,因此,了解 cURL 的原理和过程,有助于实际工作和项目中的应...

    程序小工
  • Linux_服务器_01_查看公网IP

    shirayner

扫码关注云+社区

领取腾讯云代金券