如何在C程序中使用libcurl库下载网页内容

原创

jackcode

发布于 2023-10-17 16:45:42

3490

发布于 2023-10-17 16:45:42

文章被收录于专栏：爬虫资料爬虫资料

概述

爬虫是一种自动获取网页内容的程序，它可以用于数据采集、信息分析、网站监测等多种场景。在C语言中，有一个非常强大和灵活的库可以用于实现爬虫功能，那就是libcurl。libcurl是一个支持多种协议和平台的网络传输库，它提供了一系列的API函数，可以让开发者方便地发送和接收HTTP请求。

本文将介绍如何在C程序中使用libcurl库下载网页内容，并保存到本地文件中。同时，为了避免被目标网站封禁IP，我们还将使用代理IP技术，通过不同的IP地址访问网站。我们将参考爬虫代理的域名、端口、用户名、密码，来获取可用的代理IP。最后，我们将使用自定义写入回调函数，来处理网页内容的写入操作。

正文

1. 安装和配置libcurl库

要使用libcurl库，首先需要下载并安装它。我们可以从官网下载最新版本的源码包，也可以使用包管理器来安装预编译的二进制包。以Windows平台为例，我们可以使用Visual Studio命令行工具来编译libcurl库。具体步骤如下：

下载并解压libcurl源码包
打开Visual Studio命令行工具，并切换到源码包的winbuild目录下
执行编译命令，例如：nmake /f Makefile.vc mode=dll VC=15 MACHINE=x64 DEBUG=no⁵
编译成功后，在builds目录下会生成相应的头文件、库文件和可执行文件

接下来，我们需要配置libcurl库的路径和链接选项。以Visual Studio为例，我们可以在项目属性中设置以下内容：

在C/C++ -> 常规 -> 附加包含目录中添加libcurl头文件所在的路径
在链接器 -> 常规 -> 附加库目录中添加libcurl库文件所在的路径
在链接器 -> 输入 -> 附加依赖项中添加libcurl.lib

2. 初始化和设置libcurl句柄

要使用libcurl库发送HTTP请求，我们需要创建一个libcurl句柄，并对其进行一些必要的设置。具体步骤如下：

调用curl_global_init函数初始化libcurl环境
调用curl_easy_init函数创建一个libcurl句柄
调用curl_easy_setopt函数设置一些选项，例如：
- CURLOPT_URL：设置要访问的网址
- CURLOPT_PROXY：设置代理服务器的地址和端口
- CURLOPT_PROXYTYPE：设置代理服务器的类型，例如HTTP或SOCKS
- CURLOPT_PROXYUSERPWD：设置代理服务器的用户名和密码
- CURLOPT_WRITEFUNCTION：设置写入回调函数的指针
- CURLOPT_WRITEDATA：设置写入回调函数的参数

3. 发送HTTP请求并处理响应

设置好libcurl句柄后，我们就可以发送HTTP请求了。具体步骤如下：

调用curl_easy_perform函数执行HTTP请求
调用curl_easy_getinfo函数获取一些有用的信息，例如：
- CURLINFO_RESPONSE_CODE：获取HTTP响应的状态码
- CURLINFO_PRIMARY_IP：获取目标网站的IP地址
- CURLINFO_CONTENT_TYPE：获取响应的内容类型
调用写入回调函数处理响应的内容，例如：
- 打开一个本地文件
- 将响应的内容写入文件
- 关闭文件

4. 释放资源和清理环境

完成HTTP请求后，我们需要释放一些资源，并清理libcurl环境。具体步骤如下：

调用curl_easy_cleanup函数释放libcurl句柄
调用curl_global_cleanup函数清理libcurl环境

5.C代码示例

首先是回调函数的实现如下：

// 定义写入回调函数的实现
size_t write_data(void *ptr, size_t size, size_t nmemb, void *stream) {
  // 计算接收到的数据的字节数
  size_t bytes = size * nmemb;

  // 将数据写入文件中
  fwrite(ptr, size, nmemb, (FILE *)stream);

  // 返回写入的字节数
  return bytes;
}

这个函数的参数和返回值都是由libcurl库定义的，我们只需要按照规范来实现即可。函数的作用是将接收到的数据（ptr）写入到指定的文件流（stream）中，并返回写入的字节数（bytes）。这样，libcurl库就可以知道是否有数据丢失或错误发生。

下面是完整的C代码，你可以编译运行，看看效果如何。

#include <stdio.h>
#include "curl/curl.h"

size_t write_data(void *ptr, size_t size, size_t nmemb, void *stream);

// 亿牛云 爬虫代理 设置代理服务器域名、端口、用户名、密码
#define PROXY_HOST "http://www.16yun.cn"
#define PROXY_PORT "8080"
#define PROXY_USER "16YUN"
#define PROXY_PASS "16IP"
#define URL "http://www.example.com"
#define FILENAME "example.html"

int main(void) {
  // 初始化 curl 库
  CURLcode code = curl_global_init(CURL_GLOBAL_ALL);
  if (code != CURLE_OK) {
    fprintf(stderr, "初始化失败: %s\n", curl_easy_strerror(code));
    return 1;
  }

  // 获取 curl 库的版本信息
  curl_version_info_data *data = curl_version_info(CURLVERSION_NOW);
  printf("curl 库的版本: %s\n", data->version);

  // 创建一个 easy 句柄
  CURL *curl = curl_easy_init();
  if (curl == NULL) {
    fprintf(stderr, "创建句柄失败\n");
    curl_global_cleanup();
    return 2;
  }

  // 设置 URL
  code = curl_easy_setopt(curl, CURLOPT_URL, URL);
  if (code != CURLE_OK) {
    fprintf(stderr, "设置 URL 失败: %s\n", curl_easy_strerror(code));
    curl_easy_cleanup(curl);
    curl_global_cleanup();
    return 3;
  }

  // 设置代理服务器
  code = curl_easy_setopt(curl, CURLOPT_PROXY, PROXY_HOST ":" PROXY_PORT);
  if (code != CURLE_OK) {
    fprintf(stderr, "设置代理服务器失败: %s\n", curl_easy_strerror(code));
    curl_easy_cleanup(curl);
    curl_global_cleanup();
    return 4;
  }

  // 设置代理类型
  code = curl_easy_setopt(curl, CURLOPT_PROXYTYPE, CURLPROXY_HTTP);
  if (code != CURLE_OK) {
    fprintf(stderr, "设置代理类型失败: %s\n", curl_easy_strerror(code));
    curl_easy_cleanup(curl);
    curl_global_cleanup();
    return 5;
  }

  // 设置代理认证
  code = curl_easy_setopt(curl, CURLOPT_PROXYUSERPWD, PROXY_USER ":" PROXY_PASS);
  if (code != CURLE_OK) {
    fprintf(stderr, "设置代理认证失败: %s\n", curl_easy_strerror(code));
    curl_easy_cleanup(curl);
    curl_global_cleanup();
    return 6;
  }

  // 设置用户代理
  char *user_agent = "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.110 Safari/537.36";
  code = curl_easy_setopt(curl, CURLOPT_USERAGENT, user_agent);
  if (code != CURLE_OK) {
    fprintf(stderr, "设置用户代理失败: %s\n", curl_easy_strerror(code));
    curl_easy_cleanup(curl);
    curl_global_cleanup();
    return 7;
  }

  // 设置 Cookie
  char *cookies = "your_cookie_data_here";
  code = curl_easy_setopt(curl, CURLOPT_COOKIE, cookies);
  if (code != CURLE_OK) {
    fprintf(stderr, "设置 Cookie 失败: %s\n", curl_easy_strerror(code));
    curl_easy_cleanup(curl);
    curl_global_cleanup();
    return 8;
  }

  // 设置写入数据的回调函数
  code = curl_easy_setopt(curl, CURLOPT_WRITEFUNCTION, write_data);
  if (code != CURLE_OK) {
    fprintf(stderr, "设置回调函数失败: %s\n", curl_easy_strerror(code));
    curl_easy_cleanup(curl);
    curl_global_cleanup();
    return 9;
  }

  // 打开本地文件
  FILE *file = fopen(FILENAME, "wb");
  if (file == NULL) {
    fprintf(stderr, "打开文件失败: %s\n", FILENAME);
    curl_easy_cleanup(curl);
    curl_global_cleanup();
    return 10;
  }

  // 设置写入数据的文件指针
  code = curl_easy_setopt(curl, CURLOPT_WRITEDATA, file);
  if (code != CURLE_OK) {
    fprintf(stderr, "设置文件指针失败: %s\n", curl_easy_strerror(code));
    fclose(file);
    curl_easy_cleanup(curl);
    curl_global_cleanup();
    return 11;
  }

  // 执行传输
  code = curl_easy_perform(curl);
  if (code != CURLE_OK) {
    fprintf(stderr, "执行传输失败: %s\n", curl_easy_strerror(code));
    fclose(file);
    curl_easy_cleanup(curl);
    curl_global_cleanup();
    return 12;
  }

  // 获取响应状态码
  long status;
  code = curl_easy_getinfo(curl, CURLINFO_RESPONSE_CODE, &status);
  if (code == CURLE_OK) {
    printf("响应状态码: %ld\n", status);
  } else {
    fprintf(stderr, "获取状态码失败: %s\n", curl_easy_strerror(code));
  }

  // 获取目标 IP 地址
  char *ip;
  code = curl_easy_getinfo(curl, CURLINFO_PRIMARY_IP, &ip);
  if (code == CURLE_OK) {
    printf("目标 IP 地址: %s\n", ip);
    free(ip); // 需要释放字符串指针
  } else {
    fprintf(stderr, "获取 IP 地址失败: %s\n", curl_easy_strerror(code));
  }

  // 获取内容类型
  char *type;
  code = curl_easy_getinfo(curl, CURLINFO_CONTENT_TYPE, &type);
  if (code == CURLE_OK) {
    printf("内容类型: %s\n", type);
    free(type); // 需要释放字符串指针
  } else {
    fprintf(stderr, "获取内容类型失败: %s\n", curl_easy_strerror(code));
  }

  // 关闭文件
  fclose(file);

  // 清理 easy 句柄
  curl_easy_cleanup(curl);

  // 清理全局资源
  curl_global_cleanup();

  return 0;
}

// 写入数据的回调函数
size_t write_data(void *ptr, size_t size, size_t nmemb, void *stream) {
  
   size_t written = fwrite(ptr, size, nmemb, (FILE *)stream);

   if (written != size * nmemb) {
     fprintf(stderr, "写入文件出错\n");
     return -1; // 返回一个负值，停止传输
   }

   return written;
}