从网页中提取结构化数据：Puppeteer和Cheerio的高级技巧

原创

jackcode

发布于 2023-08-28 14:56:38

6600

发布于 2023-08-28 14:56:38

文章被收录于专栏：爬虫资料

导语

网页数据抓取是一种从网页中提取有用信息的技术，它可以用于各种目的，如数据分析、竞争情报、内容聚合等。然而，网页数据抓取并不是一件容易的事情，因为网页的结构和内容可能会随时变化，而且有些网站会采用反爬虫措施，阻止或限制爬虫的访问。因此，我们需要使用一些高级的技巧，来提高爬虫的效率和稳定性。

概述

在本文中，我们将介绍两个常用的网页数据抓取工具：Puppeteer和Cheerio。Puppeteer是一个基于Node.js的无头浏览器库，它可以模拟浏览器的行为，如打开网页、点击元素、填写表单等。Cheerio是一个基于jQuery的HTML解析库，它可以方便地从HTML文档中提取数据，如选择器、属性、文本等。我们将结合这两个工具，展示如何从网页中提取结构化数据，并给出一些高级技巧，如使用代理IP、处理动态内容、优化性能等。

正文

使用代理IP提高爬虫效果

代理IP是一种隐藏真实IP地址的方法，它可以让爬虫伪装成不同的用户或地区访问网站，从而避免被封禁或限速。使用代理IP的方法有很多，例如使用第三方服务、自建代理池等。在本文中，我们将使用亿牛云爬虫代理作为示例，它提供了稳定、快速、安全的代理IP服务，并支持多种协议和认证方式。

要使用亿牛云爬虫代理，我们需要先注册一个账号，并获取域名、端口、用户名和密码。然后，在Puppeteer中，我们可以通过设置launch方法的args参数，来指定代理IP地址和认证信息。例如：

// 引入puppeteer模块
const puppeteer = require('puppeteer');

// 定义亿牛云 爬虫加强版代理的域名、端口、用户名和密码
const proxyDomain = 'www.16yun.cn';
const proxyPort = '9020';
const proxyUser = '16YUN';
const proxyPass = '16IP';

// 启动无头浏览器，并设置亿牛云代理IP地址和认证信息
const browser = await puppeteer.launch({
  args: [
    `--proxy-server=${proxyDomain}:${proxyPort}`,
    `--proxy-auth=${proxyUser}:${proxyPass}`
  ]
});

这样，我们就可以通过亿牛云爬虫代理访问任何网站了。

处理动态内容

动态内容是指那些不是在网页加载时就存在的内容，而是通过JavaScript或Ajax等技术在运行时生成或更新的内容。例如，有些网站会使用分页或滚动加载来显示更多数据，或者使用下拉菜单或按钮来切换不同的视图。这些动态内容对于普通的HTML解析器来说是不可见的，因此我们需要使用Puppeteer来模拟浏览器的交互行为，来触发或获取这些内容。

在Puppeteer中，我们可以使用page对象来操作网页。page对象提供了很多方法和事件，来模拟用户的输入和反馈。例如：

page.goto(url)：打开一个网页
page.waitForSelector(selector)：等待一个元素出现
page.click(selector)：点击一个元素
page.evaluate(function)：在网页中执行一个函数
page.on(event, handler)：监听一个事件

使用这些方法，我们可以实现很多复杂的交互逻辑，来处理动态内容。例如，假设我们要从一个电商网站中提取商品的名称、价格和评分，但是这些数据是通过滚动加载的，我们可以使用以下代码：

// 引入puppeteer和cheerio模块
const puppeteer = require('puppeteer');
const cheerio = require('cheerio');

// 定义目标网址
const url = 'https://www.amazon.com/s?k=iphone';

// 启动无头浏览器，并设置亿牛云代理IP地址和认证信息
const browser = await puppeteer.launch({
  args: [
    `--proxy-server=${proxyDomain}:${proxyPort}`,
    `--proxy-auth=${proxyUser}:${proxyPass}`
  ]
});

// 打开一个新的页面
const page = await browser.newPage();

// 打开目标网址
await page.goto(url);

// 定义一个空数组，用于存储提取的数据
let data = [];

// 定义一个循环，用于滚动加载更多数据
while (true) {
  // 等待商品列表出现
  await page.waitForSelector('.s-result-list');

  // 获取网页的HTML内容
  const html = await page.content();

  // 使用cheerio加载HTML内容，并提取数据
  const $ = cheerio.load(html);
  $('.s-result-item').each((index, element) => {
    // 获取商品的名称、价格和评分
    const name = $(element).find('.a-size-medium').text().trim();
    const price = $(element).find('.a-price-whole').text().trim();
    const rating = $(element).find('.a-icon-alt').text().trim();

    // 如果数据不为空，就添加到数组中
    if (name && price && rating) {
      data.push({ name, price, rating });
    }
  });

  // 打印当前提取的数据数量
  console.log(`当前提取了${data.length}条数据`);

  // 判断是否有下一页的按钮
  const nextButton = await page.$('.a-last a');

  // 如果有下一页的按钮，就点击它，并继续循环
  if (nextButton) {
    await nextButton.click();
  } else {
    // 如果没有下一页的按钮，就退出循环
    break;
  }
}

// 关闭无头浏览器
await browser.close();

// 打印最终提取的数据
console.log(data);

这样，我们就可以从动态内容中提取结构化数据了。

优化性能

性能是指爬虫的运行速度和资源消耗。性能优化是指通过一些方法，来提高爬虫的运行效率和稳定性。性能优化的方法有很多，例如：

减少无用的请求：有些网页会加载很多不相关的资源，如图片、视频、广告等，这些资源对于数据抓取来说是没有用的，而且会增加网络流量和内存占用。我们可以通过设置page.setRequestInterception(true)和page.on('request', callback)来拦截和过滤这些请求。例如：

// 启用请求拦截
await page.setRequestInterception(true);

// 监听请求事件，并过滤不需要的请求类型
page.on('request', request => {
  const type = request.resourceType();
  if (type === 'image' || type === 'media' || type === 'font') {
    request.abort();
  } else {
    request.continue();
  }
});

并发多个任务：有些时候，我们需要抓取多个网页或多个网站的数据，如果我们按照顺序一个一个地抓取，那么会花费很多时间。我们可以通过使用Promise.all()或Promise.map()等方法，来并发多个任务，从而提高爬虫的速度。例如，假设我们要从三个不同的网站中提取新闻标题，我们可以使用以下代码：

// 引入puppeteer和cheerio模块
const puppeteer = require('puppeteer');
const cheerio = require('cheerio');

// 定义三个目标网址
const urls = [
  'https://www.bbc.com/news',
  'https://www.cnn.com',
  'https://www.nytimes.com'
];

// 启动无头浏览器，并设置亿牛云代理IP地址和认证信息
const browser = await puppeteer.launch({
  args: [
    `--proxy-server=${proxyDomain}:${proxyPort}`,
    `--proxy-auth=${proxyUser}:${proxyPass}`
  ]
});

// 定义一个函数，用于从一个网址中提取新闻标题
const getNewsTitles = async (url) => {
  // 打开一个新的页面
  const page = await browser.newPage();

  // 打开目标网址
  await page.goto(url);

  // 获取网页的HTML内容
  const html = await page.content();

  // 使用cheerio加载HTML内容，并提取数据
  const $ = cheerio.load(html);
  const titles = [];
  $('h1, h2, h3').each((index, element) => {
    // 获取新闻标题，并去除空白字符
    const title = $(element).text().trim();

    // 如果标题不为空，就添加到数组中
    if (title) {
      titles.push(title);
    }
  });

  // 返回提取的数据
  return titles;
};

// 使用Promise.all()并发执行三个任务，并获取结果
const results = await Promise.all(urls.map(getNewsTitles));

// 关闭无头浏览器
await browser.close();

// 打印最终提取的数据
console.log(results);

这样，我们就可以同时从三个网站中提取新闻标题了。

案例

为了更好地理解和应用Puppeteer和Cheerio的高级技巧，我们将以一个具体的案例来进行演示。我们的目标是从豆瓣电影网站中提取最新上映的电影的名称、评分、类型和简介，并保存到一个CSV文件中。

首先，我们需要安装puppeteer、cheerio和csv-writer这三个模块：

npm install puppeteer cheerio csv-writer --save

然后，我们需要编写以下代码：

// 引入puppeteer、cheerio和csv-writer模块
const puppeteer = require('puppeteer');
const cheerio = require('cheerio');
const csvWriter = require('csv-writer');

// 定义目标网址
const url = 'https://movie.douban.com/cinema/nowplaying';

// 启动无头浏览器，并设置亿牛云代理IP地址和认证信息
const browser = await puppeteer.launch({
  args: [
    `--proxy-server=${proxyDomain}:${proxyPort}`,
    `--proxy-auth=${proxyUser}:${proxyPass}`
  ]
});

// 打开一个新的页面
const page = await browser.newPage();

// 打开目标网址
await page.goto(url);

// 获取网页的HTML内容
const html = await page.content();

// 使用cheerio加载HTML内容，并提取数据
const $ = cheerio.load(html);
const data = [];
$('#nowplaying .list-item').each((index, element) => {
  // 获取电影的名称、评分、类型和简介
  const name = $(element).data('title');
  const rating = $(element).data('score');
  const genre = $(element).data('category');
  const summary = $(element).find('.stitle a').attr('title');

  // 如果数据不为空，就添加到数组中
  if (name && rating && genre && summary) {
    data.push({ name, rating, genre, summary });
  }
});

// 关闭无头浏览器
await browser.close();

// 定义CSV文件的列名和路径
const columns = [
  { id: 'name', title: '名称' },
  { id: 'rating', title: '评分' },
  { id: 'genre', title: '类型' },
  { id: 'summary', title: '简介' }
];
const path = './movies.csv';

// 创建一个CSV文件写入器，并写入数据
const writer = csvWriter.createObjectCsvWriter({ path, columns });
await writer.writeRecords(data);

// 打印完成的提示
console.log('数据已保存到movies.csv文件中');

最后，我们可以运行以下命令，来执行我们的代码：

node index.js

这样，我们就可以从豆瓣电影网站中提取最新上映的电影的数据，并保存到一个CSV文件中了。

结语

在本文中，我们介绍了如何使用Puppeteer和Cheerio来从网页中提取结构化数据，并给出了一些高级技巧，如使用代理IP、处理动态内容、优化性能等。我们还以一个具体的案例来进行演示，从豆瓣电影网站中提取最新上映的电影的数据，并保存到一个CSV文件中。我们希望这些技巧和案例能够对您有所启发和帮助，让您能够更好地利用网页数据抓取的技术，来实现您的目标和需求。

原创声明：本文系作者授权腾讯云开发者社区发表，未经许可，不得转载。

如有侵权，请联系 cloudcommunity@tencent.com 删除。

jquery