Puppeteer动态代理实战：提升数据抓取效率

原创

jackcode

发布于 2024-07-15 11:36:43

1870

发布于 2024-07-15 11:36:43

文章被收录于专栏：爬虫资料

引言

Puppeteer是由Google Chrome团队开发的一个Node.js库，用于控制Chrome或Chromium浏览器。它提供了高级API，可以进行网页自动化操作，包括导航、屏幕截图、生成PDF、捕获网络活动等。在本文中，我们将重点介绍如何使用Puppeteer实现动态代理，以提高数据抓取效率。

正文

设置代理并启动浏览器

首先，我们需要准备一个可信赖的代理服务器。代理服务器可以是HTTP代理或SOCKS代理，确保代理IP可用，并且支持HTTP/HTTPS协议。我们将使用爬虫代理作为示例。

const puppeteer = require('puppeteer');

(async () => {
  // 代理服务器信息 爬虫代理加强版
  const proxyHost = "proxy.Host.cn";
  const proxyPort = "5445";
  const proxyUser = "16QMSOML";
  const proxyPass = "280651";

  // 构建带有用户名和密码的代理服务器URL
  const proxyUrl = `http://${proxyUser}:${proxyPass}@${proxyHost}:${proxyPort}`;

  // 设置Puppeteer使用代理
  const browser = await puppeteer.launch({
    args: [
      '--proxy-server=' + proxyUrl, // 使用完整的代理URL
      // 其他需要的启动参数...
    ]
  });

  const page = await browser.newPage();

  // 接下来添加页面导航和操作的代码...
  // 任务完成后关闭浏览器
  await browser.close();
})();

导航到目标网页

await page.goto('https://example.com'); // 替换为实际的URL

等待图片加载完成

await page.waitForSelector('img');

抓取图片资源链接

const imageSrcs = await page.evaluate(() => {
  const images = document.querySelectorAll('img');
  const srcs = Array.from(images).map(img => img.src);
  return srcs;
});

下载图片资源

const downloadImages = async (src) => {
  const filename = src.split('/').pop();
  const path = `./images/${filename}`;
  await page.download(src, { path: path });
  console.log(`图片下载成功：${filename}`);
};

for (let src of imageSrcs) {
  await downloadImages(src);
}