NodeJS技巧：在循环中管理异步函数的执行次数

原创

jackcode

发布于 2024-07-16 10:17:51

640

发布于 2024-07-16 10:17:51

文章被收录于专栏：爬虫资料

背景介绍

在现代Web开发中，NodeJS因其高效的异步处理能力而备受青睐。尤其在数据抓取、网络爬虫等应用场景中，NodeJS的非阻塞I/O特性使其成为不二之选。然而，在实际编程过程中，我们经常会遇到一个棘手的问题——如何在循环中控制异步函数的执行次数。这不仅关乎代码的效率，更关乎程序的稳定性和可维护性。

问题陈述

设想这样一个场景：我们需要编写一个网络爬虫程序，通过爬虫代理IP抓取目标网站的数据。为了提高抓取效率，我们通常会使用异步函数批量发送请求。然而，如果不加以控制，异步函数可能会在循环中多次调用，导致请求过多，进而触发目标网站的反爬虫机制。如何优雅地管理异步函数的执行次数，成为我们面临的一个重要挑战。

解决方案

为了有效管理异步函数在循环中的执行次数，我们可以使用以下几种技术：

Promise.all：通过Promise.all并发执行多个异步函数，并在所有Promise完成后进行处理。
async/await：使用async/await控制异步函数的执行顺序，确保在每次迭代中异步函数只执行一次。
第三方库：如async.js库，提供了多种控制异步流程的方法，包括限制并发数量、批量处理等。

在本示例中，我们将结合async/await和爬虫代理IP技术，演示如何在循环中优雅地管理异步函数的执行次数。

案例分析

我们将编写一个NodeJS爬虫程序，通过爬虫代理服务抓取目标网站的数据。在这个过程中，我们将使用async/await控制异步函数的执行顺序，并通过代理IP技术规避目标网站的反爬虫机制。

首先，我们需要安装必要的依赖包：

npm install axios

接下来，编写我们的爬虫代码：

const axios = require('axios');

// 代理IP配置  爬虫代理加强版
const proxyConfig = {
    host: 'www.proxy.com',
    port: 12345,
    auth: {
        username: 'your_username',
        password: 'your_password'
    }
};

// 异步函数，用于发送HTTP请求
async function fetchData(url) {
    try {
        const response = await axios.get(url, {
            proxy: {
                host: proxyConfig.host,
                port: proxyConfig.port,
                auth: proxyConfig.auth
            }
        });
        console.log(`数据抓取成功：${response.data}`);
    } catch (error) {
        console.error(`数据抓取失败：${error.message}`);
    }
}

// 主函数，控制异步函数的执行次数
async function main() {
    const urls = [
        'https://example.com/page1',
        'https://example.com/page2',
        'https://example.com/page3'
    ];

    for (let i = 0; i < urls.length; i++) {
        // 每次循环只执行一次异步函数
        await fetchData(urls[i]);
        console.log(`第${i + 1}个请求完成`);
    }
}

main();

在上述代码中，我们定义了一个fetchData异步函数，通过代理IP发送HTTP请求。main函数通过循环迭代URL列表，并使用await关键字确保在每次迭代中只执行一次fetchData函数，从而有效控制了异步函数的执行次数。