在nodeJS中抓取.pdf链接的网页并将所有匹配的链接写入文本文件

npm install request cheerio fs

const request = require('request');
const cheerio = require('cheerio');
const fs = require('fs');

// 定义目标网页的URL
const url = 'https://example.com';

// 发送HTTP请求获取网页内容
request(url, (error, response, body) => {
  if (!error && response.statusCode === 200) {
    // 使用cheerio解析HTML文档
    const $ = cheerio.load(body);
    
    // 匹配所有的链接
    const links = $('a');
    
    // 创建一个文本文件来保存匹配的链接
    const outputFile = 'pdf_links.txt';
    
    // 遍历所有链接
    links.each((index, element) => {
      const href = $(element).attr('href');
      
      // 判断链接是否以.pdf结尾
      if (href && href.endsWith('.pdf')) {
        // 将匹配的链接写入文本文件
        fs.appendFileSync(outputFile, href + '\n');
      }
    });
    
    console.log('抓取并写入成功！');
  } else {
    console.error('抓取失败:', error);
  }
});

node pdfLinkCrawler.js