使用NodeJS将web抓取的数据写入JSON文件

const http = require('http');
const https = require('https');
const fs = require('fs');
const cheerio = require('cheerio');

const url = 'https://example.com'; // 替换为要抓取的网页URL

https.get(url, (response) => {
  let data = '';

  response.on('data', (chunk) => {
    data += chunk;
  });

  response.on('end', () => {
    // 在这里处理抓取到的网页内容
  });
}).on('error', (error) => {
  console.error(`请求失败：${error.message}`);
});

const $ = cheerio.load(data); // data为抓取到的网页内容

// 使用cheerio选择器提取数据
const title = $('h1').text();
const description = $('p').text();

const scrapedData = {
  title: title,
  description: description
};

const jsonData = JSON.stringify(scrapedData, null, 2); // 格式化为JSON字符串

fs.writeFile('data.json', jsonData, (error) => {
  if (error) {
    console.error(`写入文件失败：${error.message}`);
  } else {
    console.log('数据已成功写入data.json文件');
  }
});