node.js爬虫 保存数据为json、mysql、mongodb 虎牙、斗鱼、熊猫、全民、龙珠 在线直播间抓取

## 使用Node.js构建直播平台数据爬虫

在本文中，我们将探讨如何使用Node.js构建一个简单的爬虫，用于抓取直播平台（如斗鱼、虎牙等）的在线直播间数据，并将这些数据保存为JSON文件、MySQL数据库或MongoDB数据库。我们将使用一些常见的Node.js库来实现这一目标。

#### 1. 引入必要的库

首先，我们需要引入一些Node.js库来帮助我们完成爬虫的构建：

javascript

const request = require("request"); // 用于发送HTTP请求

const cheerio = require("cheerio"); // 用于解析HTML文档

const fs = require('fs'); // 用于将数据保存为JSON文件

const async = require("async"); // 用于流程控制，控制抓取时间间隔

const Sequelize = require('sequelize'); // 用于操作MySQL数据库

const mongoose = require('mongoose'); // 用于操作MongoDB数据库

#### 2. 分析页面结构

在开始编写代码之前，我们需要分析目标直播平台的页面结构，找到在线直播间的URL。通常，这些信息可以通过浏览器的开发者工具来查看。

#### 3. 发送请求并获取HTML文档

使用`request`库发送HTTP请求，获取目标页面的HTML文档：

javascript

request('https://www.douyu.com/directory/all', function (error, response, body) {

if (!error && response.statusCode == 200) {

// 使用cheerio解析HTML文档

const $ = cheerio.load(body);

// 进一步处理获取到的数据

}

});

#### 4. 解析HTML文档并提取数据

使用`cheerio`库解析HTML文档，并提取出我们需要的数据：

javascript

const items = [];

$("li").each(function (index, el) {

const dyNum = $(el).find('.dy-num.fr').text();

const item = {

userid: $(el).find('a.play-list-link').attr("data-rid"),

userName: $(el).find('.dy-name.ellipsis.fl').text(),

tag: $(el).find('.tag.ellipsis').text(),

dyNum: dyNum.indexOf('万') >= 0 ? Number(dyNum.replace('万', '')) * 10000 : Number(dyNum),

title: $(el).find('a.play-list-link').attr("title"),

url: "https://www.douyu.com" + $(el).find('a.play-list-link').attr("href")

};

items.push(item);

});

#### 5. 保存数据

我们可以选择将数据保存为JSON文件、MySQL数据库或MongoDB数据库。

**保存为JSON文件：**

javascript

fs.writeFile('output/output.json', JSON.stringify(items, null, 2), function (err) {

if (err) throw err;

console.log('数据已保存为JSON文件');

});

**保存到MySQL数据库：**

javascript

const sequelize = new Sequelize('database', 'username', 'password', {

host: 'localhost',

dialect: 'mysql'

});

sequelize.sync().then(() => {

const Douyu = sequelize.define('douyu', {

userid: Sequelize.STRING,

userName: Sequelize.STRING,

tag: Sequelize.STRING,

dyNum: Sequelize.INTEGER,

title: Sequelize.STRING,

url: Sequelize.STRING

});

items.forEach(item => {

Douyu.create(item);

});

});

**保存到MongoDB数据库：**

javascript

mongoose.connect('mongodb://localhost:27017/douyu', { useNewUrlParser: true, useUnifiedTopology: true });

const douyuSchema = new mongoose.Schema({

userid: String,

userName: String,

tag: String,

dyNum: Number,

title: String,

url: String

});

const DouyuModel = mongoose.model('Douyu', douyuSchema);

items.forEach(item => {

const douyu = new DouyuModel(item);

douyu.save();

});

#### 6. 流程控制

为了避免对目标服务器造成过大压力，我们可以使用`async`库来控制抓取的频率：

javascript

async.forEachLimit(items, 5, function (item, callback) {

setTimeout(function () {

// 处理每个item

callback();

}, 2000);

}, function (err) {

if (err) console.error(err);

console.log('所有数据已处理完毕');

});

#### 7. 数据展示

最后，我们可以使用ECharts等数据可视化工具来展示抓取到的数据。这部分内容可以根据具体需求进行扩展。

### 总结

通过本文的介绍，我们学习了如何使用Node.js构建一个简单的爬虫，抓取直播平台的在线直播间数据，并将这些数据保存为JSON文件、MySQL数据库或MongoDB数据库。希望这篇文章对你有所帮助！