如何使用node.js管理后台(抓取)进程
如何使用node.js管理后台(抓取)进程
提问于 2017-11-09 19:50:35
我有一个快速的应用程序，从大量的网站提取数据。要做到这一点，目前我必须运行一个具有路由(例如localhost/scrapdata)的任务，该路由获取数据并将其存储在我的pgsql数据库中。此任务正在无限运行。
我还有其他途径可以从我的数据库中获取数据。
从路由开始我的抓取任务是一个好策略吗？或者还有另一种策略？
回答 1
Stack Overflow用户
发布于 2017-11-09 23:56:03
这不需要是一个Express应用程序，而是一个按指定时间间隔触发的简单Node.js脚本。你要找的是Cron。
如果你想保留当前的Express应用程序，那么我建议保持它的当前结构，但是使用像node-schedule这样的东西。因此，在另一个文件中，您可能会有如下内容：
// my-job.js
const schedule = require('node-schedule')
module.exports = schedule.scheduleJob('42 * * * *', () => {
console.log('The answer to life, the universe, and everything!')
})然后在主app.js中，只需导入文件即可启动作业：
const express = require('express')
...
require('./my-job')然后在另一个像/shutdown这样的路径中，你可以这样做：
const express = require('express')
const j = require('./my-job')
const router = express.Router()
router.get('/shutdown', () => {
j.cancel()
res.json({ message: 'Canceled.' })
})这只是一个想法，上面的还没有经过测试。
但请记住，抓取网站是一个灰色区域。如果他们提供了API，那么就用它来代替。
页面原文内容由Stack Overflow提供。腾讯云小微IT领域专用引擎提供翻译支持
原文链接：
https://stackoverflow.com/questions/47201132
复制相关文章
相似问题
腾讯云开发者
