如何在特快专线内呼叫我的网络抓取器？
如何在特快专线内呼叫我的网络抓取器？
提问于 2019-10-22 07:38:18
在我的Nodejs服务器的根目录下，我有一个网络抓取器，运行express。它是一个文件，它使用指针发出对html的get请求，并返回一个数据数组。然后我有我的index.js和我的快速路线，一个像"/api/scrape"这样的简单的。
但是，当我转到该url时，服务器控制台仍然会在刮取器中打印出一个console.log，以指示它正在完成。但express希望在等待刮板完成之前继续前进。
在将响应发送回React之前，我如何等待抓取器完成。
回答 2
Stack Overflow用户
发布于 2019-10-22 07:41:43
您可以尝试将调用web scraper的函数转换为异步函数，并让express使用await调用该函数。这样，express将等待返回承诺，而不是继续前进。
我相信这也可以在express中实现，通过将其作为中间件来实现：
const example_scrape = (req, res, next) => {
... do your scraping
next() //allows express to move onto the next route? not sure the terminology
}
app.get('/api/scrape_my_site', example_scrape, (req,res) => {
...
}Stack Overflow用户
发布于 2021-02-10 03:26:18
你可以看看这个项目-- https://github.com/vodolaz095/email-parser-api。
这是一个简单的Selenium驱动的api，它是从暴露某种REST API的nodejs应用程序调用的。
代码很简单
下面是expressjs路由器代码，它实际调用scraper来响应POST请求
https://github.com/vodolaz095/email-parser-api/blob/master/index.js#L21-L53
下面是scraper代码
https://github.com/vodolaz095/email-parser-api/blob/master/lib/parser.js
页面原文内容由Stack Overflow提供。腾讯云小微IT领域专用引擎提供翻译支持
原文链接：
https://stackoverflow.com/questions/58495388
复制相关文章
相似问题
腾讯云开发者
