架构概述:
语言:使用类库执行爬虫任务的C# Windows项目
我目前正在编写一个接口(UI),用于“调试”我编写的爬虫(或一组爬虫器)。每个爬虫都是一个.dll。
在接口中,我将调用.dlls,我不想等待它们结束任务(在内部爬行、解析和构建元素列表)来在接口上显示结果。
问题:
我是否可以以某种方式从.dll向界面发送反馈信息?
也许是一个进度条,或者在读取元素之后,在界面上显示它们,然后再爬行下一个元素?
我想要的是这样的东西在界面上实时显示(网格视图或其他东西)。
Finished Crawling College X
Finished Crawling College Y
Probl
我在做爬虫npm。可能有n个URL数目取决于域。现在,我想实时发送URL。一旦在数组中更新了一个url,它就会触发发送到前端的事件和数据。
Res.send只返回一次数据,然后显示头集错误。一旦res.send被执行,其他的值就不能被进一步发送--但是我设法在每条路由被处理之后发送数据,但是我想要实时地发送它。
有什么方法可以在node.js中实时发送数组吗?这里,val是来自另一个爬虫的URL数组。
以下是代码:
promise.then( (val) => {
var count = 0;
let urlsarray = [];
var element = {
我正在学习爬虫,在一些基本的爬虫之后,我尝试从github下载谷歌学者爬虫大师,看看它是如何运行的,在几个我可以修复的错误之后,我遇到了一个ModuleNotFoundError: No module named 'proxy'错误(middleware.py文件,from proxy import PROXIES行是问题)。
这段代码有一些问题,其中包含python 3.x版本中不再支持/建议的解决方案,包括后来被重命名/移动的模块,但我无法确定这是否也是这种情况,希望能得到帮助。