我有一个相当棘手的任务,但新手在NodeJS。
所以我需要循环遍历URL数组,从数组中获取每个页面,将其传递给jsdom+jquery,并在数组末尾添加新的查找到的URL。
乍一看,任务非常简单,但由于NodeJS的异步,它变成了噩梦。
现在我有了这样的代码(为了更好地理解,它被简化了)
var jsdom = require("jsdom");
var fs = require("fs");
var jquery = fs.readFileSync("./jquery.js").toString();
var fields = ['http://some.url/page.html']
for(var b=0, len = fields.length;b<len;b++){
jsdom.env({
html: fields[b],
src: [jquery],
done: function (errors, window) {
var $ = window.$;
$("div.pager a").each(function() {
//Push new finded hyperlinks in array
fields.push($(this).attr('href'));
});
}
});
//recalculate actual length of array to make more loop
len=fields.length;
}
可以肯定的是,由于NodeJS的概念,它的构造是不起作用的。有人能建议如何把它变成现实吗?
发布于 2012-12-09 19:50:44
我明确地建议你花点时间学习异步行为,这是一种没有它的能力,node.js是没有意义的。由于几个原因,您粘贴的代码是错误的。
请看一下我的链接爬虫的实现,为宠物项目我做。这有多大帮助。
https://github.com/alexanderbeletsky/freeze/blob/master/src/crawler.js
发布于 2014-01-26 00:11:27
为此,您应该使用async.eachSeries()。当您有需要在循环中运行的异步代码时,应该始终使用异步库。
https://stackoverflow.com/questions/13670863
复制