有没有JavaScript网络爬虫框架?
发布于 2011-04-06 01:32:16
有一个刚刚发布的名为spider的Node.js新框架。它使用引擎盖下的jQuery来抓取/索引网站的超文本标记语言页面。它的应用程序接口和配置真的很好,特别是如果你已经了解jQuery的话。
下面是从测试套件中搜索“纽约时报”网站的一个示例:
var spider = require('../main');
spider()
.route('www.nytimes.com', '/pages/dining/index.html', function (window, $) {
$('a').spider();
})
.route('travel.nytimes.com', '*', function (window, $) {
$('a').spider();
if (this.fromCache) return;
var article = { title: $('nyt_headline').text(), articleBody: '', photos: [] }
article.body = ''
$('div.articleBody').each(function () {
article.body += this.outerHTML;
})
$('div#abColumn img').each(function () {
var p = $(this).attr('src');
if (p.indexOf('ADS') === -1) {
article.photos.push(p);
}
})
console.log(article);
})
.route('dinersjournal.blogs.nytimes.com', '*', function (window, $) {
var article = {title: $('h1.entry-title').text()}
console.log($('div.entry-content').html())
})
.get('http://www.nytimes.com/pages/dining/index.html')
.log('info')
;
发布于 2011-04-06 01:31:20
试试PhantomJS吧。不完全是一个爬虫,但可以很容易地用于此目的。它有全功能的WebKit引擎内置,具有保存屏幕截图等功能。
发布于 2011-04-06 01:31:50
服务器端?
尝试使用node-crawler:https://github.com/joshfire/node-crawler
https://stackoverflow.com/questions/5555930
复制相似问题