首页
学习
活动
专区
圈层
工具
发布
首页
学习
活动
专区
圈层
工具
MCP广场
社区首页 >问答首页 >有没有java script web爬虫框架?

有没有java script web爬虫框架?
EN

Stack Overflow用户
提问于 2011-04-06 01:27:53
回答 3查看 10.5K关注 0票数 13

有没有JavaScript网络爬虫框架?

EN

回答 3

Stack Overflow用户

发布于 2011-04-06 01:32:16

有一个刚刚发布的名为spider的Node.js新框架。它使用引擎盖下的jQuery来抓取/索引网站的超文本标记语言页面。它的应用程序接口和配置真的很好,特别是如果你已经了解jQuery的话。

下面是从测试套件中搜索“纽约时报”网站的一个示例:

代码语言:javascript
运行
复制
var spider = require('../main');

spider()
  .route('www.nytimes.com', '/pages/dining/index.html', function (window, $) {
    $('a').spider();
  })
  .route('travel.nytimes.com', '*', function (window, $) {
    $('a').spider();
    if (this.fromCache) return;

    var article = { title: $('nyt_headline').text(), articleBody: '', photos: [] }
    article.body = '' 
    $('div.articleBody').each(function () {
      article.body += this.outerHTML;
    })
    $('div#abColumn img').each(function () {
      var p = $(this).attr('src');
      if (p.indexOf('ADS') === -1) {
        article.photos.push(p);
      }
    })
    console.log(article);
  })
  .route('dinersjournal.blogs.nytimes.com', '*', function (window, $) {
    var article = {title: $('h1.entry-title').text()}
    console.log($('div.entry-content').html())
  })
  .get('http://www.nytimes.com/pages/dining/index.html')
  .log('info')
  ;
票数 10
EN

Stack Overflow用户

发布于 2011-04-06 01:31:20

试试PhantomJS吧。不完全是一个爬虫,但可以很容易地用于此目的。它有全功能的WebKit引擎内置,具有保存屏幕截图等功能。

票数 8
EN

Stack Overflow用户

发布于 2011-04-06 01:31:50

服务器端?

尝试使用node-crawler:https://github.com/joshfire/node-crawler

票数 1
EN
页面原文内容由Stack Overflow提供。腾讯云小微IT领域专用引擎提供翻译支持
原文链接:

https://stackoverflow.com/questions/5555930

复制
相关文章

相似问题

领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档