如何用Node.js创建一个网络爬虫？
如何用Node.js创建一个网络爬虫？
提问于 2011-12-26 20:25:20
我最近刚刚对搜索引擎的工作原理产生了兴趣，我发现它们使用的是“机器人”或“网络爬虫”。我立即开始想知道这些东西是如何工作的，我想要创建一个！那么，首先:如何编写一个从服务器请求页面的程序？如果你能用JavaScript给我一个简单的例子，那就太棒了(我用Node作为一种普通的脚本语言运行它)。接下来，有没有让我解释HTML的Node模块？为我创建一个DOM，这样我就可以遍历所有的链接，等等？如果我错了请纠正我，但我想它是这样做的.任何用C++、C或Python语言编写的例子都是受欢迎的，尽管我更喜欢JS或Python语言，因为我更熟悉高级脚本语言。
回答 1
Stack Overflow用户
回答已采纳
发布于 2011-12-26 20:28:13
- 获取HTTP页面：node http.get (示例存在)
- DOM documents：jsdom (还包括示例)
页面原文内容由Stack Overflow提供。腾讯云小微IT领域专用引擎提供翻译支持
原文链接：
https://stackoverflow.com/questions/8635754
复制相关文章
相似问题
腾讯云开发者
