1回答
我刚刚遇到了Elastic Search，我已经完成了安装和示例索引以及搜索。现在我想把这个用在我的网站上。为此，如何为我的网站创建索引？我是否需要将整个网页内容存储为索引？？
浏览 0提问于2011-06-07得票数 1
回答已采纳
我正在使用js爬虫来抓取网站，现在我遇到了CNN，的那一部分(基于某种原因动态生成的urls)。事情是爬虫，不要真正接触脚本-我应该如何解决它？除了我的node.js爬虫之外，我还应该编写自己的代码吗？是否有先进的爬虫知道如何处理这种动态行为？
浏览 1提问于2016-07-23得票数 2
回答已采纳
有人知道谷歌机器人是用哪种编程语言编写的吗？
或者，更普遍的是，高效的网络爬虫是用哪种语言编写的？我见过很多Java语言，但在我看来，它不是最适合开发网络爬虫的语言，因为它产生了太多的开销(尝试使用Heritrix网络爬虫，它非常重)。
浏览 0提问于2009-10-29得票数 1
回答已采纳
1回答
我正在编写一个应用程序，它爬过长长的链接列表，下载页面，使用xpath查询搜索html元素，将检索到的一些信息存储在mysql数据库中。我使用csharp和java编写了我的大多数应用程序，用asp.net/c#编写了我的web应用程序。
我想问的是，从性能的角度来看，Node.js是否值得考虑？考虑到吞吐量是最重要的因素。Node.js更易于移植和跨平台是另一个原因，但性能对我来说更重要。
浏览 1提问于2013-06-30得票数 2
正如您所知，Backbone.js有一个弱点--它不能为页面爬虫(比如googlebot )呈现的html提供服务，因为他们不运行JavaScript (尽管考虑到它的Google拥有自己的资源、V8引擎输入node.js。我才刚刚开始进入这股热潮，但似乎有可能有相同的Backbone.js应用程序存在于客户端，在服务器上与node.js手牵手。然后，node.js将能够提供从Backbone.js应用程序呈现到页面爬虫的html。这似乎是可行的，但我
浏览 4提问于2012-09-16得票数 19
2回答
我必须运行微爬虫，这是一个爬虫网络应用程序，与node.js运行。我不知道如何打开这个应用程序，我下载了node.js，当我在node.js命令行中编写install npm和install bower时，什么也没有发生。我也不知道如何在安装后启动web应用程序。
浏览 2提问于2014-09-28得票数 1
有没有人对爬虫有什么好的建议，可以处理像链接清理，flash，一些ajax，css等等？我知道机会很小，但我认为在我开始编写自己的工具之前，我应该在这里抛出这个问题。
浏览 3提问于2008-09-22得票数 9
回答已采纳
我想知道-爬虫可以完全用javascript编写吗？这样，只有当用户需要信息时才会调用爬虫程序，并且所有内容都是从用户的计算机上运行的。如果crawler是在服务器端编写的，是不是也有IP被阻塞的风险？
浏览 1提问于2010-04-18得票数 3
作为编写爬虫程序(用Node.js编写，但实际上不是重点)的一部分，我有时会收到超时和其他网络异常。某些异常(如http errorcode)可以正确地归因于目标请求端点。
浏览 5提问于2013-06-29得票数 0
回答已采纳
3回答
我想知道为什么爬虫不运行javascript来获得呈现的页面和索引。这背后有什么原因？或者这是搜索引擎未来可能会出现的一个缺失的特性？
浏览 4提问于2013-10-10得票数 17
回答已采纳
1回答
我刚写完一个爬虫，一直在想为什么爬行某个网站会很糟糕。我知道现代浏览器的风险主要是由javascript造成的。因此，我的问题是，web爬虫(用PHP或Java编写)是否能够刮起可能会对爬虫造成损害的站点？
浏览 3提问于2014-11-08得票数 1
谁能告诉我，如果有任何方法可以忽略或绕过robots.txt爬行。有没有办法修改脚本，让它忽略robots.txt，继续抓取？User-agent: *Disallow:
浏览 3提问于2015-01-21得票数 1
4回答
我发现了一个项目，，它在服务器端嵌入了Firefox引擎，所以它可以很好地解析服务器端的JavaScript。但是，这个项目似乎已经死了。解析HTML和提取数据对于爬行网页是很有帮助的。
浏览 3提问于2010-10-09得票数 1
回答已采纳
1回答
我正在用Java开发一个网络爬虫。我正在寻找一个很好的项目开发这个爬虫的基础上。然而，实际上有超过几百个用Java编写的爬虫程序。我要找的是一个相当简单的爬虫，它有：
基于最新的Java构建和新的functionalityGood performanceImplemented好documentationNot的多线程documentationNot
浏览 1提问于2012-04-16得票数 0
回答已采纳
我正在考虑写我自己的，但我想知道是否有好的网络爬虫在那里是用Ruby编写的。
除了一个成熟的网络爬虫，任何可能有助于构建网络爬虫的gem都将是有用的。我知道这个问题的这一部分在几个地方被涉及到了，但是一个适用于构建网络爬虫的宝石列表也是一个很好的资源。
浏览 2提问于2011-02-13得票数 21
回答已采纳
我想要下面的函数，并且我知道javascript中的客户端域限制，但是我不知道这个限制是否适用于我希望爬虫做的事情。我正在编写firefox应用程序，所以所有事情都必须在客户端完成。
浏览 3提问于2011-03-02得票数 2
回答已采纳
云服务器
ICP备案
云直播
对象存储
腾讯会议
腾讯云开发者
