1回答
我正在做一个项目，我需要一个成熟的爬虫来做一些工作，我正在为这个目的评估Nutch。我目前的需求相对简单:我需要一个能够将数据保存到磁盘的爬虫程序，并且我需要它能够仅重新爬取站点的更新资源，并跳过已经爬取的部分。有没有人有在Java中直接使用Nutch代码的经验，而不是通过命令行。我想从简单开始:创建一个爬虫(或类似的)，最低限度地配置它并启动它，没有任何花哨的东西。有没有这方面的例子，或者我应该看看的资源？
浏览 0提问于2010-12-03得票数 6
回答已采纳
我正在尝试创建一个托管元数据字段，但它没有显示在我的爬网列中。它是一个自定义字段。我不确定哪里出了问题，但当我搜索时，我唯一的结果是查看与列表相关的所有项目页面。它似乎不会搜索列表项本身。
浏览 1提问于2010-06-15得票数 1
1回答
我正在用groovy & grails和mongodb开发一个网络爬虫，有没有办法用crawler4j计算页面的深度？我知道我可以限制到我想要爬取的深度，但还没有遇到任何建议如何计算页面深度的东西。
浏览 2提问于2014-06-26得票数 0
1回答
在if语句下索引链接？
、、、
索引Google会有任何链接在if语句下吗？ <a"; if($user_category=="register2"){ $link="href='".$databaselink; echo $link;}"> BOOK</a>抓取可以看到并将被索引的链接的WIll？
浏览 0提问于2013-01-06得票数 0
如题，我最近在做一个数据分析，想要用到美团的美食信息，于是就想用python爬取美团的数据，但是在构造爬虫的时候发现美团有一个_token参数，百思不得其解，还请大神指教
浏览 2259提问于2018-09-12
2回答
我想知道从什么时候起Facebook上的粉丝就是粉丝了？我想出的唯一办法就是抓取粉丝页面的整个feed，然后像墙上的帖子一样追踪第一个帖子。然而，这种方法并不十分准确。
浏览 2提问于2011-05-19得票数 0
回答已采纳
我目前正在构建这个网络爬虫来获取起始url的所有链接，并从这些链接中爬取所有链接，等等。我还注意到，一旦我运行我的爬虫，我的互联网开始崩溃，这意味着网站不会加载，直到我打开我的网络爬虫。我想我发送了太多的http请求。
浏览 1提问于2012-05-02得票数 0
回答已采纳
我要做的是创建一个美国所有酒吧的数据库。我需要这个数据库半定期更新(大约每周)，以包括新开的酒吧。
浏览 0提问于2011-01-18得票数 1
2回答
获取IIS工作进程崩溃转储
、、、、
我已经将问题缩小到我的HTTP爬虫，这是一个多线程的野兽，当被请求时，它会爬取站点以获取有用的信息。在我启动爬虫程序并重新部署应用程序之后，IIS工作进程将崩溃(弹出一条崩溃消息)并继续重新加载应用程序域，而不是正常卸载appDomain并重新加载。
浏览 0提问于2008-09-10得票数 9
回答已采纳
我已经构建了一个web应用程序。问题是，广告中的产品几乎总是一样的，即使我的webapp是一个任务/项目管理工具，我猜有很多产品是用Google Adsense做营销的。我猜它可能使用了某种缓存。谢谢，汤姆
浏览 6提问于2010-10-04得票数 1
2回答
我已经在谷歌上搜索了一段时间，但我猜我用错了关键字。有谁知道这个URI，可以让我从Facebook请求许可，让我在他们的网络上爬行？上次我使用Python做这件事时，有人建议我看一下，但我也找不到那篇文章。
浏览 2提问于2010-10-22得票数 2
回答已采纳
是否存在一些标准的持续时间，爬虫必须在重复命中同一服务器之间等待，以避免使服务器负担过重。
如果没有，任何建议是什么可以是一个良好的等待时间爬虫被认为是礼貌的。
浏览 0提问于2009-04-28得票数 7
2回答
然后，它将获取文本文档第一行，爬取该url并将其从文本文件中移除。每个url都是由一个基本的爬虫抓取的。我知道爬虫部分可以工作，因为如果我在引用中输入一个urls，而不是文本文件中的一个变量，它就会工作。我在这一点上，它将不会返回任何东西，因为网址根本不会被接受。
浏览 0提问于2012-03-15得票数 0
回答已采纳
我希望允许爬虫访问我的域的根目录(即index.html文件)，但不允许更深层次的访问(即无子目录)。我不想在robots.txt文件中单独列出和拒绝每个子目录。
浏览 0提问于2011-03-06得票数 13
这些JSON的一些条目在条目中有空格，例如 { 'property Two': 'something'
} 我已经让几个不同的爬虫抓取了这个数据集由于某种原因，在我的一次爬网中，空间被删除了，但在尝试复制该过程时，我无法获得要删除的空间，并且当在雅典娜中查询时，我收到以下错误 HIVE_METASTORE_ERROR: : expected at我希望能够排除这个字段或在爬
浏览 32提问于2019-01-16得票数 3
回答已采纳
1回答
单个IP请求的精确限制
、、、
我正在开发一个应用程序，它从所有字母中获取前20个页面。基本上，在这个时候没有限制的问题。但是我需要知道每秒从一个IP地址发出的请求的确切数量是多少？
浏览 1提问于2011-11-16得票数 0
回答已采纳
云服务器
ICP备案
对象存储
云直播
腾讯会议
腾讯云开发者
