腾讯云
开发者社区
文档
建议反馈
控制台
首页
学习
活动
专区
工具
TVP
最新优惠活动
文章/答案/技术大牛
搜索
搜索
关闭
发布
登录/注册
精选内容/技术社群/优惠产品,
尽在小程序
立即前往
文章
问答
(2039)
视频
沙龙
1
回答
Nutch API建议
、
、
我正在做一个项目,我需要一个成熟的
爬虫
来做一些工作,我正在为这个目的评估Nutch。我目前的需求相对简单:我需要一个能够将数据保存到磁盘的
爬虫
程序,并且我需要它能够仅重新
爬
取
站点的更新资源,并跳过已经
爬
取
的部分。有没有人有在Java中直接使用Nutch代码的经验,而不是通过命令行。我想从简单开始:创建一个
爬虫
(或类似的),最低限度地配置它并启动它,没有任何花哨的东西。有没有这方面的例子,或者我应该看看的资源?在不需要索引和搜索的情况下,Nutch爬行模块的可用性
浏览 0
提问于2010-12-03
得票数 6
回答已采纳
1
回答
Crawler4j计算页面深度
、
、
、
我正在用groovy & grails和mongodb开发一个网络
爬虫
,有没有办法用crawler4j计算页面的深度?我知道我可以限制到我想要
爬
取
的深度,但还没有遇到任何建议
如何
计算页面深度的东西。
浏览 2
提问于2014-06-26
得票数 0
1
回答
Sharepoint 2010搜索不会为自定义字段建立索引
、
我正在尝试创建一个托管元数据字段,但它没有显示在我的
爬
网列中。它是一个自定义字段。我不确定哪里出了问题,但当我搜索时,我唯一的结果是查看与列表相关的所有项目页面。它似乎不会搜索列表项本身。
浏览 1
提问于2010-06-15
得票数 1
1
回答
在if语句下索引链接?
、
、
、
索引Google会有任何链接在if语句下吗? <a"; if($user_category=="register2"){ $link="href='".$databaselink; echo $link;}"> BOOK</a>抓取可以看到并将被索引的链接的WIll?
浏览 0
提问于2013-01-06
得票数 0
2
回答
大神有没有研究过美团的_token生成方法?
、
、
如题,我最近在做一个数据分析,想要用到美团的美食信息,于是就想用python
爬
取
美团的数据,但是在构造
爬虫
的时候发现美团有一个_token参数,百思不得其解,还请大神指教
浏览 2211
提问于2018-09-12
1
回答
JAVA中的Web Crawler。java.out.lang.outofmemory无法创建本机线程
、
、
我目前正在构建这个网络
爬虫
来获取起始url的所有链接,并从这些链接中
爬
取
所有链接,等等。我还注意到,一旦我运行我的
爬虫
,我的互联网开始崩溃,这意味着网站不会加载,直到我打开我的网络
爬虫
。我想我发送了太多的http请求。如果有人知道
如何
限制线程或修复以下错误: java.lang.outOfMemory :无法创建本机线程
浏览 1
提问于2012-05-02
得票数 0
回答已采纳
2
回答
Facebook粉丝从何而来?
、
我想知道从什么时候起Facebook上的粉丝就是粉丝了?我想出的唯一办法就是抓取粉丝页面的整个feed,然后像墙上的帖子一样追踪第一个帖子。然而,这种方法并不十分准确。
浏览 2
提问于2011-05-19
得票数 0
回答已采纳
2
回答
我
如何
“获得”数据的所有酒吧/俱乐部在美国的数据库。Yelp API?
、
、
、
、
我
如何
才能现实地实现我的目标?
浏览 0
提问于2011-01-18
得票数 1
2
回答
使用机械化来检索网站的所有链接
、
、
、
如何
使用Mechanize库查找网站上的所有链接? 我喜欢递归地解析内部链接,以便抓取一个网站的所有链接。
浏览 0
提问于2012-07-23
得票数 2
回答已采纳
1
回答
怎样在不使用远程桌面的情况下就能查看储存在腾讯云服务器上面的文件(不是网盘)?
、
、
、
、
在服务器上部署了
爬虫
,想在不使用远程桌面的情况下直接就能查看服务器硬盘上
爬虫
爬
取到的最新数据,想问一下该
如何
实现?
浏览 330
提问于2020-04-16
1
回答
分布式系统中的任务分配
、
我的
爬虫
使用卡夫卡把爬行的网站对象的一个主题和水槽将重定向输出到Solr。有多个
爬虫
产生数据卡夫卡。 我的问题是:当一个
爬虫
想要
爬
一个网站,其他
爬虫
不应该尝试爬行它。
如何
在分布式环境中与它们通信?
浏览 0
提问于2017-06-01
得票数 2
2
回答
获取IIS工作进程崩溃转储
、
、
、
、
我已经将问题缩小到我的HTTP
爬虫
,这是一个多线程的野兽,当被请求时,它会
爬
取
站点以获取有用的信息。在我启动
爬虫
程序并重新部署应用程序之后,IIS工作进程将崩溃(弹出一条崩溃消息)并继续重新加载应用程序域,而不是正常卸载appDomain并重新加载。
浏览 0
提问于2008-09-10
得票数 9
回答已采纳
2
回答
Google Adsense是
如何
获得页面主题的?
我已经构建了一个web应用程序。问题是,广告中的产品几乎总是一样的,即使我的webapp是一个任务/项目管理工具,我猜有很多产品是用Google Adsense做营销的。我猜它可能使用了某种缓存。谢谢,汤姆
浏览 6
提问于2010-10-04
得票数 1
2
回答
阻止
爬
网程序跟踪javascripts中的链接
、
、
somepath/template_1.html';//and so on现在,
爬虫
正在尝试跟踪这些链接
如何
防止这种情况发生?
浏览 0
提问于2013-02-22
得票数 0
1
回答
从论坛中抓取数据
、
、
我想
爬
所有的帖子从一个论坛,和最新的那些新的帖子。有一些问题我想弄清楚。2.如果有某种机制可避免两次
爬
柱。即使我重新启动爬行器,这个机制也能工作吗?3.
爬虫
会继续自动爬行新职位吗? 4.我需要在这个项目中使用什么db / plugin?
浏览 6
提问于2014-12-01
得票数 1
回答已采纳
1
回答
使用google chrome扩展sitemap Generator生成站点地图时卡住
、
、
我正在尝试使用googlechrome的sitemap Generator扩展为我的react
js
网站生成一个站点地图。()。它说它可以与reactjs应用程序一起工作。
浏览 14
提问于2020-05-11
得票数 0
2
回答
python crawler ieee论文关键字
、
、
我试图使用
爬虫
来获取ieee论文关键字,但现在我得到一个错误,
如何
才能修复我的
爬虫
?[0].replace("'", '"').replace(";", '')) 错误就在这里 Traceback (most recent call last): File "G:/github/
爬
蟲crawlers/sup_ieee_keywords.py", line 90, in &
浏览 18
提问于2019-02-19
得票数 1
回答已采纳
2
回答
当我使用自己的程序爬行站点时,我应该使用什么用户代理
、
、
我用node.
js
做了
爬虫
。我想
爬
一些网站的基础上,每小时。 我试着找出我应该使用的用户代理,但是我只得到了像谷歌机器人和必应机器人这样的结果。我不知道我能不能利用这些用户代理。
浏览 1
提问于2018-09-10
得票数 1
回答已采纳
2
回答
Facebook爬行许可申请表?
、
、
、
我已经在谷歌上搜索了一段时间,但我猜我用错了关键字。有谁知道这个URI,可以让我从Facebook请求许可,让我在他们的网络上爬行?上次我使用Python做这件事时,有人建议我看一下,但我也找不到那篇文章。
浏览 2
提问于2010-10-22
得票数 2
回答已采纳
4
回答
web
爬虫
在对web服务器的重复请求之间等待的最佳持续时间是多少
、
是否存在一些标准的持续时间,
爬虫
必须在重复命中同一服务器之间等待,以避免使服务器负担过重。 如果没有,任何建议是什么可以是一个良好的等待时间
爬虫
被认为是礼貌的。这个值在不同的服务器上是否也不同...如果是这样的话,
如何
确定呢?
浏览 0
提问于2009-04-28
得票数 7
点击加载更多
扫码
添加站长 进交流群
领取专属
10元无门槛券
手把手带您无忧上云
相关
资讯
如何合理控制爬虫爬取速度?
PYTHON爬虫系列-图片爬取
python爬虫:定向爬取小说
python爬虫-爬取盗墓笔记
Node.js爬取豆瓣数据
热门
标签
更多标签
云服务器
ICP备案
实时音视频
即时通信 IM
对象存储
活动推荐
运营活动
广告
关闭
领券