腾讯云
开发者社区
文档
建议反馈
控制台
登录/注册
首页
学习
活动
专区
工具
TVP
最新优惠活动
文章/答案/技术大牛
搜索
搜索
关闭
发布
精选内容/技术社群/优惠产品,
尽在小程序
立即前往
文章
问答
(9999+)
视频
沙龙
3
回答
如何在ABOT
C
#网络
爬虫
中获取html输出页面?
、
我正在尝试用ABOT在
c
#.i中制作网络
爬虫
,我搜索了很多例子,并添加了ABOT网络
爬虫
。从那我只能得到日志输出而不是超文本标记
语言
页面输出。我想得到超文本标记
语言
页面输出only.because,超文本标记
语言
输出是超文本标记
语言
敏捷工具的输入。帮助我从ABOT网络
爬虫
在
C
#中获得超文本标记
语言
输出。谢谢。
浏览 4
提问于2013-09-12
得票数 5
1
回答
C
中的HTML文件解析-- libxml2的替代方案
、
、
所以我想在
C
中创建一个网络
爬虫
,几乎没有任何库来支持这一点。 我
可以
使用libtidy将HTML转换成XHTML,并使用libcurl (它有很好的文档)获取文件。我应该用
C
语言
还是使用另一种
语言
(比如Java )来
做
呢?或者,除了libxml2,还有什么好的替代方案
吗
?
浏览 0
提问于2013-01-19
得票数 1
回答已采纳
2
回答
如何从dll调用向可视化界面提供反馈?
、
、
架构概述:我目前正在编写一个接口(UI),用于“调试”我编写的
爬虫
(或一组
爬虫
器)。每个
爬虫
都是一个.dll。问题:也许是一个进度条,或者在读取元素之后,在界面上显示它们,然后再爬行下一个元素?
做
这件事有什么好办法? 我考虑将Visual组件的引用发送到.dll (或安全的.dll),以便它能够在执行过程中更新可视化组件本身。这样
做</
浏览 2
提问于2012-06-11
得票数 0
回答已采纳
5
回答
Googlebot是用哪种编程
语言
编写的(或任何其他高效的网络
爬虫
)?
、
有人知道谷歌机器人是用哪种编程
语言
编写的
吗
? 或者,更普遍的是,高效的网络
爬虫
是用哪种
语言
编写的?我见过很多Java
语言
,但在我看来,它不是最适合开发网络
爬虫
的
语言
,因为它产生了太多的开销(尝试使用Heritrix网络
爬虫
,它非常重)。
浏览 0
提问于2009-10-29
得票数 1
回答已采纳
1
回答
如何检测网页中大多数不常见的超链接和隐式重定向?
、
、
、
、
我在
C
++/Qt4.8.5中为Windows创建了网站
爬虫
。我发现,有时页面可能包含隐式(伪)重定向,就像script标记中的script。原始
爬虫
只检测到href标记中的a属性。但是还有其他节点
可以
包含urls。例如,<META HTTP-EQUIV="REFRESH" CONTENT="0; URL=/relative_url">。也许,
C
++/Java中的某些库包含了这些情况的处理。 另外,我注意到向请求中添加首选<e
浏览 1
提问于2014-03-30
得票数 3
回答已采纳
1
回答
如何在网站上为不同的蜘蛛设置不同的
语言
?
、
、
我有多
语言
网站。实际上,网站
语言
是根据web浏览器
语言
来选择的。 用俄语显示网站上的燕德龙蜘蛛?
浏览 2
提问于2012-01-16
得票数 1
3
回答
C
++网络
爬虫
、
、
、
我正在尝试并尝试制作一个最小的网络
爬虫
。我在很高的层次上理解了整个过程。那么进入下一层细节,程序如何“连接”到不同的网站来提取HTML?谢谢!
浏览 1
提问于2012-07-01
得票数 0
回答已采纳
1
回答
是否有一个无处不在的网络
爬虫
可以
生成一个良好的特定于
语言
的数据集来训练一个转换器?
、
、
似乎有很多值得注意的人工智能工具正在接受由网络
爬虫
生成的数据集的培训,而不是人工编辑的、人工编译的语料库(Facebook Translate,GPT-3)。有没有任何无处不在的网络
爬虫
,它
做
的基本相同的事情,但有一个参数的“
语言
寻求”?换句话说,用X
语言
生成一个网络爬行数据集?(背景:我想在任何
语言
中创建一个
语言
数据集,然后对其进行训练,这是一种
可以
将
语言
中的单词进行符号化的函数。)
浏览 0
提问于2021-11-18
得票数 0
1
回答
React / JSX生成的HTML元素对Google Web
爬虫
是不可见的
吗
?
、
、
、
、
我最近读了一篇文章,关于用JavaScript创建的HTML元素是如何不被Googlebot / Google
爬虫
拾取的。原因是,在其最简单的形式中,GoogleBot拾取的超文本标记
语言
就是当您查看Page Source时所显示的所有内容。我即将开始学习React,其中一个原因是你
可以
创建模板文件和组件,这样就
可以
很容易地复制页眉和页脚等常见功能,以保持代码干燥。但我担心的是,如果我这样
做
,React / JSX生成的HTML实际上不会被网络
爬虫
跟踪,因此它基本上是
浏览 10
提问于2017-12-19
得票数 0
5
回答
哪种
语言
最适合高效的网络
爬虫
?
、
我需要写一个网络
爬虫
,我需要哪种
语言
是性能最好的
语言
,比如内存和性能。 编辑:原名是“为速度和性能而优化的
语言
c
++或
C
#”
浏览 7
提问于2010-09-21
得票数 0
1
回答
有没有一种方法
可以
用NCrawler提取特定的html标签信息
、
、
规格: Win7 64、VS 2010、.NET 4.0、NCrawler库 我正在写一个
爬虫
,它将从网上商店提取一些数据。应用程序
可以
很好地提取URL,我
可以
正确地导航到商店中的每一件商品。
浏览 0
提问于2014-11-30
得票数 0
1
回答
将Web Scraper/ Web Crawler移植到移动设备?
、
、
、
是否
可以
将网络爬行器/网络
爬虫
移植到智能手机等移动设备上?如果是这样,我会怎么
做
呢?
浏览 0
提问于2011-12-20
得票数 0
1
回答
如何用Node.js创建一个网络
爬虫
?
、
、
我最近刚刚对搜索引擎的工作原理产生了兴趣,我发现它们使用的是“机器人”或“网络
爬虫
”。我立即开始想知道这些东西是如何工作的,我想要创建一个!那么,首先:如何编写一个从服务器请求页面的程序?如果你能用JavaScript给我一个简单的例子,那就太棒了(我用Node作为一种普通的脚本
语言
运行它)。接下来,有没有让我解释HTML的Node模块?为我创建一个DOM,这样我就
可以
遍历所有的链接,等等?如果我错了请纠正我,但我想它是这样
做
的.任何用
C
++、
C
或Python
语言
编写的
浏览 6
提问于2011-12-26
得票数 5
回答已采纳
2
回答
C
# web和ftp爬网程序库
、
我需要一个库(希望是在
C
#中!)它作为web
爬虫
程序来访问HTTP文件和FTP文件。原则上,我喜欢阅读HTML,我想把它扩展到PDF,WORD等。
浏览 0
提问于2010-10-19
得票数 3
回答已采纳
2
回答
建立一个友好的多
语言
网站
、
、
我想弄清楚如何用
语言
选择器来建立一个网站。我只是不确定这是建立一个多
语言
网站的正确方式,因为
爬虫
不会再次以不同的
语言
扫描页面,对
吗
?(或者它
可以
检测到<em
浏览 2
提问于2011-10-01
得票数 4
回答已采纳
7
回答
对使用Lucene或Solr的
爬虫
工具的建议?
、
、
对于HTML和XML文档(本地或基于web),什么是一个好的
爬虫
(
爬虫
),并且在Lucene / Solr解决方案空间中工作得很好?
可以
是基于Java的,但不一定是。
浏览 13
提问于2008-11-12
得票数 16
回答已采纳
2
回答
有效地搜索大量URL列表
、
、
、
我正在建立一个网络
爬虫
,它必须爬行数百个网站。我的
爬虫
保存了一个已经爬行的urls列表。每当
爬虫
要爬行一个新页面时,它首先搜索已经爬行的url列表,如果已经列出了,则
爬虫
跳到下一个url,以此类推。因此,我的问题是,我
可以
使用什么样的算法来搜索一个urls列表(列表的大小每天增长到20到100 k)。
爬虫
目前是用Python编写的。但我将把它移植到
C
++或其他更好的
语言
中。
浏览 5
提问于2016-06-23
得票数 0
回答已采纳
2
回答
编写linux服务的最佳
语言
、
我想要创建一个
爬虫
扫描一个单一的网页,并给我一封电子邮件,以防有什么问题在页面上(该页面持有一些web服务器的状态/下降)。此外,
C
/
C
++不是一个选项。
浏览 0
提问于2013-02-05
得票数 0
回答已采纳
2
回答
带有最佳可定制
爬虫
和抓取器的建议
、
、
、
我相信
爬虫
是最好的方法
吗
?如果我的理解是正确的,请建议您是否有任何其他方法来获取信息,而不使用来自各种来源的
爬虫
。因为这非常耗费资源和时间。在选择
爬虫
之前,我应该考虑哪些因素。任何提供信息和研究因素的来源在创建
爬虫
或教育
爬虫
时都需要考虑,这将是很棒的。我更喜欢用java编写代码,但我
可以
用任何
浏览 0
提问于2010-11-11
得票数 0
3
回答
非常简单的
C
++网络
爬虫
/蜘蛛?
、
我试图在
C
++中做一个非常简单的网页
爬虫
/蜘蛛应用程序。我一直在使用谷歌搜索一个简单的,以了解这个概念。我发现了这个: 然而,这是复杂的理解对我来说,因为我开始学习
C
++大约一个月前。
浏览 15
提问于2010-11-25
得票数 22
回答已采纳
点击加载更多
扫码
添加站长 进交流群
领取专属
10元无门槛券
手把手带您无忧上云
相关
资讯
C 语言可以做简单的项目?
免费代理IP可以用来做爬虫吗
没有上过初中,可以学习c语言吗?
学会了C语言可以开发出很多东西吗?
C/C+编程笔记:在C+中如何调用C语言的代码?你可以这样做
热门
标签
更多标签
云服务器
ICP备案
实时音视频
对象存储
即时通信 IM
活动推荐
运营活动
广告
关闭
领券