腾讯云
开发者社区
文档
建议反馈
控制台
首页
学习
活动
专区
工具
TVP
最新优惠活动
文章/答案/技术大牛
搜索
搜索
关闭
发布
登录/注册
精选内容/技术社群/优惠产品,
尽在小程序
立即前往
文章
问答
(9999+)
视频
沙龙
5
回答
Googlebot是用哪种
编程
语言
编写的(或任何其他高效的
网络
爬虫
)?
web-crawler
、
googlebot
有人知道谷歌机器人是用哪种
编程
语言
编写的吗? 或者,更普遍的是,高效的
网络
爬虫
是用哪种
语言
编写的?我见过很多Java
语言
,但在我看来,它不是最适合开发
网络
爬虫
的
语言
,因为它产生了太多的开销(尝试使用Heritrix
网络
爬虫
,它非常重)。
浏览 0
提问于2009-10-29
得票数 1
回答已采纳
3
回答
检索包括嵌入对象的网页
java
、
webpage
我想取一个网页,包括图像,flash动画和其他嵌入式对象。实现这一目标的直接方法是什么?
浏览 1
提问于2010-04-19
得票数 2
3
回答
如何在ABOT C#
网络
爬虫
中获取html输出页面?
c#
、
web-crawler
我正在尝试用ABOT在c#.i中制作
网络
爬虫
,我搜索了很多例子,并添加了ABOT
网络
爬虫
。从那我只能得到日志输出而不是超文本标记
语言
页面输出。我想得到超文本标记
语言
页面输出only.because,超文本标记
语言
输出是超文本标记
语言
敏捷工具的输入。帮助我从ABOT
网络
爬虫
在C#中获得超文本标记
语言
输出。谢谢。
浏览 4
提问于2013-09-12
得票数 5
1
回答
Tcl Tk显示所有可用链接。
url
、
hyperlink
、
tree
、
tcl
、
tk-toolkit
我想开始
编程
一个带有一些功能的
网络
爬虫
。还是用其他
语言
如phyton
编程
更好呢? br
浏览 3
提问于2016-10-04
得票数 1
回答已采纳
7
回答
什么是
网络
爬虫
的理想
编程
语言
?
web-crawler
我只有很少的
编程
经验,我希望这对学习有好处。速度不是一个大问题,我估计
爬虫
一天最多要加载4000个页面。编辑:有没有办法提前测试我正在收集数据的网站是否受到
爬虫
的保护?
浏览 2
提问于2009-06-10
得票数 6
回答已采纳
2
回答
您选择的多线程http下载应用程序的
编程
语言
是什么?
multithreading
、
http
、
proxy
、
web-crawler
、
multiprocessing
我渴望学习一种新的
编程
语言
。在多线程mannerinteracts中,下载数百万个URL,其中包含某种类型的DB来存储已下载的数据。注意:,我会偶尔更新这篇文章,包括每个人最好的答案。
浏览 2
提问于2011-01-06
得票数 2
回答已采纳
1
回答
来自GOPL的代码:并发
网络
爬虫
go
下面是Donovan和Kernighan合著的“Go
编程
语言
”一书中的示例代码。它是关于一个简单的并发
网络
爬虫
。
浏览 2
提问于2018-04-20
得票数 0
1
回答
使用Python的Web爬行器
python
、
web-applications
、
web-crawler
我目前在大学学习计算机科学,我相信我对Python
编程
有很好的掌握。考虑到这一点,现在我正在学习全栈开发,我想用Python开发一个
网络
爬虫
(因为我听说它很擅长这一点),在Manta和Tradesi等网站上浏览,寻找没有网站的小企业,这样我就可以与他们的所有者取得联系,问题是,我以前从来没有用任何
语言
制作过
网络
爬虫
,所以我认为Stack Overflow的那些有帮助的人可以给我一些关于
网络
爬虫
的见解,特别是我应该如何去学习如何制作它们,以及如何在那些特
浏览 17
提问于2018-02-13
得票数 0
2
回答
Lucene
爬虫
(它需要建立lucene索引)
java
、
lucene
、
web-crawler
我正在寻找Apache Lucene
网络
爬虫
写在java,如果可能的话,或在任何其他
语言
。
爬虫
必须使用lucene并创建有效的lucene索引和文档文件,因此这就是nutch被排除的原因。有没有人知道这样的
网络
爬虫
是否存在,如果答案是肯定的,我可以找到它。Tnx..。
浏览 0
提问于2009-10-16
得票数 1
回答已采纳
1
回答
如何在.log文件中查找所有
网络
爬虫
java
、
web-crawler
我需要找出如何找到.log文件中的所有
网络
爬虫
。我不知道该找什么。我知道
网络
爬虫
会做一些特定的事情,但是我找不到用java
编程
的好方法。谢谢
浏览 0
提问于2014-01-20
得票数 0
1
回答
有没有一种方法可以用NCrawler提取特定的html标签信息
c#
、
.net
、
web-crawler
规格: Win7 64、VS 2010、.NET 4.0、NCrawler库 我正在写一个
爬虫
,它将从网上商店提取一些数据。应用程序可以很好地提取URL,我可以正确地导航到商店中的每一件商品。
浏览 0
提问于2014-11-30
得票数 0
1
回答
是否有一个无处不在的
网络
爬虫
可以生成一个良好的特定于
语言
的数据集来训练一个转换器?
nlp
、
gpt
、
crawling
似乎有很多值得注意的人工智能工具正在接受由
网络
爬虫
生成的数据集的培训,而不是人工编辑的、人工编译的语料库(Facebook Translate,GPT-3)。有没有任何无处不在的
网络
爬虫
,它做的基本相同的事情,但有一个参数的“
语言
寻求”?换句话说,用X
语言
生成一个
网络
爬行数据集?(背景:我想在任何
语言
中创建一个
语言
数据集,然后对其进行训练,这是一种可以将
语言
中的单词进行符号化的函数。)
浏览 0
提问于2021-11-18
得票数 0
1
回答
用于web应用程序的动态输入生成器
web-applications
、
automated-tests
、
dynamic-analysis
我将使用动态分析来分析web应用程序。现在我需要一个可以生成输入的输入生成器。我读过很多论文,比如阿波罗,但他们似乎没有发布他们的工具。
浏览 4
提问于2016-03-26
得票数 0
3
回答
Java类型列表是否有歧义?
java
、
list
我是一个具有基本
编程
背景的
编程
爱好者,但我对Java
编程
语言
完全陌生。 我想学习一个简单的
网络
爬虫
是如何构建的,我正在使用这个网站来编译源代码,看看它是如何工作的,并看看它是如何运行的!
浏览 0
提问于2011-05-19
得票数 6
回答已采纳
5
回答
哪种
语言
最适合高效的
网络
爬虫
?
c#
、
c++
我需要写一个
网络
爬虫
,我需要哪种
语言
是性能最好的
语言
,比如内存和性能。 编辑:原名是“为速度和性能而优化的
语言
c++或C#”
浏览 7
提问于2010-09-21
得票数 0
7
回答
哪些
语言
适合编写
网络
爬虫
?
php
、
c++
、
python
、
web-crawler
我有丰富的PHP经验,尽管我意识到PHP可能不是大型
网络
爬虫
的最佳
语言
,因为进程不能无限运行。人们推荐的
语言
是什么?
浏览 1
提问于2010-09-08
得票数 3
回答已采纳
2
回答
无法识别附加的h1标记
javascript
、
jquery
、
html
、
seo
我在这个页面上用jquery添加了h1标记,如下所示:h1标记和标记的内容显示得很好,但是当我在各种seo工具(例如这个:)中测试我的页面时,我得到的消息是页面没有h1标记。 $(
浏览 2
提问于2013-04-15
得票数 2
回答已采纳
5
回答
如何将动态站点转换为可从CD演示的静态站点?
html
、
web-crawler
、
static-site
有没有人对
爬虫
有什么好的建议,可以处理像链接清理,flash,一些ajax,css等等?我知道机会很小,但我认为在我开始编写自己的工具之前,我应该在这里抛出这个问题。
浏览 3
提问于2008-09-22
得票数 9
回答已采纳
3
回答
高效
网络
爬虫
的
语言
建议
javascript
、
asynchronous
、
node.js
、
web-crawler
我正在寻找一种
语言
来编写一个高效的
网络
爬虫
。我所看重的东西:我试过node.js。
浏览 6
提问于2010-12-03
得票数 2
2
回答
国家/地区/城市数据库
php
、
database
多
语言
意味着城市和国家的名称应该出现在当地
语言
上。 或者可能存在任何具有此功能的服务?
浏览 1
提问于2011-11-01
得票数 1
回答已采纳
点击加载更多
扫码
添加站长 进交流群
领取专属
10元无门槛券
手把手带您无忧上云
相关
资讯
Go语言网络爬虫概述
R语言网络爬虫经验
Go语言网络爬虫的接口设计
Go语言网络爬虫调度器的实现
网络爬虫基本原理——基于python语言
热门
标签
更多标签
云服务器
即时通信 IM
ICP备案
对象存储
实时音视频
活动推荐
运营活动
广告
关闭
领券