有人知道谷歌机器人是用哪种编程语言编写的吗？
或者，更普遍的是，高效的网络爬虫是用哪种语言编写的？我见过很多Java语言，但在我看来，它不是最适合开发网络爬虫的语言，因为它产生了太多的开销(尝试使用Heritrix网络爬虫，它非常重)。
浏览 0提问于2009-10-29得票数 1
回答已采纳
我正在尝试用ABOT在c#.i中制作网络爬虫，我搜索了很多例子，并添加了ABOT网络爬虫。从那我只能得到日志输出而不是超文本标记语言页面输出。我想得到超文本标记语言页面输出only.because，超文本标记语言输出是超文本标记语言敏捷工具的输入。帮助我从ABOT网络爬虫在C#中获得超文本标记语言输出。谢谢。
浏览 4提问于2013-09-12得票数 5
我想禁用前端索引，利用爬虫。如何设置以下爬虫配置：( B)用几种语言编制定制记录索引
但是，在文档中没有任何关于语言的内容：
浏览 0提问于2018-07-24得票数 1
回答已采纳
1回答
我刚刚遇到了Elastic Search，我已经完成了安装和示例索引以及搜索。现在我想把这个用在我的网站上。为此，如何为我的网站创建索引？我是否需要将整个网页内容存储为索引？？
浏览 0提问于2011-06-07得票数 1
回答已采纳
我正在寻找Apache Lucene网络爬虫写在java，如果可能的话，或在任何其他语言。爬虫必须使用lucene并创建有效的lucene索引和文档文件，因此这就是nutch被排除的原因。有没有人知道这样的网络爬虫是否存在，如果答案是肯定的，我可以找到它。Tnx..。
浏览 0提问于2009-10-16得票数 1
回答已采纳
2回答
我想在我的应用程序中以一种对SEO爬虫更快更好的方式在我的应用程序中显示一个外部网页(就像它在该站点中呈现的那样)，我想知道是否有一种使用javaee的方法？
浏览 5提问于2012-07-29得票数 1
回答已采纳
我创建了一个组件SeoHeader来处理NextJs项目上的元标记创建import Head from 'next/head'; const router = useRouter(); <Head>
<met
浏览 8提问于2021-10-18得票数 1
1回答
我在C++/Qt4.8.5中为Windows创建了网站爬虫。我发现，有时页面可能包含隐式(伪)重定向，就像script标记中的script。原始爬虫只检测到href标记中的a属性。但是还有其他节点可以包含urls。例如，<META HTTP-EQUIV="REFRESH" CONTENT="0; URL=/relative_url">。另外，我注意到向请求中添加首选语言的标题不能更改站点的页面语言。我的意思是Chrome在某些语言中有
浏览 1提问于2014-03-30得票数 3
回答已采纳
2回答
Eclipse、JEE、Tomcat、servlet、JSP和表达式语言--我正在做一些简单的示例，应该演示MVC模式--servlet控制器将请求转发到适当的JSP页面，其中我需要使用表达式语言(在JSP要在JSP页面中使用表达式语言，我需要在web.xml文件中激活它，所以我将这些行放在web.xml中：<web-app xmlns="http://java.s
浏览 4提问于2013-10-30得票数 0
回答已采纳
规格: Win7 64、VS 2010、.NET 4.0、NCrawler库
我正在写一个爬虫，它将从网上商店提取一些数据。应用程序可以很好地提取URL，我可以正确地导航到商店中的每一件商品。
浏览 0提问于2014-11-30得票数 0
似乎有很多值得注意的人工智能工具正在接受由网络爬虫生成的数据集的培训，而不是人工编辑的、人工编译的语料库(Facebook Translate，GPT-3)。有没有任何无处不在的网络爬虫，它做的基本相同的事情，但有一个参数的“语言寻求”？换句话说，用X语言生成一个网络爬行数据集？(背景:我想在任何语言中创建一个语言数据集，然后对其进行训练，这是一种可以将语言中的单词进行符号化的函数。)
浏览 0提问于2021-11-18得票数 0
5回答
我需要写一个网络爬虫，我需要哪种语言是性能最好的语言，比如内存和性能。
编辑：原名是“为速度和性能而优化的语言c++或C#”
浏览 7提问于2010-09-21得票数 0
2回答
我相信爬虫是最好的方法吗？如果我的理解是正确的，请建议您是否有任何其他方法来获取信息，而不使用来自各种来源的爬虫。因为这非常耗费资源和时间。在选择爬虫之前，我应该考虑哪些因素。任何提供信息和研究因素的来源在创建爬虫或教育爬虫时都需要考虑，这将是很棒的。我更喜欢用java编写代码，但我可以用任何其他语言编写代码，
浏览 0提问于2010-11-11得票数 0
7回答
我有丰富的PHP经验，尽管我意识到PHP可能不是大型网络爬虫的最佳语言，因为进程不能无限运行。人们推荐的语言是什么？
浏览 1提问于2010-09-08得票数 3
回答已采纳
example.com/de/article123 # german
根据浏览器语言($_SERVER['HTTP_ACCEPT_LANGUAGE'])，有一个自动302重定向到相关语言这对用户体验很有好处，因为大多数用户不必手动单击语言开关。据我的统计，效果很好。Problem：当使用Ahrefs网站审核工具(对于搜索引擎爬虫，GoogleBot，.)时，我发现的爬虫会重定向到302，因此永远不会访问法语网站。我想这些爬虫不考虑c
浏览 4提问于2021-12-01得票数 0
2回答
我想弄清楚如何用语言选择器来建立一个网站。我只是不确定这是建立一个多语言网站的正确方式，因为爬虫不会再次以不同的语言扫描页面，对吗？(或者它可以检测到语言已经被修改了，并且重
浏览 2提问于2011-10-01得票数 4
回答已采纳
如果我有由jQuerys document.ready生成并放入正文中的超文本标记语言，谷歌和其他爬虫会在正文中看到这个超文本标记语言吗，或者它不会被计算在内？
浏览 2提问于2011-06-23得票数 2
回答已采纳
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
云直播
对象存储
腾讯会议活动推荐
腾讯云开发者
