腾讯云
开发者社区
文档
建议反馈
控制台
登录/注册
首页
学习
活动
专区
工具
TVP
最新优惠活动
文章/答案/技术大牛
搜索
搜索
关闭
发布
精选内容/技术社群/优惠产品,
尽在小程序
立即前往
文章
问答
视频
沙龙
2
回答
雅虎搜索引擎不能索引Ajax内容?
、
、
雅虎支持可爬行的Ajax吗?我是关于谷歌(https://developers.google.com/webmasters/ajax-crawling)提供的解决方案的。 如何使我的Ajax内容可以被雅虎搜索引擎抓取?
浏览 0
提问于2014-07-16
得票数 4
1
回答
爬虫能找到使用body的onLoad()和ajax加载的内容吗?
、
、
我已经创建了一个超文本标记语言页面,其中我使用body的onLoad回调,通过Ajax调用从Servlet获取内容并将其发送到一个div (内容包含有关书籍的信息-每本书都是一个包含标题、标签、作者等的表)。 现在我想知道,当我将这个页面提交给搜索引擎时,机器人是否能够抓取这个ajax内容? 如有任何帮助/建议,欢迎光临!
浏览 0
提问于2012-06-28
得票数 1
1
回答
获取作为Google网站管理员工具
、
、
我有一个AngularJS SPA网站,我想测试使用谷歌的“抓取作为谷歌”的功能,在网站管理员工具。我对结果有点困惑。来自Googlebot的屏幕截图看起来是正确的,但是响应不包括"ui-view“(ui-路由器)中的任何内容.有人能解释一下这里发生了什么吗?因为截图是正确的,谷歌是否对网站进行了正确的索引?还是google不能正确地执行JS索引呢?
浏览 0
提问于2015-04-15
得票数 4
回答已采纳
7
回答
完整的ajax站点和SEO
、
我计划开始一个完整的ajax网站项目,我想知道搜索引擎优化。 该站点将具有类似于www.mysite.gr/#/category1 1等的urls 可以谷歌抓取该网站。 是关于完整的ajax和SEO我必须注意的事情 欢迎任何阅读建议。 谢谢
浏览 0
提问于2010-03-04
得票数 5
回答已采纳
2
回答
Gmail类型的页面加载
、
、
、
、
当使用Gmail时,URL看起来就像。我观察到URL中有#符号。同样,Facebook,Twitter也会以类似的方式加载页面内容,而不是加载整个页面,它只是刷新所需的区块。 他们使用的是什么概念/技术。我们可以使用JQuery做到这一点吗?在这些情况下,搜索引擎可以抓取页面内容吗?
浏览 0
提问于2011-01-12
得票数 1
2
回答
为什么搜索引擎不能直接索引Ajax站点?
、
、
、
、
作为一名GWT开发人员,我理解Ajax站点动态地呈现页面,例如,我创建的站点是单页面,并且包含用于呈现诸如“主页”、“关于我们”、“产品”等“页面”的标签。 然而,这些页面通常包含一个散列(#),如果我访问,比如说http://example.com#HomePage或#Products,它将“最终”呈现页面和内容…… 现在,如果我把我的产品页面站点放在我的可抓取的静态博客站点上,例如:http://example.com#Products,如果我点击这个站点,那么我的站点最终会在一些ajax调用之后呈现产品。 但是,如果我在浏览器中检查站点的“页面源代码”,页面仍然是“来自ajax内容的空h
浏览 0
提问于2013-03-27
得票数 0
回答已采纳
2
回答
爬行版本控制系统
、
、
、
、
我想在GitHub上抓取某种类型的项目,比如我想抓取由特定作者和bla bla约束创建的源代码。Nutch有没有什么插件可以抓取这些信息,或者是抓取整个存储库的最佳方式。 我甚至想使用Nutch抓取公共托管版本控制系统的版本。有没有插件可以做同样的事情。
浏览 1
提问于2012-01-11
得票数 0
5
回答
Ajax seo技术
、
、
、
、
我读过一些关于使google能够抓取基于ajax的站点的主题,但是这些信息是很有争议的。有可能吗?如果是,可以有人张贴到教程的链接吗? 我经常以以下方式将ajax与jquery结合使用: 我有个div 我将请求发送到php后端,在那里生成html。 当响应到达时,我用得到的响应设置div的内部html。 为了使页面seo优化,这是一个很好的方法吗? 谢谢
浏览 1
提问于2011-03-20
得票数 4
回答已采纳
2
回答
支持Ajax的网上商店
、
我想创建基于ajax的网络商店(例如extjs)。它在一些移动设备和浏览器中禁用了js的用户上不起作用。这可能是大约5%的用户。我会忽略禁用javascript的用户,但我不能忽略搜索引擎。最痛苦的是它不能被搜索引擎抓取。谷歌有一些“复杂”的规则,如何为他们的搜索引擎实现这一点,但这并不适用于所有其他搜索引擎。因此,我想知道,处理这类问题的最好方法是什么?也许你必须创建单独的网站,启用js和禁用js的网站? 然后在每个页面的标题中添加标签,将所有禁用js的用户(或搜索引擎)重定向到无js网站。 这是非常痛苦的。有没有一些指导方针能以最少的努力实现这一点?我也在考虑使用纯html而不使用任何ja
浏览 0
提问于2013-01-29
得票数 0
1
回答
隐藏的页面,但仍然可以爬行?
、
是否有可能对用户隐藏页面,但仍然让搜索引擎抓取内容? 我有RSS源,它们非常混乱,不适合我的主题,但它们有我从爬行中获益的内容。
浏览 0
提问于2013-07-24
得票数 0
3
回答
HTML页面抓取
、
、
、
抓取具有AJAX/动态数据加载功能的网页的最佳方式是什么? 例如:抓取一个网页,该网页加载了20张图片,但当用户向下滚动页面时,它会加载更多的图片(有点像Facebook)。在这种情况下,如何抓取所有图像,而不仅仅是前20个图像?
浏览 0
提问于2012-12-06
得票数 3
2
回答
搜索引擎误解
、
、
我有这个,可能是个误会,关于搜索引擎。他们如何搜索网页?如果我有一个从数据库加载内容和/或更改内容的页面,那么搜索引擎会抓取由数据库和jquery加载的内容吗?? 非常感谢你的帮助!
浏览 0
提问于2012-04-04
得票数 2
3
回答
页面加载时jquery弹出窗口不会被爬行器索引
、
我即将完成网站的重新设计,我正在寻找一个解决方案来通知网站的定期访问者刷新页面更新网站,因为它仍然会显示旧的设计(我们正在使用浏览器利用缓存)。我有一个简单的php脚本,它在页面顶部显示一个消息框,但内容是由搜索引擎索引的,并且是受影响的列表。据我目前所知,你不能对搜索引擎隐藏文本,如果它是他们的,他们会把它包括在他们的抓取中吗? 我可以做一个简单的图像,但这并不理想。 有没有人知道jquery弹出窗口可以在第一个页面加载时显示一条消息,但不会被索引?一些非常简单和轻便的东西,不会让访问者望而却步。很抱歉之前有人问过这个问题,或者有现成的解决方案,我找不到任何解决方案,可能我问错了问题?
浏览 2
提问于2012-07-17
得票数 2
回答已采纳
3
回答
什么是一个好的爬行速度?
、
、
我正在抓取网页以创建一个搜索引擎,并且已经能够在1小时内使用Scrapy抓取近9300个页面。我想知道我还能提高多少,以及什么值被认为是“好”的爬行速度。
浏览 0
提问于2018-03-26
得票数 5
1
回答
博主是否因为被谷歌拥有而获得更好的排名?
、
、
、
、
考虑到我想创建一个博客并购买我自己的域名: 事实上,Blogger是由Google提供的,与其他weblog发布工具(如Wordpress、Tumblr.)相比,它可能意味着更高的索引性能。创建一个抓取网站?
浏览 0
提问于2016-02-16
得票数 1
4
回答
识别搜索引擎爬行器
、
、
我在一个网站上工作,通过AJAX加载其数据。我也希望整个网站可以被谷歌和雅虎这样的搜索引擎抓取。我想做2个版本的网站…1当用户访问时,超链接应该像GMAIL一样工作(#'ed超链接)2当爬虫访问时,超链接应该正常工作(关闭AJAX模式) 我如何识别爬虫??
浏览 1
提问于2010-09-17
得票数 1
回答已采纳
1
回答
为什么谷歌(和必应)不把我的刮板列入黑名单?
、
、
我需要像这样指定一个搜索查询来抓取搜索引擎的结果:"firstName lastName linkedin“。目的是提取linkedin个人资料URL。通常,这是第一个搜索结果。 我使用一个简单的nodeJs库和一个递归实现(如下所示)抓取了近1500个名字。另外,为了测试搜索引擎的局限性,我运行了4个并行实例,每个实例分别指向google、bing、yahoo和duckduckgo: const sec = require('search-engine-client'); const search = (i) => { if (i < quer
浏览 0
提问于2018-01-10
得票数 0
6
回答
谷歌能“理解”微格式吗?这对我的SEO有帮助吗?
、
、
、
语义HTML让Google更容易抓取和“理解”一个网站,但是微格式呢?微格式是否比标准HTML标记更具语义/可爬取性?
浏览 0
提问于2009-04-08
得票数 10
回答已采纳
1
回答
当使用301 302重定向时,搜索引擎是否会抓取源或目标页面?
、
、
、
当他们发现不同的状态代码时,搜索会做什么? 三百零二 301 404 等等。 我知道他们会忽略带有404状态代码的页面,但是其他状态呢? 搜索引擎是否会抓取源或目标页面?
浏览 3
提问于2009-09-17
得票数 1
回答已采纳
1
回答
新的404未找到索引页面将如何影响排名?
、
、
、
我们遇到了这样一种情况,我们所有的页面链接都被抓取了,而且还在继续抓取。页面链接包含"~/{someTerm}/{someOtherTerm}/__p/##/##“。 问题是,现在谷歌和MSN机器人都在抓取数以万计的不需要抓取的页面,这给系统造成了压力。 因此,我们将分页链接更改为Javascript链接,并删除了所有包含"__p“的URL,以便它们现在将返回404 - Page Not Found。我们真的只想要索引第一页,也许以后会有一两页(但现在不用担心这一点。 有没有办法使用谷歌和MSNBot的WebMasterTools删除网址中包含"__p“的所有页面,如果
浏览 1
提问于2012-08-16
得票数 0
回答已采纳
2
回答
Ajax整个页面-只显示一个div,并保留CSS和其他标题材料?
、
、
、
一个客户想在他们的网站上建立一个购物商店,并且已经建立了一个。我可以在整个页面中iFrame到merch页面,但坦率地说,merch网站是一个有碍观瞻的网站,他们的网站对它有一种非常特别的感觉。所以我正在考虑使用AJAX GET来抓取整个页面,然后使用javascript来只显示包含商品的div。但是,在merch站点上有很多javascript include(等),我需要确保它们仍然存在,以便div能够正常工作。 你觉得这样做行不行得通?所显示的div会从AJAX页面中获取其样式表和脚本吗?我可以把div放在iframe中吗? 意见?
浏览 3
提问于2010-01-11
得票数 0
回答已采纳
5
回答
ajax在每一次或一次加载所有
、
、
、
、
假设一个页面上有几个链接。单击时,div将通过AJAX更新。更新的div包括来自数据库的数据。 根据此场景,每次单击链接时,都会从数据库中抓取日期并将其注入div。 你能不能..。 支持此场景,或者.会在几个隐藏的div中加载每个链接的内容,并在每个链接单击时显示相关的div。这样,ajax调用只被调用一次..
浏览 7
提问于2009-01-15
得票数 0
回答已采纳
1
回答
GWT + symfony2,我疯了吗?
、
、
、
、
有没有人有集成GWT和Symfony2的经验?目前我使用的是前端是JQuery + HTML的Symfony2。尽管JQuery已经被使用过了,但编写Javascript还是让我抓狂。 我想知道有没有成功的案例?GWT可以为我生成javascript。我只需要编写类型安全和面向对象的Java。 但是,还有另一个问题,按照GWT的常规做法,HTML元素都是动态创建的。因此,当搜索引擎抓取页面时,没有元素可供其抓取。这是一个严重影响SEO排名的问题吗?
浏览 1
提问于2012-04-10
得票数 0
1
回答
noindex标签会阻止机器人抓取页面上的链接吗?
、
、
、
如果我有一个具有noindex标记<meta name="robots" content="noindex" />的页面,我知道该页面将不会显示在搜索结果中。 但是页面上的链接仍然会被抓取吗? 如果我想抓取它们,我可以设置像<meta name="robots" content="noindex, follow" />这样的东西吗?它会起作用吗?
浏览 1
提问于2016-06-14
得票数 0
3
回答
我能保护我的sitemap.xml以便只有搜索引擎才能下载它吗?
、
、
、
我正计划在我的站点地图中添加一堆聚集的页面列表,我不想让局外人太容易抓取。我能保护我的sitemap.xml以便只有搜索引擎才能下载它吗? 安装防火墙?我在用IIS6。
浏览 0
提问于2009-12-14
得票数 1
回答已采纳
1
回答
如何抓取搜索引擎结果
、
、
、
构建一个页面(asp.net)来抓取搜索引擎结果,然后显示在我自己的页面上,这是可行的吗? 我的同事想开发一个包含搜索框的页面,当用户输入关键字并单击搜索时,它会传递给搜索引擎(如google)并抓取结果。然后将结果插入到数据库中,并在我的页面中显示结果。
浏览 0
提问于2012-12-29
得票数 0
1
回答
雅虎和必应爬虫会像谷歌那样解释JavaScript吗?
、
、
、
我有一个角度单页应用程序。 谷歌在2014年年中开始在抓取页面时呈现JavaScript,但雅虎和必应在抓取页面时也会解释JavaScript吗? 我是否需要在我的Prerender.io配置中包含它们?
浏览 2
提问于2015-01-22
得票数 4
1
回答
带有SEO友好ajax和历史的单页网站
、
、
、
我正忙着建立一个单一的网页网站。该页的基本布局如下-另一节下一节: 标头与导航 内容第1节(关于我们的例子) 内容第2节(产品示例) 内容第3节(示例客户端) 页脚 每个部分都有一个小菜单,用于ajax特定部分的内容。因此,产品部分将有一个产品标题菜单,一旦点击,产品的详细信息将被取消。 我可以做这些与正常的技术,但问题是,我需要的网站是搜索引擎优化友好,并由谷歌索引/爬行。 我以前从未使用过它,但是history.js看起来很有前途。我做了一些测试,但找不到我的具体问题的资源。我也愿意听取其他建议。所有的Ajaxed内容将是单独的HTML文件-对于搜索引擎优化,因
浏览 0
提问于2013-01-30
得票数 1
1
回答
更新和发布的网站-更改不生效的搜索结果?
、
、
问题背景: 我最近更新了我的网站,并重新发布了使用Azure。这是好的,这些变化已经生效,当我打开和查看网站从谷歌搜索。这是数据更改和重新发布之前的旧信息. 问题: 但是,没有改变的是网站的标题和摘要。下面显示了结果与呈现此信息的站点title和h1元素的不同之处。 我已经要求谷歌通过使用网站管理员工具重新抓取网站。 数据更改的延迟是否正常?这仅仅是一个等待谷歌重新抓取网站的案例吗?我大约3个小时前部署了这个站点,如果这有助于确定答案的话。
浏览 0
提问于2015-07-10
得票数 0
回答已采纳
2
回答
如何使Silverlight页面可爬行?
、
有了,Silverlight变得更适合内容页面。下一件大事就是让它变得可爬行。我认为其中一种方法可以是抽象数据库中的内容,并将其用于人类的Silverlight页面中,或者为爬虫返回一个普通的HTML。有没有人想让他们的Silverlight页面变得可抓取?
浏览 0
提问于2010-01-07
得票数 0
回答已采纳
2
回答
有没有一种编程的方法可以从Google搜索返回“关于N个结果”的数字?
、
我希望能够抓取任意Google搜索词的“约N个结果”数字。谷歌对抓取器的抵抗力相当强,所以虽然这可能是一个需要做一些工作的选择,但我特别想问的是,有没有更好的方法来做到这一点?也许Google提供了一个预先存在的API来满足这一需求?
浏览 3
提问于2016-08-19
得票数 6
2
回答
我可以单独使用solr吗
、
、
我正在建立一个搜索引擎,需要抓取网络,索引它,并能够搜索数据。 我可以单独使用Apache Solr吗?还是需要先使用Nutch来抓取web?
浏览 0
提问于2013-07-20
得票数 0
回答已采纳
2
回答
以编程方式搜索yahoo
、
我正在抓取yahoo搜索结果,但我得到了502 => Net::HTTPBadGateway。究竟是什么导致了错误?这是否意味着yahoo检测到了我的机器人并禁止了我的ip?
浏览 1
提问于2012-08-02
得票数 0
1
回答
我可以重用Tridion附带的SOLR实例吗?
、
、
、
、
我有一个新建立的Tridion项目,是使用SOLR作为其搜索引擎。Tridion是否有自己的内部SOLR和自己的API?或者我应该使用SOLR指向SOLRSharp的外部实例? 作为一名前端开发人员,它将是我关注的CD。看起来我将使用一个单独的SOLR实例运行Nutch来抓取已发布的站点。
浏览 0
提问于2012-03-26
得票数 4
回答已采纳
1
回答
抓取网站返回错误数据
、
我正在使用快速矿工从特定的数据抓取网站。问题是,如果我尝试频繁地抓取网站,它提供的数据是错误的。 如果我从其他IP地址看到相同的数据,它会显示与我在不同IP地址上抓取的数据不同的数据。 有什么解决方案可以克服这个问题吗?
浏览 0
提问于2012-10-19
得票数 0
2
回答
搜索url漂亮鼻涕虫对SEO的影响
、
现在,该网站有搜索结果,如以下网址。 example.com/?s=ajax 我打算把这个改成 example.com/search/ajax 谷歌或任何其他搜索引擎如何对待网站的搜索结果页面。我猜他们没有索引第一个链接,但他们可能索引第二个链接。你认为这会否对搜索引擎优化造成负面影响? 我应该不允许/搜索/*在我的robots.txt?这是否足以防止来自搜索引擎的任何处罚。 在类似的说明中,分类页面是如何被搜索引擎处理的。我们也应该禁止他们吗?
浏览 0
提问于2015-04-02
得票数 1
回答已采纳
1
回答
抓取网站的API?
、
、
、
我只是想知道,谷歌或其他公司是否提供了一个API,允许你接收抓取的链接?我想过滤的链接与.txt扩展和可能的另一个额外的扩展。 如果不是,我如何抓取/索引页面,但只将其细化为我选择的扩展?我也不想跨越任何法律纠纷,所以我必须遵守robots.txt吗?另外,我是否需要一个大型数据库来抓取这些文件的内容?我想抓取随机链接(与我选择的扩展),在DMOZ的起点。
浏览 1
提问于2014-06-06
得票数 0
2
回答
我们能识别googlebot,就像搜索引擎攻击特定的URL吗?
、
、
我的问题: 我的客户站点,它显示更多的产品,它增加了更多的页面加载/重量。因此,我决定使用ajax来加载更多的产品,而且效果很好。但在这里,它影响搜索引擎优化-没有产品或交易被索引(甚至我建议客户提交产品通过googlebase,但客户不喜欢这个想法,他希望谷歌直接爬到网站,他也希望减少时间的网页负荷)。 问题:可以识别到服务器的googlebot爬行请求,或者像浏览器用户代理请求到站点(服务器)一样识别mozila。 建议我有 我试图从请求中识别用户代理,但这不起作用(或者我可能遗漏了什么?)请任何人都有正确的解决方案,以减少页面加载时间使用ajax和googlebot也抓取网站。
浏览 8
提问于2012-07-31
得票数 0
2
回答
基于文本的在线游戏的搜索引擎优化
、
我正在构建一个基于在线文本的游戏,就像黑手党战争一样。我在Mysql数据库上使用PHP。 我的网站将包括一个布局,它将在导航链接和游戏控件上保存最多,而大多数页面将通过Ajax调用调用。我不希望页面完全重新加载给用户一个桌面游戏的感觉。 现在,这意味着只有一个具有各种动态内容的真实页面。 从,SEO,的角度来看,这是好还是坏?我的意思是,我的布局中只有一个2元标记,无法在Ajax调用的视图中放入元标记。搜索引擎蜘蛛也能索引我的Ajax视图吗?
浏览 1
提问于2011-12-21
得票数 0
回答已采纳
3
回答
history.js +谷歌
、
、
、
让我们来谈谈google的AJAX抓取: 由于是丑陋的 urls的一个很好的替代方案,我想知道一个确定的问题:对于HTML5浏览器,如果ajax-content被加载并且应该被谷歌索引,那么就会创建好的urls。对于非HTML5浏览器(例如,IE9不支持history.pushState),使用旧的hashbang。 那么google看到的是哪个版本呢?谷歌会不会看到重复的内容(一次使用漂亮的url,一次使用hashbang)? 感谢您对此的任何想法。
浏览 6
提问于2012-12-06
得票数 5
2
回答
通过php使用if语句和搜索引擎爬行器进行重定向?
我几乎所有的网站页面都是用户访问的,如果不是用户,没有登录,他们根本就不能访问这些页面。 搜索引擎爬虫是否仍然能够列出、抓取和索引这些用户页面,因为它们不会登录? 有没有更好的方法来使用这个系统来获得更好的索引?
浏览 0
提问于2011-09-13
得票数 0
3
回答
Adobe与谷歌达成了一项协议,以改善flash上的SEO。有关于Silverlight的事吗?
、
、
、
Adobe与谷歌达成了一项协议,让谷歌引擎为SEO读取SWF内容。整个事情都是关于索引一些静态的swf内容,而不是进一步抓取它,但这至少是一些东西。有没有人知道Silverlight是否也会做出类似的努力?至少Bing会支持阅读Silverlight内容吗?你听说过这件事吗?
浏览 5
提问于2009-10-18
得票数 0
2
回答
robots.txt内容/硒网抓取
我正在尝试使用selenium运行web抓取。 这个robot.txt内容是什么意思? User-Agent: * Disallow: /go/ Disallow: /launch-announcement/ 我可以在所有文件夹中运行网络抓取,除了去和启动公告?
浏览 3
提问于2020-07-14
得票数 4
回答已采纳
5
回答
站点覆盖率的最佳开源爬虫
、
我对抓取很多网站很感兴趣。最重要的考虑因素是,蜘蛛能够到达尽可能多的站点。大多数爬行器所缺少的一个关键特性是执行JavaScript的能力。这是必需的,以便抓取ajax供电的网站。我真的很喜欢开源,我需要修改我的项目的代码。 目前我认为Solr是Lucine的一部分,是一个非常好的解决方案。 有人用过Solr或Lucine吗?我对Solr最大的问题是不能执行javascript,但是它有丰富的功能集和可扩展性,这两点都让Solr很有吸引力。
浏览 0
提问于2010-01-13
得票数 3
回答已采纳
1
回答
万象优图的空间是不是可以被搜索引擎抓取呢?
、
、
用万象优图的空间绑定了域名作为网站的图片储存。那万象优图的空间是不是也可以被搜索引擎抓取呢?如果可以,不仅会耗费流量,而且还有可能到网站降权。这个问题到底该怎样解决?
浏览 248
提问于2015-12-17
1
回答
新闻如网页索引,但没有出现在SERP中。
、
、
嗯,我有一些爬虫可以从不同的新闻机构网站上抓取新闻,然后自动发布到我自己的网站上,问题是我的页面会在谷歌上找到索引,但即使我搜索的是完全相同的单词,它也不会出现。 它只显示源网站,我想知道我能做什么使谷歌显示我的网页上的SERP?我应该链接到源网站吗?或者,从根本上说,抓取另一个网站并将其内容作为自己的内容发布是没有用的吗?
浏览 0
提问于2013-08-13
得票数 0
回答已采纳
1
回答
通过ajax (json)以正常方式加载内容
、
、
我现在已经通过ajax (json)加载了购物车中的大部分页面(搜索结果、类别数据、产品数据、购物车等)。我现在正在考虑通过ajax (json)在主页上加载主类别,以进一步提高速度。例如,这看起来就像下面这样: <b>Categories</b><br /> <a href="#A/1234">Category A</a> <br /> <a href="#A/5678">Category B</a> <noscript> <a href=
浏览 0
提问于2012-12-12
得票数 0
回答已采纳
1
回答
Google Crawler能看到我页面上的动态内容吗?
、
、
、
我已经在我的公司网站上工作了大约10天,完全将我的网页通过$.ajax提供内容,并通过jquery构建内容。现在我发现google不会看到我的页面内容,因为它是通过javascript生成的。我已经验证过,在chrome中,当我转到View Source时,我看不到任何我通过Jquery创建的html元素。 如何让google抓取这些DIV或者说HTML? 例如: $('.wrapper').html("<div class=\'product\'> This is Product 1 </div>"); 谷歌抓取.pro
浏览 1
提问于2013-11-21
得票数 0
1
回答
允许搜索引擎机器人爬行站点,同时通过在本地存储中存储页视图计数来限制用户的访问权限。
、
、
、
、
我们希望在客户端为未经身份验证的用户实现免费的使用限制。例如,如果用户一天超过某一限制(比如每天5篇文章),没有登录的用户将无法查看内容。我们计划将这些信息存储在本地存储上--然后,如果用户已经完成了一天的免费配额,则只需限制客户端进行API调用即可。 然而,对我们来说,这个限制是必要的,不影响网络机器人或谷歌机器人,它爬行网站的索引。谷歌机器人是否为从我的网站上抓取的每一页刷新本地存储内容?或者,对于如何为未经认证的用户实现免费使用限制,您有什么好的建议吗?
浏览 4
提问于2022-09-11
得票数 1
回答已采纳
1
回答
网站分析软件遵从性
、
我需要找到一个程序,可以抓取一个网站,并显示各种搜索引擎蜘蛛将解析(或不解析)和使用的信息。 我们要做的是让一个程序遍历我们的站点,告诉我们哪些图像没有alt标记(因为引擎有时在图像上使用alt标记来确定某些站点信息等等),或者哪些内容的编写方式使use无法提取信息并在他们的排名中使用它。
浏览 0
提问于2011-12-14
得票数 1
扫码
添加站长 进交流群
领取专属
10元无门槛券
手把手带您无忧上云
相关
资讯
搜索引擎如何爬行和抓取?
Python 分析 AJAX 请求并抓取今日头条街拍图片
Python异步加载爬虫,护士私密照源源不断,Ajax抓取速度惊人!
哪种网站布局才符合搜索引擎的抓取需求?
浅析搜索引擎对网站的抓取规则有哪些方面
热门
标签
更多标签
云服务器
ICP备案
对象存储
即时通信 IM
实时音视频
活动推荐
运营活动
广告
关闭
领券