腾讯云
开发者社区
文档
建议反馈
控制台
首页
学习
活动
专区
工具
TVP
最新优惠活动
文章/答案/技术大牛
搜索
搜索
关闭
发布
登录/注册
精选内容/技术社群/优惠产品,
尽在小程序
立即前往
文章
问答
(605)
视频
沙龙
3
回答
停止
谷歌
机器人不止一次
爬行
URL?
seo
、
web-crawlers
、
googlebot
、
crawl-rate
我
有一个
网站
,通常每天创建几千页,创建后不会改变。最近,
我
的
专用服务器已经崩溃,因为googlebot
爬行
网站
太频繁。根据搜索控制台,很多天googlebot每天都会
爬行
数万次,这表明他们一直在
抓取
他们已经爬过
的
页面。
我
知道
我
可以限制googlebot
爬行
率,但是
是否
有可能强迫googlebot只
爬行
一次和一次?
浏览 0
提问于2019-08-08
得票数 2
回答已采纳
2
回答
为什么
谷歌
要花这么长时间
才能
爬上
我
的
网站
?
google
、
search-engines
、
crawl-rate
我
的
网站
还没有被
爬行
,它已经运行了(XX)天,或者没有重新
爬行
(XX)天。为什么要花这么长时间,
我
怎样
才能
加快速度。(创建这些问题是为了在这里看到大量与
爬行
频率有关
的
问题,这些问题在单个主题上
的
变化似乎都非常小,但由于其中一小部分不同,却不能严格地用另一个问题来处理)
浏览 0
提问于2016-10-16
得票数 1
回答已采纳
3
回答
多语言Web中
的
lang html标记
html
、
internationalization
、
seo
、
lang
建议在html中设置lang标签,如下所示:
我
的
网站
已经准备好以多语言(英语、西班牙语、法语等)
的
方式提供页面,这取决于位置或用户设置。
我
应该如何为一个好
的
SEO设置这个标签?
我
认为如果
我
使用
我
的
国际化设置,它将被设置为搜索爬虫位置(
我
不知道这是不是正确
的
方法)。 谢谢!
浏览 3
提问于2020-07-29
得票数 0
6
回答
关于SEO,一个
网站
地图对一个小
的
3页
的
网站
很重要吗?
seo
、
sitemap
关于SEO,一个
网站
地图对一个小
的
3页
的
网站
很重要吗?据我所知,这不是为了方便用户访问该
网站
,但它会帮助搜索引擎找到它吗?
浏览 0
提问于2013-03-12
得票数 7
2
回答
为爬虫处理元标记和文档标题
reactjs
、
react-router
、
redux
、
react-router-redux
我
希望
我
的
网站
描述和标题可以被
google
爬行
(它们似乎是
爬行
异步
的
东西,因为
我
的
站点
在
google
中显示
的
很好,有来自我
的
h1标签
的
文本),所以我找到了一个名为react头盔
的
库,它建立在react文档库
的
基础上以下是
我
的
问题: 目前(一周后)
浏览 4
提问于2016-03-15
得票数 4
回答已采纳
4
回答
我
应该把什么URL放到XML
站点
地图中?
seo
、
xml-sitemap
内容:产品,产品评级/评论,产品技术细节,稍后可能是产品问题/答案 我们之前
的
目标是向
Google
提供关于我们门户
网站
上重要内容
的
信息,以及最后一次更改
的
位置。
我
认为这是一个很好
的
点,把产品类别概述urls放在XML
站点
地图中,让
Google
有一个很好
的
起点来
抓取
我
的
站点
。但是--
我
的
问题是
浏览 0
提问于2014-03-07
得票数 5
回答已采纳
3
回答
我
应该在
网站
地图中包括论坛帖子吗?
xml-sitemap
、
forum
我
正在发起一个医学讨论论坛,以分享学习材料和讨论其他主题。这个论坛可能会发展得很快,至少会有几百个主题。 每一个讨论主题都应该包含在
网站
地图中吗?
浏览 0
提问于2014-04-06
得票数 5
回答已采纳
1
回答
谷歌
是否
有可能将.it域视为通用顶级域名?
seo
、
domains
、
geotargeting
似乎在
谷歌
的
网站
管理员工具中,
我
无法改变地理定位以将其从意大利
的
目标中移开,但我想知道
是否
还有其他方法可以让
谷歌
认识到我们
的
.it域实际上是一个gTLD?下面是一些
我
从
谷歌
找到
的
关于地理目标域
的
细节。只有在具有通用(
非特
定于
国家
的
) TLD (如.com
或
.
浏览 0
提问于2014-06-26
得票数 4
2
回答
基于AJAX
的
搜索
站点
上
的
SEO
seo
、
web-crawlers
、
googlebot
、
ajax
、
crawlable-ajax
我
正在构建一个
网站
,这基本上是一个简单
的
1页与搜索框,和AJAX搜索结果显示在一个表。
谷歌
五月停止其AJAX可
爬行
指南
是否
应该尝试使AJAX
浏览 0
提问于2015-04-08
得票数 1
回答已采纳
2
回答
我
是否
应该同时提交移动域名和桌面域名,以便在没有响应
的
站点
上进行索引,还是对SEO不利?
seo
、
web-crawlers
、
search-engine-indexing
、
mobile
、
negative-seo
我
有一个桌面版本
的
我
的
网站
使用
yourwebsite.com和移动版本
使用
m.yourwebsite.com。
我
是否
应该把它们当作一个
站点
,只将桌面版本连同其
站点
地图和首选网址(www.yourwebsite.com / yourwebsite.com)提交给搜索引擎,以及对
每个
站点
使用
robots.txt和.htaccess文件<em
浏览 0
提问于2016-09-07
得票数 1
3
回答
物品
是否
在Vuex和Nuxt被
爬行
?
vue.js
、
seo
、
nuxt.js
、
vuex
为了快速加载速度,
我
计划以vuex格式存储
我
博客中
的
大部分文本。这是一个好主意,特别是SEO,或者
我
应该为所有的岗位创建单独
的
路线?
我
对SEO不太了解,在
我
主要
使用
香草javascript之前,
我
对vue/nuxt也很陌生。
浏览 7
提问于2020-10-20
得票数 0
回答已采纳
2
回答
300,302,303
或
307重定向到国际
网站
?
seo
、
redirects
、
local-seo
、
internationalization
一个公司
的
网站
在不同
的
国家提供相同
的
产品和页面(或多或少)。这是一个混乱
的
局面;他们将子目录、子域和ccTLDs混合用于国际
站点
:example.com/uk-EN/product.htmlexample.com/nl-EN/product.html example.ca/product.
浏览 0
提问于2013-07-24
得票数 0
回答已采纳
4
回答
Sitemaps -
每个
子域一个还是基域一个?
seo
、
google-search-console
、
subdomain
、
sitemap
我
在一个项目中有5个以上
的
子域,比如developer、www、staff等等,创建
站点
地图
的
最佳实践是什么?由于子域是主应用程序
的
几个部分,<em
浏览 0
提问于2015-06-29
得票数 14
回答已采纳
1
回答
google
爬虫
的
爬行
策略
hadoop
、
solr
、
web-crawler
、
nutch
、
google-crawlers
我
想知道一些大型搜索引擎
的
重新爬网策略是如何工作
的
。例如,让我们考虑一下
谷歌
。我们知道
google
正在
使用
动态间隔来重新
抓取
每个
网站
。假设根据
google
dynamic interval,每10分钟就有100k个
站点
需要重新
抓取
。因此,这100000个
网站
的
抓取
过程应该在10分钟内完成。可能有两种可能
的
情况:
浏览 1
提问于2014-06-02
得票数 0
1
回答
Googlebot创建
的
URL显示为404错误。
url
、
url-rewriting
我
有一个情况,
谷歌
正在
爬行
我们
的
网站
。这很好,没有问题,但问题是爬虫正在创建不存在
的
URL路径。 /events是我们
站点
上
的
根文件夹。然后Googlebot正在创建这样
的
URL:/events/site/。
我
不知道这里发生了什么,
站点
返回404状态,然后它们出现在
网站
管理员工具错误报告中。
浏览 0
提问于2014-07-02
得票数 1
1
回答
如何将多个新域重定向回其主域,而不会对SEO/排名
或
其他任何事情产生负面影响?
seo
、
google-search
、
htaccess
、
redirects
、
mod-rewrite
我
已经把所有的4个都转到了
我
的
主
站点
。
我
的
问题是
我
不懂apache代码,
Google
有很多答案,
我
怎么
知道
我
是否
正确地重定向了它们?
我
想要
的
是:
我
想把所有4个域都重定向到我
的
主
站点
,而不是在
Google
中索引这4个域(
我
不需要担心索引、
爬行
浏览 0
提问于2017-01-17
得票数 2
回答已采纳
2
回答
Sitemap不包含所有页面
seo
、
sitemap
我
有一个关于英国所有城镇/县/邮政编码
的
数据库--
使用
一个插件,
我
能够动态地为
每个
城镇生成一个页面。然而,在
网站
地图中,只有大约25页(通常是最高级别的职位/页面)。
每个
页面都可以在页面上找到/后面有链接,但是这些链接永远不会添加到
站点
地图中。如何确保所有页面都添加到
站点
地图中?-类似的示例是电子商务
站点
--其中有一个动态填充产品细节
的
“页面”。
我</
浏览 0
提问于2019-09-01
得票数 0
2
回答
Google
工具
爬行
错误与“函数.会话-开始”URL
google-search-console
、
url
、
crawl-errors
我
从工具中获得了以下错误URL:
爬行
错误。http://www.mydomain.com/mydomain/shirts/function.session-start
我
已经检查了链接
的
网页,但我没有发现任何错误
的
function.session-start
浏览 0
提问于2013-09-10
得票数 0
1
回答
Apache :只
抓取
用于语义分析
的
新页面
nutch
、
web-crawler
我
计划调整Nutch2.2.X这样
的
方式,在
网站
列表
的
初始
爬行
之后,
我
每天启动爬虫,并获得HTML
或
新页面的纯文本,仅在这一天出现。
网站
数量:数百个。 请注意,
我
不感兴趣
的
更新,只有新
的
网页。,
我
只需要一次页面的文本,然后
我
就再也不回去了。MySQL似乎不是一种选择,因为gora不再支持它了。
我
试过
使用
HBase,但似乎必须回滚
浏览 3
提问于2014-06-04
得票数 0
12
回答
如何为
网站
做一个搜索引擎?
php
、
html
、
web
、
search-engine
我
想在
我
的
网站
上有一个搜索引擎,这些网络搜索引擎(如
Google
,yahoo等)提供免费服务吗?或者
我
应该自己去做
浏览 3
提问于2010-05-11
得票数 12
回答已采纳
点击加载更多
扫码
添加站长 进交流群
领取专属
10元无门槛券
手把手带您无忧上云
相关
资讯
Wix如何通过改进基础架构提升网站性能?
手机网站该怎么做好SEO优化?
SEO优化内链外链Nofollow插件工具
Octopress 3:让博客生成异常简单
Chrome Bug允许黑客了解Facebook所知道关于你的一切信息
热门
标签
更多标签
云服务器
即时通信 IM
ICP备案
对象存储
实时音视频
活动推荐
运营活动
广告
关闭
领券