腾讯云
开发者社区
文档
建议反馈
控制台
首页
学习
活动
专区
工具
TVP
最新优惠活动
文章/答案/技术大牛
搜索
搜索
关闭
发布
登录/注册
精选内容/技术社群/优惠产品,
尽在小程序
立即前往
文章
问答
(9999+)
视频
沙龙
1
回答
使用
新
的
搜索
控制台
通过
R
获取
Googlebot
爬行
错误
r
、
google-search-console
所以问题是,我有一个代码运行得很好
的
自动化,得到了谷歌机器人
爬行
错误
的
数量。为此,我
使用
了SearchconsoleR包。 最近,我假设由于
搜索
控制台
的
变化,这将不再起作用。Errors <- crawl_errors(website, category = "all", platform = c("web"), latestCountsOnly = T) 现在我得到了以下
错误
代码(rig
浏览 9
提问于2019-05-15
得票数 0
回答已采纳
3
回答
停止谷歌机器人不止一次
爬行
URL?
seo
、
web-crawlers
、
googlebot
、
crawl-rate
最近,我
的
专用服务器已经崩溃,因为
googlebot
爬行
网站太频繁。根据
搜索
控制台
,很多天
googlebot
每天都会
爬行
数万次,这表明他们一直在抓取他们已经爬过
的
页面。我知道我可以限制
googlebot
爬行
率,但是是否有可能强迫
googlebot
只
爬行
一次和一次? 📷
浏览 0
提问于2019-08-08
得票数 2
回答已采纳
1
回答
谷歌为什么要抓取不存在
的
URL?
google
、
googlebot
、
links
、
crawl-errors
我可以看到在我
的
wordpress网站
的
实时流量,眼镜机器人
爬行
不存在
的
网页。pg=15&order=lcomdate&dtype=prosfata&listview=1还有一个问题。最近,我增加了缓存到我
的
网站。为了更快
的
速度,谷歌不应该在缓存
的
浏览 0
提问于2017-05-19
得票数 2
1
回答
具有单击处理程序和href属性
的
链接,哪个是由
Googlebot
调用
的
?
seo
、
javascript
我
的
站点上有以下锚代码:对于人类用户,onclick将在不刷新页面的情况下
使用
AJAX
获取
数据。目前,
Googlebot
在看到这个链接时
的
行为是什么?它是否会忽略onclick,直接转到href中给出
的
页面,或者处理onclick,或者在索引我
的</
浏览 0
提问于2018-04-19
得票数 1
1
回答
Googlebots请求类型
web-crawlers
、
googlebot
、
404
、
http-headers
、
soft-404
谷歌
的
机器人是否发送头部请求以及接收请求?Connection: closeServer: TornadoServer/4.2.1 我怀疑Googlebots也在为一些
爬行
者做同样
的
事情这是对
的
吗?
浏览 0
提问于2016-03-10
得票数 3
回答已采纳
2
回答
索引参数(如果它们提供内容过滤),则不进行索引。
seo
、
google
我已经创建了一个关于销售汽车
的
网站,访问者可以过滤掉结果,这意味着很多页面都会被Google索引。 我
的
问题是,我是否应该允许索引所有这些过滤器URL参数?
浏览 0
提问于2017-02-25
得票数 4
2
回答
从HTTP移动到HTTPS并抓取请求
seo
、
google
、
https
、
search
我已经将我
的
网站从http移到https,http被完全重定向到https,并且它们在内容上是相同
的
。我已经在Google
搜索
控制台
中添加了这两个属性,当我要求Google进行
爬行
(在
搜索
控制台
中
获取
作为Google选项)时,我是为https还是为http,还是为两者?
浏览 0
提问于2019-02-09
得票数 1
2
回答
你能知道谷歌何时会派
Googlebot
去
爬行
你
的
网站吗?
web-crawlers
、
googlebot
、
crawl-rate
我可以找到最后一个日期,当谷歌
爬行
我
的
网站,但我找不到下一个
爬行
日期。 有什么地方可以让我看看
Googlebot
什么时候才能回来?
浏览 0
提问于2016-02-24
得票数 1
4
回答
Googlebot
要花多长时间才能抓取一个页面?
seo
、
googlebot
、
technical-seo
Googlebot
每天
爬行
一定数量
的
页面,这取决于站点
的
大小。但是,对于一个特定
的
页面需要多长时间。换句话说,在扫描到下一页之前,它在当前扫描页面上花费了多少秒或分钟。这有固定
的
时间吗?
浏览 0
提问于2022-07-25
得票数 2
1
回答
Googlebot
执行谷歌标签管理器吗?
seo
、
googlebot
、
javascript
、
google-tag-manager
我想了解
Googlebot
(和其他爬虫)如何
爬行
我
的
网站。具体而言,它是否传递一个document.referrer,如果它维护localStorage密钥,那么我
通过
Google实现了一个脚本,该脚本检测这些爬虫并将数据记录到Logstash。Slurp') < 0) { } else { }这是
通过
GTM Pageview事件上
的
图像像素向Logstash在过去4天里<e
浏览 0
提问于2018-02-09
得票数 4
回答已采纳
2
回答
如何让谷歌去索引所有现在返回404状态
的
旧URL?
google
、
search-engine-indexing
、
404
、
migration
现在,每当人们在Google上
搜索
时,
搜索
结果中出现
的
旧URL就无法工作。URL显示404个
错误
。 该网站大约有10万种产品,因此重定向所有旧
的
URL是一个漫长
的
过程。
浏览 0
提问于2019-02-05
得票数 2
2
回答
为什么
Googlebot
要用GET而不是POST来调用AJAX方法?
googlebot
、
404
、
http
、
ajax
我
的
站点上有一个AJAX调用,用于发布并返回数据。
Googlebot
正在
爬行
这些URL,但它试图
使用
GET方法而不是POST。这将导致谷歌
搜索
控制台
中出现数百条404
错误
消息。 有什么最佳做法吗?我应该
使用
HTTP和POST方法来纠正这404
错误
吗?
浏览 0
提问于2016-07-19
得票数 3
1
回答
如何找到
Googlebot
爬行
URL
的
引用者?
google
、
web-crawlers
、
googlebot
、
search-results
Googlebot
从我
的
网站上抓取了404个URL。我想知道从哪里得到这些链接?example.com/no_such_files.php我想知道
Googlebot
是从哪里得到这些链接
的
?我最近看到了很多像上面这样
的
URL。
浏览 0
提问于2017-12-12
得票数 3
1
回答
如何让Google不
使用
#来抓取AJAX页面!URL?
seo
、
search-engines
、
google-search
、
ajax
在谷歌关于“使AJAX应用程序可
爬行
”
的
建议中,他们建议制作不
使用
散列片段
的
AJAX URL (#!)可以
通过
将<meta name="fragment" content="!">添加到页面<head>来进行
爬行
。 有人成功了吗?我找不到
Googlebot
在网站管理员工具中
使用
“
获取
作为
Googlebot
”来
获取
页面的HTML快照。
浏览 0
提问于2011-08-25
得票数 14
3
回答
onclick处理程序代替链接
的
SEO影响
web-crawlers
、
googlebot
、
javascript
、
react-js
我有一个类似于这里发布
的
问题。我正在构建一个具有非常严格
的
SEO要求
的
React应用程序,所以我想知道以下方法是否是一个问题:谷歌机器人能处理这个吗?即使它可以,我有一种感觉,它可能会影响爬虫
的
能力,以正确索引链接结构在应用程序。这样,爬
浏览 0
提问于2018-03-13
得票数 4
回答已采纳
1
回答
伤害我
的
搜索
引擎优化:我
的
网页确实存在,但我得到404
的
地位在几页。为什么?
seo
、
google-search-console
、
seo-audit
、
dead-links
我真的需要你
的
帮助来解决这个问题,我
的
排名下降了,我被诊断出来了,谷歌网站管理员工具中大约有80到404页。它们都存在。
浏览 0
提问于2014-12-16
得票数 1
回答已采纳
1
回答
我如何构造我
的
进步
的
web应用程序,使
搜索
引擎更容易找到用户生成
的
内容?
url
、
url-encoding
、
react-js
超级菜鸟
的
问题,我肯定,但这是我第一次建立一个面向消费者
的
网络应用。为了避免因复制而关闭,此问题非常专门针对React + GraphQL。我正在创建一个网站,它将有大量
的
用户生成
的
内容,这是非常重要
的
是,内容是优化,以找到
搜索
引擎。但是,内容将存储在某个数据库中,并
通过
GraphQL查询
获取
。如何构造我
的
web应用程序,使
搜索
引擎更容易找到用户生成
的
内容?从一开始就需要遵循哪些体系结构决策和模式?
浏览 0
提问于2018-10-25
得票数 1
1
回答
Google会用其他嵌套
的
HTML元素来抓取链接吗?
google-search-console
、
web-crawlers
我有这样
的
链接 <div class="container"> </div>在谷歌
搜索
控制台
上,它说some/relative/link是谷歌所不知道
的
。从主页被
爬行
和索引开始不到一天,我在大约12小时前提交了这个主页以供索引,因为网站
浏览 0
提问于2022-07-12
得票数 1
回答已采纳
2
回答
使用
GoDaddy管理
的
Wordpress托管和Cloudflare
的
Google工具中
的
许多"429“
爬行
错误
google-search-console
、
wordpress
、
godaddy
、
cloudflare
以下设置:Cloudflare作为CDN 工具显示了所有带有429
爬行
错误
的
页面。造成这一问题
的
更可能
的
原因是什么?如何进行最佳调试?
浏览 0
提问于2014-11-25
得票数 5
回答已采纳
1
回答
将我
的
网站标记为单一页面应用程序?
seo
、
google-search-console
、
googlebot
、
canonical-url
、
single-page-application
是否有可能将我
的
网站标记为SPA? 我之所以想这么做,是因为在Google
搜索
控制台
上,我看到我
的
链接没有正则链接,但是如果我尝试
使用
一个活动版本,爬虫就会看到我
的
规范链接。我得出
的
唯一结论是,Google
使用
的
是不同
的
爬虫器,其中一个可以读取SPA,而另一个不能。这有道理吗?有什么方法可以告诉Google总是
使用
爬虫来渲染SPA,从而确保它索引我
的
链接正确(与规范链接)?
浏览 0
提问于2019-05-02
得票数 3
回答已采纳
点击加载更多
扫码
添加站长 进交流群
领取专属
10元无门槛券
手把手带您无忧上云
相关
资讯
影响谷歌抓取网页频率的因素有哪些?优化抓取预算有这几个妙招
针对JavaScript的SEO优化指南
南挚seo:什么是搜索引擎?常见的搜索引擎蜘蛛有哪些?
作为站长的你必须要知道!
seo基础知识-网站日志/iis服务器常见状态码
热门
标签
更多标签
云服务器
ICP备案
实时音视频
即时通信 IM
对象存储
活动推荐
运营活动
广告
关闭
领券