我对谷歌机器人有意见。每天占用700 of带宽。这是为了那些显然会问我为什么要这样做的人。希望允许贴贴，几个类别，几个标签。可以做吗？多么?Disallow: /wp</
浏览 2提问于2014-03-01得票数 1
回答已采纳
我没有阻止搜索引擎索引这个网站的检查。User-agent: *在YOAST插件中，它将robots.txt显示为：Crawl-delay: 1
Disallow: /wp</e
浏览 1提问于2014-05-09得票数 2
我正在运行一个网站，但有几天，我已经停止了它和网站建设中，因为索引的管理页面是可见的外部世界通过谷歌搜索。我的一个朋友告诉我，你的网站的索引是可见的，它是一步之遥访问密码文件，他告诉我，只是使用谷歌搜索。我真的不需要担心和继续我的网站<
浏览 0提问于2012-03-24得票数 4
回答已采纳
我不明白为什么谷歌机器人不能抓取和索引我创建的WordPress网站。这就是我的robots.txt：Disallow: /wp-admin/Disallow: /wp-login.phpDisallow: /content&#x
浏览 1提问于2014-11-24得票数 0
我在我的WordPress站点上收到了很多404错误，我控制了很多使用重定向插件的人。这些插件和主题文件变化很大。早些时候，我在某个地方读到，谷歌机器人将从这404错误中吸取教训，谷歌缓存中的旧帖子将被更新。但在许多个月后，我仍然
浏览 0提问于2018-07-31得票数 0
回答已采纳
以前，我已经阻止了搜索引擎机器人，以防止使用robots.txt文件爬行我的网站，但现在我想取消阻止它们。我更新了robots.txt文件，并允许搜索引擎机器人爬行我的网站，但搜索引擎似乎仍然使用我的旧robots.txt文件，我如何告诉搜索引擎使用我的新robots.txt文件？或者是我的robots.txt文件有什么问题？我的</em
浏览 27提问于2019-03-24得票数 2
回答已采纳
我希望谷歌通过robots.txt找到我的robots.txt，而不是手动上传它。我的robots.txt看起来是这样的：Disallow:
我做了以下工作：检查Sitemap.xml是否正确验证(通过
浏览 0提问于2014-01-12得票数 4
回答已采纳
这两行在robots.txt中会成功地阻止google用类似于:robots.txt的url索引页面吗？User-agent: *Disallow: /product-tag/*
因为我有一个问题，谷歌索引这些网页，我找不到其他方法来阻止这一点。在搜索引擎中看到robots.txt的变化需要多长时间？
浏览 2提问于2016-05-19得票数 1
所以我有一个网站，是用Wordpress平台制作的。我完全不知道SEO，当我在Google上搜索我的网站时，描述是这样的我的Wordpress robots.txt文件内容如下Allow: /wp-admin/admin-ajax.php
Sit
浏览 0提问于2017-02-04得票数 0
我能做些什么来加快我的页面索引所需的时间吗？它目前是在自己的时间索引他们，我相信，这是每2-3天，当我在音乐和媒体工作时，我需要得到最新的帖子相当快。Disallow: /wp-admin/Disallow: /wp-includes
浏览 0提问于2014-05-24得票数 2
我即将上传我的网站到一个VPS。我不希望谷歌索引我的网站，我只是想测试我的网站使用IP地址，VPS返回给我。我知道我可以使用robots.txt来阻止Google索引我的站点，，但是如果我不将DNS指向VPS，谷歌甚至会找到我的站点吗？
浏览 1提问于2012-05-27得票数 1
下面是我的robots.txt文件的全部内容。User-agent: *Disallow: /marketing/wp-includes/
User-agent: *
Di
浏览 2提问于2013-11-18得票数 1
回答已采纳
我有一些不必要的文件在我的网站，并希望停止显示在谷歌搜索结果。所以我把这个文件包括在robots.txt文件中，Disallow: 这些文件很久以前就在网站上使用了，现在已经没有必要了。因此，如果我在robots.txt文件中添加文件，谷歌会从索引中删除该页面并停止在SERP上显示它们吗？如果是的话，要花多长时间？
浏览 0提问于2017-05-03得票数 1
我正在为这个大网站工作，我想在它完全完成之前把它放到网上…谷歌会永远惩罚我吗？它怎麽工作?谷歌索引和获取网站的结构只有一次，还是它不断更新和检查
浏览 0提问于2010-06-14得票数 1
回答已采纳
几周前，我安装了一个新的WordPress副本，我遇到了一些奇怪的问题。1-我收到这样的消息：“FirstName LastName name的注释--Last.com/--由于该站点的robots.txt --了解更多信息，因此无法获得对此结果的描述。”当我搜索我的名字的时候。我重新检查了设置，但没有检查“劝阻选项”
我安装了WP更好的安全性和Yoast SEO插件。现在我又遇到了一个
浏览 0提问于2013-08-24得票数 1
我有几个PDF文件上传到Wordpress (通过媒体上传器)，不应该被谷歌索引。我能找到的唯一解决方案是在我的robots.txt上添加文件名，拒绝机器人抓取这些文件。问题是这个方法需要不断更新我的robots.txt文件。如果更多的人开始在这个项目上工作，这不是一个好的解决方案(在这个例子中，编辑器)。他们可能无法更新robots.txt文件。有没有办法在我的robot
浏览 0提问于2016-07-23得票数 1
3回答
我有一个特定的网站，我想添加谷歌分析，但我不希望它被索引，因为这一点。加入谷歌分析会让谷歌开始为我的网站建立索引吗？
浏览 0提问于2016-06-16得票数 0
回答已采纳
我有一个名为www.example.com的网站，在这里它只是登陆页面。-其html网站。现在我只想爬上我的"orignialwebsite“wordpresssite的一些页面。那么，robots.txt应该是什么呢？
浏览 4提问于2016-06-09得票数 0
谷歌将www.example.com/myPage显示为搜索结果。谷歌需要多长时间才能停止放映？我知道人们仍然可以访问它，如果他们有网址，但我的目的只是删除它从谷歌的搜索结果。我的搜索引擎优化知识很少，我觉得答案可能会有所不同，取决于网站流量和其他搜索引擎优化相关的</
浏览 2提问于2015-08-13得票数 1
回答已采纳
云服务器
ICP备案
实时音视频
即时通信 IM
对象存储
腾讯云开发者
