2回答
如何在robots.txt中禁止文件夹，但不允许某些文件？
robots.txt
我有一种情况，我想禁止对目录中的某些页面进行爬行。此目录包含大量文件，但仍有一些文件需要编制索引。我会有一个非常大的机器人文件，如果我需要通过禁止每一页单独。除了某些文件之外，有没有办法禁止在robots.txt中使用文件夹？
浏览 0提问于2010-08-23得票数 1
回答已采纳
3回答
隐藏特定文件夹及其子文件夹和文件？
seo、robots.txt
我想在public_html中隐藏一个名为( robots.txt )的文件夹，使搜索引擎看不到它的所有子文件夹和文件，我是否必须将文件放在根文件夹(/)中，并像下面这样处理beta中的内容Disallow: /public_html/beta将robots.txt放在public_html中，并按如下所示执行内容Disallow: /beta
浏览 1提问于2013-01-10得票数 0
2回答
隐藏机密文件夹的最佳robots.txt实践
seo、robots.txt
我在我的网站上有一个秘密文件夹，我不想让搜索引擎知道它。我没有把文件夹名称放在robots.txt的禁止规则中，因为在robots.txt中写这个文件夹名称意味着告诉我的访问者这个秘密文件夹。我的问题是，即使我没有发布任何链接到这个文件夹，搜索引擎是否能够知道这个文件夹/抓取它？
浏览 0提问于2017-07-18得票数 0
回答已采纳
4回答
如何禁止来自robots.txt的特定页面
robots.txt
我会在robots.txt文件中这样做吗？禁止: /wp-admin
我如何定制到特定的页面，如：
浏览 0提问于2010-08-15得票数 33
1回答
是否需要在robots.txt中单独禁用相关子文件夹？
robots.txt
在robots.txt中禁用某些文件夹是否会禁用其相关子文件夹？Disallow:/folder//folder/page否则它就会匹配：因此，如果第二种情况是真的，我是否需要分别禁止第二个和后续的子文件夹
浏览 0提问于2014-04-29得票数 0
5回答
子目录中的robots.txt
asp.net、seo、robots.txt
我有一个项目，它位于主域下的一个文件夹中，并且我没有访问该域本身的根目录的权限。http://mydomain.com/myproject/http://mydomain.com/myproject/forbidden/禁止</em
浏览 0提问于2011-01-29得票数 14
回答已采纳
1回答
Google不小心索引了我的网站子文件夹
wordpress、google-search-console、google-index
我正在使用WordPress，出于测试目的，我制作了一个子文件夹作为测试博客，我使用我的主博客数据库进行测试博客，我不鼓励搜索引擎对其进行索引，但过了一段时间后，我用谷歌搜索了我博客的一个主题，我发现已经索引的链接来自测试博客，然后我检查了搜索控制台，有一堆来自这个测试博客的链接生成了404，因为我已经删除了这个子文件夹...那么google会不会用测试博客链接来替换我的博客链接呢？以及如何删除这些404并阻止google对此子文件夹进行索引和爬行。或者，有没有办法重定向来自以下位置的任何请求：
Www.myblog.com/子<
浏览 8提问于2018-07-12得票数 0
1回答
不希望包含的文件内容被爬网
html、seo、robots.txt
我已经“禁止”了robots.txt文件中的页脚文件，并且在头部添加了一个标记。
这是否足以防止该部分内容被爬取？我读到过一个iFrame技巧，如果我所做的还不够充分，我可能会尝试一下。
浏览 0提问于2014-05-01得票数 0
1回答
如何在robot.txt中禁用特定子文件夹？
html、url、web-crawler、robots.txt、google-crawlers
以下是我的代码 示例URL模式 www.example.com/folder/subfolder/* 特别要允许www.example.com/folder/*和不允许 www.example.com/folder/subfolder/* 如何在robot.txt文件中实现
浏览 27提问于2019-06-04得票数 1
回答已采纳
2回答
我可以得到关于robots.txt的解释吗？
robots.txt
我只想知道您的网站中是否需要robots.txt，以便爬虫对页面进行索引。或者它只是不允许任何你不想索引的内容。
浏览 4提问于2012-02-02得票数 1
回答已采纳
3回答
如何防止ASP.NET图表控件图像被索引？
search-engine、asp.net-charts
我的公共网站上有一些显示由ASP.NET图表控件生成的图表的页面。如何防止它们被Google和其他搜索引擎索引？
浏览 1提问于2010-02-23得票数 0
回答已采纳
4回答
php文件被alexa crawler执行并导致问题！
php、web-crawler、alexa
我已经编写了一个脚本，它将用于在特定时间自动发布新页面。它只会显示一个倒计时计时器，然后当它达到0时，它会将一个特定的文件重命名为index.php，并将当前的索引重命名为index.php -Modified.php然后，我分析了访问日志，发现alexa爬虫已经访问了该发布脚本，这导致了问题
我想知道alexa爬虫是如何找到我的内部脚本文件并抓取它的？这会发生在
浏览 1提问于2010-02-26得票数 4
回答已采纳
3回答
我应该禁止蜘蛛吗？
html、web-crawler、robots.txt
我一直在看的rails模板脚本会自动在robots.txt中添加User-Agent:和Dissalow:，从而禁止所有蜘蛛进入网站
禁止蜘蛛有什么好处，你为什么要这么做？
浏览 0提问于2010-10-04得票数 1
回答已采纳
2回答
robots.txt不允许/变量目录名称/目录
directory、robots.txt、noindex
我需要禁止通过robots.txt访问/变量目录名称/目录不允许：*/directory Noindex：*/directory
对吗？
浏览 0提问于2012-10-02得票数 0
回答已采纳
3回答
我已经禁止对所有爬虫使用robots.txt的某些页面。我是否必须为这些文件编写元标记，或者网络爬虫将直接跳过它们，因此没有必要这样做？
浏览 3提问于2012-03-31得票数 0
回答已采纳
1回答
在robots.txt文件中允许和不允许
web-crawler、robots.txt、search-engine-bots
我想禁止SE机器人在我的网站上的所有文件和文件夹，除了一个特殊的文件夹和其中的文件。我可以在robots.txt文件中使用这些行吗？
浏览 1提问于2010-07-24得票数 1
回答已采纳
1回答
旧的robots.txt文件不更改，无法更新到当前的robots.txt
google、robots.txt
当我的wordpress网站正在制作时，我创建了一个robots.txt文件来禁止一切。当站点准备就绪时，我通过cpanel删除了robots.txt文件，从来没有考虑过这个问题。最近，我意识到谷歌搜索结果并没有显示这个网站，经过进一步的调查，我意识到旧的robots.txt文件仍然存在(尽管我无法在我的根目录中找到这个文件)。http://youngauthors.my/robots.txt
我在根文件夹中插入了另一个robots.txt
浏览 0提问于2017-11-13得票数 0
回答已采纳
1回答
.htaccess中的robots.txt和Mod重写
security、.htaccess、mod-rewrite、robots.txt
在robots.txt文件中，我将禁止我的站点的某些部分。谢谢
浏览 1提问于2010-10-02得票数 2
回答已采纳
云服务器
ICP备案
对象存储
云点播
实时音视频
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号