我有一种情况，我想禁止对目录中的某些页面进行爬行。此目录包含大量文件，但仍有一些文件需要编制索引。我会有一个非常大的机器人文件，如果我需要通过禁止每一页单独。除了某些文件之外，有没有办法禁止在robots.txt中使用文件夹？
浏览 0提问于2010-08-23得票数 1
回答已采纳
1回答
禁止特定目录
、、
我在我的Ruby应用程序(确切地说是2)上使用了反向代理，而位于"/var/www/cuba“中的第一个实例可以工作，但是当我有一个子域来运行另一个实例时，我会得到这个错误(来自error.log of Nginx)：
2015/03/20 22:19:37 [error] 6813#0: *3 directory index of "/var/www/blog/apps/web/public/" is forbidden, client: 174.60.38.101, server: blog.stackin.money, request: "GET / HT
浏览 0提问于2015-03-21得票数 0
回答已采纳
我想为我的所有目录禁用目录浏览。我设法做到了这一点：我如何为那些以"web_“开头的加载域目录显示403禁止错误？
谢谢!
浏览 2提问于2012-05-02得票数 0
回答已采纳
我想禁止访问名称以点开头的任何文件或目录。我提出了以下建议，但仅当文件/目录直接位于文档根目录中时，才禁止访问以DOT开头的文件/目录。
<Files ~ "^\.|\/\.
浏览 2提问于2010-12-04得票数 25
回答已采纳
我正在为我的网站创建一个robots.txt文件，但是查看我的项目结构，我不确定要禁止什么。我是否需要禁止标准的.NET MVC目录和文件，如/App_Data，/web.config，/Controllers，/Models，/Global.asax？或者那些还没有被索引的内容呢？那么像/bin和/obj这样的目录呢？
如果我想禁止一个页面，我应该禁止/Views/MyPage/Inde
浏览 1提问于2011-10-29得票数 2
回答已采纳
在启动我的ddev项目并用web浏览器点击它之后，我突然开始得到‘`ngnix 403禁止’/目录索引"/var/www/html/“是禁止的‘或者仅仅是'403禁止’，我不知道为什么。
浏览 38提问于2018-07-08得票数 5
1回答
例如，使用Oracle中的DatabaseMetaData接口，可以指定一个由目录、模式和过程名组成的元组。这三列足以唯一地标识一个过程吗？我假设在Oracle中禁止过程重载，对吗？
浏览 0提问于2015-05-11得票数 1
迁移到Umbler服务器后，我的站点出现一些错误。当我打开它时，在过去的服务器中所做的“自定义”配置不起作用。我不知道我能做什么，错误403仍然存在，我的网站正在从父亲主题(店主)获得一些图像引用，而它应该从子主题(店主-孩子)获得。
浏览 1提问于2018-09-04得票数 0
1回答
在PHP和apache web服务器中，为了防止列表和浏览器显示，我知道我们可以使用.htaccess或使用index.html文件<title>403 Forbidden</title>Directory access forbidden!</html>
浏览 2提问于2017-02-16得票数 0
我知道我们使用“禁止：”来阻止搜索引擎爬虫爬行某个特定的网页或目录，但我不明白为什么我们需要禁止"/cgi-bin/或/sitepanel“目录？如果能在这方面提供任何帮助，将不胜感激。提前谢谢。
浏览 2提问于2019-10-01得票数 0
1回答
我有一个htaccess文件，用来阻止目录但我想允许管理员目录。上面的代码块管理目录也。如果我通过以下方式阻止.txt扩展Order
浏览 1提问于2012-11-29得票数 2
1回答
我的目录结构如下： -admin -bin
我在每个目录中创建了.htaccess文件并放置了Options -Indexes。仍然显示通用403访问禁止错误。
浏览 1提问于2018-02-08得票数 0
我需要禁止通过robots.txt访问/变量目录名称/目录不允许：*/directory Noindex：*/directory
对吗？
浏览 0提问于2012-10-02得票数 0
回答已采纳
但是在被禁止访问的情况下，我不能触发它(当我引发HttpResponseForbidden时，触发的处理程序就是错误500的处理程序)。不管怎样，这不是我的问题。我的问题是，当我试图篡改(为了测试目的) CSRF令牌时，它会抛出“禁止的”，但同样，我的禁止访问处理程序也不会被调用--它会为403禁忌调用默认的django模板。当我试图访问static (或media)目录的根目录时，调用的页面来自服务器默认禁止页面(在我的例子中是apache)，这很好。
如何设置&qu
浏览 6提问于2016-11-23得票数 2
回答已采纳
问题:我只想为某个用户代理启用服务器上某个目录的目录索引(默认情况下它是禁用的)。
我知道有一些指令可以在.htaccess文件中使用，但是我还没有得到结果。
浏览 1提问于2012-09-13得票数 2
回答已采纳
1回答
我正在努力解决Apache服务器中的一个问题，当我尝试转到包含子目录但子目录不存在的URL时，该服务器将返回403禁止页面。
"domain.com/etc/“将返回403禁止错误，而不是404。我尝试过其他URL/子目录，如domain.com/bin/ return 404。我已经将这一行添加到HTACCESS文件中。有人知道我如何确定为什么这三个子目录返回403而不是404。注意:我相信这3个是我能够返回403禁止
浏览 0提问于2013-10-30得票数 2
我创建了Azure帐户并设置了一个租户，因为我在任何组织目录(任何Azure AD目录- Multitenant)和个人Microsoft帐户(例如Skype、Xbox)中注册了一个帐户。现在，我正在尝试使用包名和SHA密钥配置android应用程序，当时我正在获得，您的回复url包含禁止的单词或禁止的域。
请帮我解决这个问题，谢谢。
浏览 4提问于2020-12-08得票数 0
1回答
我的目录结构是这样的： D:Wamp\WWW\web\Erp\ 且.htaccess文件驻留在具有此设置的上述位置 AuthType BasicAuthUserFile相反，它显示为禁止，我知道为什么它显示为禁止，因为我在主根目录中使用另一个.htaccess。
浏览 12提问于2021-04-06得票数 0
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
腾讯会议
云直播活动推荐
腾讯云开发者
