5回答
如何将nginx配置为重定向到robots.txt & sitemap.xml的url
nginx、robots.txt
我的robots.txt在数据库中，可以作为访问。我也有我的sitemap.xml，它是动态生成的，在一个类似的url上。example.com; if ($request_method = DELETE) { } rewrite ^/robots.txt http:/&#
浏览 4提问于2009-07-07得票数 22
回答已采纳
1回答
Nginx根据子域重写规则
nginx、rewrite
我现在想做的是：if ($http_host ~* [www|fr|es|uk|de]\.example\.com) { }
rewrite ^/robots.txt$ /robots_dont_index_
浏览 3提问于2013-12-09得票数 0
回答已采纳
1回答
不同的域，不同的语言，相同的内容，1 robots.txt
robots.txt
例如：www.example.it/audi-auto.html
我在根域中只有一个，robots.txt。我的问题是:如何将我的robots.txt设置为不允许www.example.it爬行到来自www.example.com和反向的所有机器人？
浏览 5提问于2015-02-14得票数 0
回答已采纳
1回答
Google已经为robots.txt自己建立了索引
search-engine-indexing、robots.txt、google-programmable-search-engine
Google已经对robots.txt进行了索引，现在如果有人搜索'txt‘，它会返回robots.txt文件，这确实不理想(因为这是一个沼泽标准的robots.txt站点，字符串D2实际上出现在文本中谷歌中是否有设置，或者我应该将/robots.txt添加到呃、robots.txt或.中？
浏览 0提问于2018-09-06得票数 5
回答已采纳
1回答
版本控制中的robots.txt
version-control、robots.txt
我想在版本控制系统中维护我们的robots.txt文件，但我不希望我们的开发网站显示在搜索结果中。如果我将一个robots.txt文件放在禁止所有索引的开发分支中，开发域将服务于该文件来解决我的一个问题。但是，一旦我将更改与稳定分支合并，相同的文件将从主域获得服务，这不是我想要的。
浏览 2提问于2012-11-20得票数 2
回答已采纳
2回答
将测试子域排除在搜索引擎爬行之外(w/ SVN存储库)
.htaccess、mod-rewrite、web-crawler、robots.txt、google-search-console
测试域和主域共享相同的SVN存储库，因此我不确定单独的robots.txt文件是否能工作.
浏览 6提问于2011-07-18得票数 8
回答已采纳
3回答
特定于Symfony2环境的robots.txt
php、symfony、robots.txt
我想知道有没有一种Symfony2的方法来获得特定于环境的robots.txt文件。当robots.txt文件在web(根)目录中时，它对所有环境都是相同的。我所知道的唯一方法是从web目录中删除该文件，并使用特定于env的路由文件来定义robots文件的路由，并在控制器中创建一个函数来检索该文件。那么有没有一种Symfony2方法可以让特定于环境robots.txt文件以一种更“酷”的方式呢？
谢谢你抽出时间来。最好的问候，格奥尔基。
浏览 4提问于2014-05-10得票数 2
2回答
将robots.txt文件放在OpenShift上的Python2.7/ file应用程序中的位置？
python-2.7、openshift、robots.txt、bottle
- views - my_bottle_app.pysetup.pysetup.pyo我希望为位置中的文件创建robots.txt规则：wsgi/static/file_2.txtUser-agent: *Disallow: /file_2.txt<
浏览 10提问于2014-07-18得票数 0
回答已采纳
1回答
使用htaccess将robots.txt重写为example.com.txt或回写到default.txt的特定域机器人文件
apache、.htaccess、mod-rewrite
我希望拥有特定于域的robots.txt，到目前为止，这是可行的：但是我希望有一个后遗症，所以如果domain.txt文件不存在，那么就转到default.txt
这并不是真的，因为它将重定向所有不存在的文件名，而且我已经在另一个规则中有了一个!-f RewriteRule机器人/Default.txt L
浏览 1提问于2014-05-02得票数 4
回答已采纳
2回答
RewriteRule问题- robots.txt
mod-rewrite
.+)\.txt$ /404.php [r=301,nc]代码看起来还行，但这也将重定向robots.txt文件的请求。我只想解除阻止robots.txt文件，并保持其他.txt文件链接重定向。
浏览 1提问于2016-05-14得票数 2
1回答
Robots.txt阻止对所有https://页面的访问
robots.txt
阻止所有机器人访问https:// pages的语法是什么？我有一个旧网站，现在没有SSL，我想阻止访问所有https://页面
浏览 2提问于2009-04-25得票数 3
回答已采纳
3回答
需要使用同一目录级别的robots.txt阻止子域
seo、robots.txt
我已经向new.testing.com添加了一个robots.txt。并且两个站点都有相同的父目录----testing.com所以我想知道我可以用一个testing.com的robots.txt同时处理两个站点吗
浏览 5提问于2014-09-19得票数 8
回答已采纳
4回答
在让nginx为单个文件(如robots.txt (提示:每次清除浏览器缓存)提供服务)后，我使用了两种不同的方式，一种使用别名指令，另一种使用根部指令，如下所示：location /robots.txt { root /home/www/sta
浏览 0提问于2011-06-08得票数 90
回答已采纳
1回答
Codeigniter 4高级镜像路由问题
codeigniter、image-processing、codeigniter-4
我将Codeigniter 3高级图像库转换为Codeigniter 4，但路由不起作用 Codeigniter 3 route =$route‘’public/image/(：any)‘= 'media/resize/$1'； Codeigniter 4 route = $routes->get('public/image/(:any)'，'Media::resize/$1')； 这有什么意义？
浏览 7提问于2020-09-05得票数 0
1回答
Curl下载到HDFS
hadoop、curl、hdfs
我有这样的代码：当我执行这段代码时，curl将request中的值放入fileName.csv中，文件被移动到HDFS中。我想知道我是否可以，在内存中维护curl输出，发送到管道，然后在HDFS中写入值？curl url | xargs hdfs dfs -put $1 /somePath
浏览 12提问于2017-07-06得票数 4
回答已采纳
1回答
块1仅来自搜索引擎的2个域
regex、apache、.htaccess、mod-rewrite、robots.txt
我在同一个服务器和同一个目录中托管两个域。我想阻止1的领域从搜索引擎，但不想阻止另一个。www.site1.com和www.site2.com我该怎么做？有什么线索吗？
浏览 3提问于2014-06-23得票数 3
回答已采纳
6回答
rails中子域的多个robots.txt
ruby-on-rails、ruby
我有一个具有多个子域的网站，我希望命名的子域robots.txt是不同于www的。map.connect '/robots.txt', :controller => ?, :path => '/robots.www.txt', :conditions => { :subdo
浏览 1提问于2010-05-01得票数 9
回答已采纳
3回答
robots.txt是否适用于子域？
robots.txt
假设我有一个测试文件夹(test.domain.com)，并且我不希望搜索引擎在它中爬行，我需要在测试文件夹中有一个robots.txt，还是只需要在根中放置一个robots.txt，然后就不允许这个测试文件夹
浏览 5提问于2013-11-28得票数 21
回答已采纳
1回答
请帮我了解一下子域名robots.txt的简单nginx重写问题
nginx、subdomain、rewrite、robots.txt
对于我的子域，我想指向一个不同的robots.txt文件。$ /robots.subdomain.txt break;}
favicon.ico运行良好，所有其他扩展都被重写为index.php，但robots.txt也是如此。我浪费了很多时间试图解决这个问题，我在robots.txt重写之后
浏览 5提问于2011-03-31得票数 0
云服务器
ICP备案
对象存储
实时音视频
云点播
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号