我不确定mod_rewrite和robots.txt的订单是什么。/index.php?id=123 to /home/index.php?id=444User-agent: *有/home的网站会被搜索引擎索引吗？
浏览 4提问于2011-03-15得票数 2
回答已采纳
由于一些相当奇怪的架构考虑，我不得不设置一些真正应该作为控制台应用程序作为网页运行的东西。它的工作是从我们的站点数据中编写大量的文本文件和xml提要，以供各种其他服务使用，所以很明显，它需要一些时间才能运行，并且需要相当多的处理器。然而，在我部署它之前，我非常担心它可能会被蜘蛛之类的东西反复攻击。重写数据是可以的，但是由于显而易见的原因，在这个页面上持续的点击将会触发性能问题。
这是我应该担心<em
浏览 0提问于2010-04-15得票数 1
回答已采纳
当进入我的网站时，什么是url搜索引擎机器人？例如，我在.htaccess中添加了这段代码我需要在这个代码中添加url ( msn，yahoo，bing )机器人
<Files robots.txt
浏览 0提问于2018-09-17得票数 0
3回答
我一直在看的rails模板脚本会自动在robots.txt中添加User-Agent:和Dissalow:，从而禁止所有蜘蛛进入网站
禁止蜘蛛有什么好处，你为什么要这么做？
浏览 0提问于2010-10-04得票数 1
回答已采纳
我将开发一个简单的CMS网站上的谷歌应用引擎之上使用webapp2。我想知道如何避免恶意的数据刮板来故意获取页面，从而使应用程序消耗超出免费配额的流量(我认为每天1GB )，从而导致Google向我收取垃圾流量。谢谢
浏览 0提问于2013-06-24得票数 1
这可能是被询问和回答，因为我不知道什么是最好的方式来表达这一点。
我想确保搜索蜘蛛不索引我的网站的管理端。不幸的是，如果我将路径放入我的robots.txt文件中，我就会交出cookie jar。我已经有相当多的“访客”，他们从抓住robots.txt开始。显然，不合法的蜘蛛会忽略robots.txt，但是我想阻止Google和Bing在搜索结果中破坏我的管理目录
浏览 0提问于2019-01-25得票数 0
回答已采纳
3回答
我正在为我的wordpress网站寻找一个体面的robots.txt解决方案，经过一些搜索，我发现Yoast的SEO插件提供了一个完整的SEO解决方案，包括指数化。我设置它不索引以下页面:搜索结果，登录和注册页面，所有管理页面，基于日期的档案和标签档案。
浏览 0提问于2011-01-23得票数 0
1回答
刮擦-Splash不呈现此页面
、、、、
网址：class planningApplications(scrapy.Spider): }下面是我在我的settings.
浏览 0提问于2018-07-20得票数 1
我已经做了一个SEO审计由Alexa为我的网站。据报道，由于我的robots.txt，所有的爬虫都被封锁在我的网站上。我的robots.txt看起来就像Disallow: / Allow: / Allow我很困惑为什么Alexa仍然这样报道，所有的爬虫都被封锁了，即使Alexa自己使用了robots.txt的权
浏览 0提问于2016-06-23得票数 3
1回答
我的一台服务器出了问题。Google会打开与apache服务器的大量http连接，并且基本上会执行slowloris攻击。我已经禁止谷歌访问通过robots.txt保存在服务器上的任何内容，但它对疯狂的连接量没有任何影响。我该怎么办？
浏览 0提问于2011-07-03得票数 1
我们知道，我们可以阻止某些蜘蛛使用robots.txt或.htaccess或通过ApacheConfigurationFilehttpd.conf爬行网站页面。但这可能需要编辑大量的站点上的一些专用服务器和机器人仍然会“访问”和消耗资源。有没有其他“安全”的方法来阻止这些IMG蜘蛛从像windows服务器这样的服务器上的根目录？
浏览 0提问于2013-04-30得票数 0
5回答
将删除robots.txt使该网站再次“可搜索”。
出于好奇，您是否有一个robots.txt来避免索引，但改变了您的想法，并希望得到索引。
浏览 0提问于2011-01-18得票数 4
1回答
4月16日，我把我的网站从一个VPS移到另一个VPS。今天是第三天，旧服务器上的访问日志显示百度蜘蛛的点击量。
已经超过60个小时了，但是为什么这个爬虫还会撞到旧的IP地址呢？
浏览 0提问于2014-04-19得票数 1
回答已采纳
它需要确保Scrapy尊重robots.txt。它需要在设置中设置ROBOTSTXT_OBEY = True，然后Scrapy将尊重robots.txt策略。我做了然后跑了蜘蛛。在调试中，我看到了对的请求。
我如何从robot.txt中看到和理解规则？
浏览 0提问于2015-05-23得票数 6
回答已采纳
3回答
我搜索了一下，找到了我网站的链接.两次。它们是完全一样的，除了一个是www和另一个是静态的。我如何告诉google忽略我的静态域中的一切？
浏览 0提问于2011-04-06得票数 2
如果robots.txt上没有星号，蜘蛛能爬行这些网站吗？User-agent: *
Disallow: .
浏览 0提问于2016-10-13得票数 1
回答已采纳
2回答
有人问我，是否有可能在搜索引擎中限制搜索结果。这里有一个例子:我有一个网站，我希望它只在yahoo，google，bing和ask搜索引擎中显示。有没有办法通过使用任何元标签或通过其他方式来实现呢？
浏览 0提问于2010-08-17得票数 0
云服务器
ICP备案
对象存储
即时通信 IM
云直播
腾讯云开发者
