2回答
如何阻止google索引用于重定向的域名
google-index
我有2个域名，一个网站是部署在其中之一，而另一个没有内容，只是重定向到一个有东西。谷歌正在对这两个域名进行索引，在搜索详细信息中显示来自第一个域名的相同内容。这仅仅是在重定向的域上部署robot.txt的问题吗？
浏览 3提问于2012-01-05得票数 0
回答已采纳
1回答
用关键字指向主网站的域名？
seo、domains、robots.txt、local-seo
在互联网上进行了大量的研究后，我发现指向许多域名(其中包含关键字并不是一个好的实践)。
我的问题是-我有域名keyword1.com，Keyword2.com，Keyword3.com。对于每个域名，我还购买了扩展，如.org，.net，.info。我有最终的域名，即final.com。我的想法是，我将限制所有领域的扩展.org，.net，.info在谷歌搜索中显示使用Robot.txt。对于像Keyword1.com，Keyword2.com，Keyword3.com这样的域名
浏览 0提问于2015-10-15得票数 3
回答已采纳
1回答
禁用爬行子域google爬虫
web-crawler、google-crawlers
我想知道我怎么能不允许谷歌爬行我的子域名？另一个曾经是子域。我在awesom媒体文件夹中没有robot.txt，但正如您在/部件中所看到的那样。robot.txt的内容是User-agent: * Disallow:。
仅此而已。
浏览 5提问于2014-09-08得票数 1
回答已采纳
1回答
爬行网站的点击率.？
python、web、web-crawler、urllib
当我测试它时，我遇到了robot.txt，它对任何试图爬行他们的站点的外部爬虫都有点击限制。例如，如果一个网站的robot.txt的命中限制不超过每秒1次(与wikipedia.org一样)，那么如果我以每秒1页的速度爬行维基百科的几个页面，那么我如何估算它在爬行时会被点击多少次呢？
浏览 3提问于2014-12-30得票数 0
回答已采纳
2回答
ASP.NET保护cms的登录页
asp.net、security
我有一个网站的后端cms，这有一个公司内部的管理员登录页面。防止登录页面暴露给外部世界(即不在公司网络上的人)的最佳方式是什么？
浏览 1提问于2012-03-22得票数 1
1回答
如何修复爬网问题
asp.net、wordpress、dns、seo、web-crawler
当我在网站爬虫和XML站点地图生成器工具上测试我的站点时，发现了外部错误408，链接如下： my site name like : www.MyWebsite.com在此之前，非常感谢您。
浏览 1提问于2015-04-22得票数 0
2回答
是否限制robot对(特定)查询字符串(参数)值的访问？
seo、robots.txt
使用robot.txt是否可以限制robot对(特定)查询字符串(参数)值的访问？
浏览 0提问于2009-07-24得票数 3
回答已采纳
1回答
防止搜索引擎索引重复内容
seo、google、duplicate-content
几乎所有的内容、URL结构以及数据库都是一样的，除了很少的URL之外，只有在域名上才会有区别。我已经在Apache的.htaccess文件中做了设置301重定向的条目，并且目前已经通过在robot.txt文件中设置来阻止所有搜索引擎爬行我的新域。我不知道我将如何处理重复的内容问题，因为我将使新的域名的生活。我是这个领域的新手，不确定这是否是任何重复的内容问题。
浏览 0提问于2012-03-19得票数 0
回答已采纳
1回答
如何防止恶意爬虫抓取部署在Heroku上的rails应用程序？
ruby-on-rails、heroku、robots.txt
我想限制爬虫对我在Heroku上运行的rails应用程序的访问。如果我使用的是Apache或nginX，这将是一项简单的任务。由于该应用程序部署在Heroku上，因此我不确定如何在HTTP服务器级别限制访问。1) rails层中用于限制访问的before_filter。我想知道是否有更好的方法来处理这个问题。
浏览 0提问于2011-04-21得票数 4
回答已采纳
4回答
有没有可能通过robots.txt控制爬行速度？
search-engine、robots.txt、google-crawlers
我们可以在robot.txt中告诉机器人爬行或不爬行我们的网站。另一方面，我们可以在Google网站管理员中控制爬行速度( Google机器人抓取网站的数量)。我想知道是否可以通过robots.txt限制爬虫活动
我的意思是接受机器人来抓取页面，但要根据时间、页面或大小限制它们的存在！
浏览 3提问于2011-10-17得票数 14
回答已采纳
2回答
如何确保google不会索引你的Azure子域？
azure、azure-web-app-service、search-engine
现在我有可用的IP限制，所以谷歌不能看到我的网站和索引，但当我们上线时，xxx.com和xxx.azurewebsites.net都将对公众开放。对吗？
浏览 12提问于2018-01-23得票数 1
回答已采纳
2回答
Django robot.txt错误
django
出于测试目的，我正在尝试禁用所有访问我的开发服务器的web爬虫，使用robot.txt127.0.0.1:8000/robot.txt from django.http import HttpResponse
(r'^
浏览 0提问于2013-06-16得票数 0
回答已采纳
5回答
如何在删除Robot.txt后重新被索引
search、robots.txt
在构建一个Webiste时，我在服务器上创建了一个robot.txt，以防止尚未完成的应用程序进入谷歌的索引...现在我完成了网站，我删除了robot.txt，我希望我的网站会显示在谷歌上，因为robot.txt没有了！在删除robot.txt之后，人们是否需要做些什么才能再次进入搜索引擎的索引？或者这不是自然而然发生的吗？
浏览 0提问于2010-07-26得票数 1
2回答
我的网站被索引了。为什么搜索控制台不反映这一点？
google-search-console、search-engine-indexing、google-index、idn、punycode
我的财产是用域名验证的。我的目录中没有robot.txt。我的网站地图没问题。“我的站点的搜索控制台”属性是在大约一个月前创建的。我的域名没有www或https。一个重要的事情是:它是一个国际化域名。也就是说，它包含非拉丁字符，需要用旁遮普码 (quảcầu.cc→xn--qucu-hr5aza.cc)编码。
浏览 0提问于2019-09-16得票数 2
回答已采纳
2回答
如何在Scrapy框架中使用RobotsTxtMiddleware？
python、scrapy、robots.txt
我如何从robot.txt中看到和理解规则？
浏览 0提问于2015-05-23得票数 6
回答已采纳
1回答
如何解决Twitter验证器中的"500服务器错误“？
twitter、twitter-card
twitter:description" content="$row['description']" />你能帮我解决这个问题吗？
浏览 3提问于2015-06-26得票数 0
1回答
我见过一些网站隐藏了robot.txt文件。我也想隐藏文件robot.txt对访问者如何做呢？
这些线路有连接吗？
浏览 4提问于2012-10-20得票数 0
回答已采纳
1回答
从我们的图像服务器中删除google索引
seo、search-engine、search-engine-bots
是否有可能让谷歌没有索引从我们的子域名？我们有图像.{ourUrl}.com，在这里我们放置了所有这些文件。
会在主目录中放置一个robot.txt文件吗？
浏览 4提问于2014-10-22得票数 0
回答已采纳
1回答
用python抓取udemy页面，但无法访问
python-3.x
我想刮udemy课程评论，但我无法访问网页网页。当我想使用python读取页面时，我会得到以下错误：urllib.error.HTTPError: HTTP Error 403: Unauthorized
浏览 0提问于2019-01-05得票数 1
云服务器
ICP备案
对象存储
云点播
即时通信 IM
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号