robots指定主域名 - 腾讯云开发者社区

文章/答案/技术大牛

发布

2回答

如何在Laravel中拥有不同的robots.txt文件子域和主域？

php、laravel、nginx

我有一个laravel项目，在routes/web.php中有一个主域和一个子域设置，如下所示： Route::group(array('domain' => '{account}.example.comroutes // domain routes }); 如何将主域和子域的robots.tx

浏览 42提问于2021-02-11得票数 0

回答已采纳

2回答

从CDN重定向到直接访问CDN域的初级网站？

php、.htaccess、apache2、cdn

我不太确定如何防止谷歌索引我的CDN域与我的主要域名。我想通过.htaccess重定向到主域，通过dirrect访问CDN域。谢谢。

浏览 2提问于2011-01-27得票数 4

回答已采纳

1回答

在共享HostGator服务器上安装多个CodeIgniter时出现的问题

regex、mod-rewrite、codeigniter、shared-hosting

对于每个安装，我都能够成功地从URL中删除"index.php“，但在我的附加域名上，我的CSS、JS或图像文件都没有正确加载。以下是我在主域上的mod重写：RewriteCond $1 !^(index\.php|images|robots\.txt)对于我的addon域名，我有这个： RewriteEngine^(index\.php|images|robots

浏览 5提问于2010-10-01得票数 0

回答已采纳

1回答

我有五个域名重定向到我的主网站。我最初设置这些重定向域名是因为我的目标人群中的许多人不太懂计算机，我担心他们会拼写错误或键入错误的网站名称。我想做谷歌对gogle.com和其他域名所做的事情。exampledomains.netexampledomain.comexampledomain.org 现在我看到Google为每个重定向域名索引了大约我的主机使用与我的主站点相同的IP设置域，然后在.htaccess中

浏览 0提问于2015-01-20得票数 0

2回答

Google自定义搜索引擎没有提供预期的搜索结果

search、search-engine

搜索结果中有一些指向主URL的子页。

浏览 0提问于2010-04-08得票数 3

回答已采纳

1回答

根据域将example.txt重写为另一个

mod-rewrite

我使用多安装我的网页与两个不同的域名，我需要为每个域名一个唯一的robots.txt 像https://www.domain1.tdl/robots.txt应该使用https://www.domain1.tdl/robots_domain1.txt 和 https://www.domain2.tdl/robots.txt应使用https://www.domain2.tdl

浏览 13提问于2019-05-22得票数 0

2回答

在理解如何阻止robot.txt上的某些URL时遇到问题

web、robots.txt、googlebot

问题是这样的。我在我的系统上有一些URL，它们有这样的模式http://bar-editable.mydomain.com/menu3/option1User-agent: Googlebot 它会像我预期的那样工作吗？

浏览 0提问于2013-06-25得票数 0

回答已采纳

1回答

不允许头页robots.txt

.htaccess、robots.txt

我想不允许header.php在robots.txt中被索引。

浏览 2提问于2020-01-21得票数 1

回答已采纳

1回答

我可以使用robots.txt将机器人发送到特定的文件夹吗？

search-engine、robots.txt

在未来，我计划为博客购买一个专门的域名，但现在这就是我要做的。博客在目录/blog中，没有从主站点到博客的链接。所以我假设机器人就是无法到达那里。有没有办法使用robots.txt将机器人发送到特定的目录？除了在主站点上放一个链接之外，还有其他的解决方案吗？

浏览 0提问于2013-06-14得票数 0

回答已采纳

1回答

子目录可以覆盖父域的robots.txt吗？

robots.txt

我的问题是:如果sith.edu将不允许/rogueone添加到他们的robots.txt中，/rogueone可以使用自己的robots.txt来覆盖这种效果吗？还是谷歌会遵守父域名的robots.txt不允许规则？

浏览 0提问于2020-07-13得票数 1

回答已采纳

6回答

用于同一站点的多个域的站点地图

seo、multiple-domains、xml-sitemap

sitemap-domain2.net.xml添加多个站点地图文件，这是否意味着我可以创建sitemap-domain3.com.xml和sitemap-domain3.com.xml(包含匹配域的链接)并将它们添加到robots.txt

浏览 12提问于2011-06-21得票数 10

回答已采纳

1回答

谷歌的机器人扼杀了我的带宽

web、bandwidth、googlebot

我正面临奇怪和非常严重的问题，我的网站托管帐户上的hostgator经销商。2018年3月23日，我的网站被谷歌的机器人(userAgent: Mozilla/5.0 )访问。他们的IP地址在66.249.而且它们经常变化。从我的cPanel，我可以看到如下；/bXYtMzE2MS92b2svNzczODEtb2t3bw== 4/8/18，5:29 AM 7377 Mozilla/5.0 (兼容

浏览 0提问于2018-04-08得票数 0

2回答

这是正确的jsp/struts语法吗？

jsp、struts2

我对此非常陌生，我正在尝试查看域名是否与我指定的域名匹配。如果域与生产不匹配，那么我想添加noindex meta，它是一个JSP页面，这是我的代码 <meta name="robots" content

浏览 0提问于2012-03-20得票数 0

回答已采纳

1回答

子域在Google搜索结果中占据主站点的位置

seo、google-search、subdomain

不幸的是，Google从搜索结果中删除了我们的主域。我们的主要网站已经在第一页5年了！我们该怎么办？我们的主要网站提供主要服务，我们希望这将在第一页。把子域名喊下来？重定向到主站？把我们的主站点的链接放在子域中？(大约一年前，我们把这个子域链接到我们的主站点。)(谷歌将其编入索引，并不断将其放在首位。

浏览 0提问于2014-04-27得票数 1

1回答

robots.txt:网站仍未出现在Google中

robots.txt

我有下面的robots.txtDisallow: Allow: / 我上周做了这个改变，当我在谷歌上搜索我的域名时，我仍然可以得到A description for this result is not available because of this site's robots.txt。谷歌每隔多长时间进入一个域名？

浏览 3提问于2015-03-04得票数 0

回答已采纳

1回答