腾讯云
开发者社区
文档
建议反馈
控制台
首页
学习
活动
专区
工具
TVP
最新优惠活动
文章/答案/技术大牛
搜索
搜索
关闭
发布
登录/注册
精选内容/技术社群/优惠产品,
尽在小程序
立即前往
文章
问答
(9999+)
视频
沙龙
2
回答
如何在Laravel中拥有不同的
robots
.txt文件子域和
主
域?
、
、
我有一个laravel项目,在routes/web.php中有一个
主
域和一个子域设置,如下所示: Route::group(array('domain' => '{account}.example.comroutes // domain routes }); 如何将
主
域和子域的
robots
.tx
浏览 42
提问于2021-02-11
得票数 0
回答已采纳
2
回答
从CDN重定向到直接访问CDN域的初级网站?
、
、
、
我不太确定如何防止谷歌索引我的CDN域与我的主要
域名
。我想通过.htaccess重定向到
主
域,通过dirrect访问CDN域。 谢谢。
浏览 2
提问于2011-01-27
得票数 4
回答已采纳
1
回答
在共享HostGator服务器上安装多个CodeIgniter时出现的问题
、
、
、
对于每个安装,我都能够成功地从URL中删除"index.php“,但在我的附加
域名
上,我的CSS、JS或图像文件都没有正确加载。以下是我在
主
域上的mod重写:RewriteCond $1 !^(index\.php|images|
robots
\.txt)对于我的addon
域名
,我有这个: RewriteEngine^(index\.php|images|
robots
浏览 5
提问于2010-10-01
得票数 0
回答已采纳
1
回答
如何防止Google索引我的重定向
域名
?
、
、
我有五个
域名
重定向到我的
主
网站。我最初设置这些重定向
域名
是因为我的目标人群中的许多人不太懂计算机,我担心他们会拼写错误或键入错误的网站名称。我想做谷歌对gogle.com和其他
域名
所做的事情。exampledomains.netexampledomain.comexampledomain.org 现在我看到Google为每个重定向
域名
索引了大约我的主机使用与我的
主
站点相同的IP设置域,然后在.htaccess中
浏览 0
提问于2015-01-20
得票数 0
2
回答
Google自定义搜索引擎没有提供预期的搜索结果
、
搜索结果中有一些指向
主
URL的子页。
浏览 0
提问于2010-04-08
得票数 3
回答已采纳
1
回答
根据域将example.txt重写为另一个
我使用多安装我的网页与两个不同的
域名
,我需要为每个
域名
一个唯一的
robots
.txt 像https://www.domain1.tdl/
robots
.txt应该使用https://www.domain1.tdl/
robots
_domain1.txt 和 https://www.domain2.tdl/
robots
.txt应使用https://www.domain2.tdl
浏览 13
提问于2019-05-22
得票数 0
2
回答
在理解如何阻止robot.txt上的某些URL时遇到问题
、
、
问题是这样的。我在我的系统上有一些URL,它们有这样的模式http://bar-editable.mydomain.com/menu3/option1User-agent: Googlebot 它会像我预期的那样工作吗?
浏览 0
提问于2013-06-25
得票数 0
回答已采纳
1
回答
不允许头页
robots
.txt
、
我想不允许header.php在
robots
.txt中被索引。
浏览 2
提问于2020-01-21
得票数 1
回答已采纳
1
回答
我可以使用
robots
.txt将机器人发送到特定的文件夹吗?
、
在未来,我计划为博客购买一个专门的
域名
,但现在这就是我要做的。 博客在目录/blog中,没有从
主
站点到博客的链接。所以我假设机器人就是无法到达那里。有没有办法使用
robots
.txt将机器人发送到特定的目录?除了在
主
站点上放一个链接之外,还有其他的解决方案吗?
浏览 0
提问于2013-06-14
得票数 0
回答已采纳
1
回答
子目录可以覆盖父域的
robots
.txt吗?
我的问题是:如果sith.edu将不允许/rogueone添加到他们的
robots
.txt中,/rogueone可以使用自己的
robots
.txt来覆盖这种效果吗?还是谷歌会遵守父
域名
的
robots
.txt不允许规则?
浏览 0
提问于2020-07-13
得票数 1
回答已采纳
6
回答
用于同一站点的多个域的站点地图
、
、
sitemap-domain2.net.xml添加多个站点地图文件,这是否意味着我可以创建sitemap-domain3.com.xml和sitemap-domain3.com.xml(包含匹配域的链接)并将它们添加到
robots
.txt
浏览 12
提问于2011-06-21
得票数 10
回答已采纳
1
回答
谷歌的机器人扼杀了我的带宽
、
、
我正面临奇怪和非常严重的问题,我的网站托管帐户上的hostgator经销商。2018年3月23日,我的网站被谷歌的机器人(userAgent: Mozilla/5.0 )访问。他们的IP地址在66.249.而且它们经常变化。从我的cPanel,我可以看到如下;/bXYtMzE2MS92b2svNzczODEtb2t3bw== 4/8/18,5:29 AM 7377 Mozilla/5.0 (兼容
浏览 0
提问于2018-04-08
得票数 0
2
回答
这是正确的jsp/struts语法吗?
、
我对此非常陌生,我正在尝试查看
域名
是否与我
指定
的
域名
匹配。如果域与生产不匹配,那么我想添加noindex meta,它是一个JSP页面,这是我的代码 <meta name="
robots
" content
浏览 0
提问于2012-03-20
得票数 0
回答已采纳
1
回答
子域在Google搜索结果中占据
主
站点的位置
、
、
不幸的是,Google从搜索结果中删除了我们的
主
域。我们的主要网站已经在第一页5年了!我们该怎么办?我们的主要网站提供主要服务,我们希望这将在第一页。 把子
域名
喊下来?重定向到
主
站?把我们的
主
站点的链接放在子域中?(大约一年前,我们把这个子域链接到我们的
主
站点。)(谷歌将其编入索引,并不断将其放在首位。
浏览 0
提问于2014-04-27
得票数 1
1
回答
robots
.txt:网站仍未出现在Google中
我有下面的
robots
.txtDisallow: Allow: / 我上周做了这个改变,当我在谷歌上搜索我的
域名
时,我仍然可以得到A description for this result is not available because of this site's
robots
.txt。谷歌每隔多长时间进入一个
域名
?
浏览 3
提问于2015-03-04
得票数 0
回答已采纳
1
回答
顶级域的
Robots
.txt灵活性
、
、
、
、
所以我留给这个网络爬虫的唯一问题是,当顶级
域名
发生变化时,比如从imdb到youtube,它会把
robots
.txt从imdb的不允许规则切换到youtube。re.IGNORECASE = True url = "http://www.imdb.com" try:
浏览 0
提问于2015-09-09
得票数 1
4
回答
加载域是否会影响SEO
、
、
我只是在搜索引擎优化领域的学习,我有一个
主
域和一个附加域。两者都有独立的网站。假设main.com是我的
主
域,addon.com是我的附加
域名
,它指向一个名为" addon“的子目录。
浏览 4
提问于2012-02-23
得票数 3
2
回答
如何消除搜索结果中的Heroku应用程序域
、
我应该在网站管理员工具中创建另一个域并使用
robots
.txt从搜索结果中删除Heroku域吗?或者这反过来也会移除卢米诺域吗? 谷歌还认为卢米诺是复制的内容还是克隆的网站?
浏览 0
提问于2014-06-26
得票数 4
1
回答
我可以使用`
robots
.txt`文件作为我们学校
域名
的子目录吗?
我试图将一个
robots
.txt上传到我的本地子目录。问题是google忽略了这个文件,而是使用了学校
域名
的规则。也就是说,url看起来 www.someschool.edu/~myusername/
robots
.txt www.someschool
浏览 3
提问于2012-04-12
得票数 2
回答已采纳
2
回答
移动到新域时重定向
robots
.txt
、
、
、
除了
robots
.txt之外,我已经成功地将所有内容重定向到新域。我的问题是,是否需要用301号重定向将olddomain.com/
robots
.txt重定向到newdomain.com/
robots
.txt?这种情况有什么共同的做法吗?
浏览 0
提问于2017-06-09
得票数 7
回答已采纳
点击加载更多
扫码
添加站长 进交流群
领取专属
10元无门槛券
手把手带您无忧上云
相关
资讯
Python提取域名的主域名
SEO实操方法之网站结构优化,你知道404和301吗?
ENS主域名突破50万个
数据:以太坊域名服务ENS主域名注册量突破44万
以太坊域名服务ENS主域名注册量突破45万个
热门
标签
更多标签
云服务器
ICP备案
对象存储
实时音视频
即时通信 IM
活动推荐
运营活动
广告
关闭
领券