腾讯云
开发者社区
文档
建议反馈
控制台
登录/注册
首页
学习
活动
专区
圈层
工具
MCP广场
文章/答案/技术大牛
搜索
搜索
关闭
发布
文章
问答
(9999+)
视频
沙龙
2
回答
msbuild包含/从子
目录
复制到根
目录
-可能吗?
visual-studio-2010
、
msbuild
、
csproj
、
itemgroup
是否可以包含子
目录
中的文件,但将其放在bulid的根
目录
中,而不是其原始子
目录
中?我可以使用如下内容动态地适当地获取它们ItemGroup Condition=" '$(Configuration)' == 'Deve
浏览 0
提问于2011-08-17
得票数 3
回答已采纳
1
回答
带有
Robots
.txt重定向的.htaccess实践(继承)
robots.txt
、
301-redirect
、
web-crawlers
我们所有的域和子域,包括主域,都通过htaccess 301重定向到主域根
目录
中它们自己的子
目录
。 我对如何为某些
目录
编写
robots
.txt感到困惑。首先,我想确认我的理解是正确的,对于域和子域,爬虫器将查找充当爬行规则(
robots
.txt)的urls根
目录
的
目录
。另外,如果
目录
有自己的域/子域,并且url是爬虫访问的
目录
,则该
目录
不会受到其父
目录
中的
robots
.t
浏览 0
提问于2011-08-02
得票数 1
2
回答
在多语言站点中使用`
robots
.txt`
seo
、
sitemap
、
robots.txt
如何将
robots
.txt文件与sitemap结合起来?ORmyBurger.com
浏览 1
提问于2015-04-28
得票数 1
回答已采纳
3
回答
robots
.txt允许除少数子
目录
外的所有子
目录
。
seo
、
search-engine
、
cpanel
、
robots.txt
、
shared-hosting
我希望我的网站被索引的搜索引擎,除了少数子
目录
。以下是我的
robots
.txt设置:User-agent: *子
目录
中单独的
robots
.txt (被排除在外)Disallow: / 这是正确的方式,还是根
目录
规则将覆盖子
目录
规则?
浏览 10
提问于2015-02-13
得票数 8
回答已采纳
2
回答
robots
.txt文件应该在哪里?
robots.txt
如果我有一个子域: 如果
robots
.txt文件位于:或 a.com/myfolder/
robots
.txt
浏览 0
提问于2011-08-25
得票数 1
回答已采纳
1
回答
我在谷歌搜索控制台上收到了一个关于我的
robots
.txt的错误
google-search-console
、
robots.txt
我在谷歌搜索控制台上的网站报告了一个错误:有人能解释一下这个问题可能是什么吗?
浏览 0
提问于2017-08-26
得票数 0
1
回答
爬虫不从网站根
目录
获取
Robots
.txt文件,而是从web根
目录
获取
web-crawler
、
google-crawlers
我已经用
robots
.txt阻止了爬虫爬行我的web根
目录
(在我的例子中是/var/www/)。我在/var/www/中禁用了
robots
.txt,其中包含以下代码行: 现在,我需要web根
目录
(/var/www/mysite.com)的一个子
目录
被爬虫爬行。我已经在该
目录
中添加了
robots
.txt,并在apache中添加了虚拟主机,以允许对此mysite.com进行爬行。但是爬
浏览 3
提问于2013-05-10
得票数 0
回答已采纳
1
回答
PHP cURL -如何检查Google Crawler是否获得了正确的
robots
.txt
php
、
curl
为了停止这一点,我阅读了一个教程,它说我需要两个不同的
robots
.txt文件和.htaccess中的一些附加代码RewriteCond %{HTTPS} on
robots
-https.txtDisallow: / 有些日子已经过去了,谷歌还没有开始对https页面进行索引有没有办法用PHP & cURL检查https连接中使用了哪个
robots
.tx
浏览 1
提问于2013-01-30
得票数 0
3
回答
Robotx.txt允许管理员登录?
wordpress
、
seo
、
robots.txt
首先,
robots
.txt搜索了Wordpress,但是没有人告诉我这个文件在哪里。因此,我看到Wordpress中的
robots
.txt是虚拟的。 好吧没问题。但是,我在哪里发现这个可以编辑呢?
浏览 5
提问于2015-06-03
得票数 0
回答已采纳
2
回答
我可以将
robots
.txt放在上下文路径中并提供301重定向吗?
http-status-code-301
、
robots.txt
robots
.txt可以在www.example.com/abc/
robots
.txt上找到,我在webserver中给出了301重定向,将www.example.com/
robots
.txt重定向到www.example.com/abc/
robots
.txt。我的问题是,搜索引擎是否能够读取
robots
.txt文件,因为它有301重定向?
浏览 3
提问于2017-04-06
得票数 0
1
回答
模块在安装模式中找到,但在使用setuptools的开发模式中没有发现。
python
、
setuptools
、
setup.py
、
egg
简短问题:如何在运行python setup.py develop时更改鸡蛋链接指向的
目录
(cops_and_
robots
)Antares:cops_and_
robots
nick$ cat ~/
浏览 2
提问于2015-06-09
得票数 7
3
回答
用于多个域的
Robots
.txt
seo
在
robots
.txt中,我希望为每个域添加站点地图引用。 如果有多个,它会选择哪一个?
浏览 4
提问于2012-07-07
得票数 22
回答已采纳
1
回答
子
目录
网站(地区)和"/“字符中的
Robots
.txt问题
robots.txt
我们依赖于一个
robots
.txt文件。它包含了我们为mainsite.com设置并复制到mainsite.com/de中的所有不允许链接。Disallow: /media/sales/问题:第一个斜杠(/)不是指向根
目录
吗?我们应该如何设置这个机器人在子
目录
上工作呢?
浏览 0
提问于2015-07-20
得票数 0
回答已采纳
3
回答
需要使用同一
目录
级别的
robots
.txt阻止子域
seo
、
robots.txt
我已经向new.testing.com添加了一个
robots
.txt。并且两个站点都有相同的父
目录
----testing.com所以我想知道我可以用一个testing.com的
robots
.txt同时处理两个站点吗
浏览 5
提问于2014-09-19
得票数 8
回答已采纳
1
回答
#!我的搜索结果顶部显示的url
ajax
、
seo
我们刚刚开始使用SEO/Ajax,所以希望有人能帮助我们解决这个问题--其中之一!urls是我们的初创公司nurturelist.com的第一个有机结果。虽然这个链接在技术上是可行的,但我们1)不希望有任何#!urls会出现在搜索结果中,因为它们看起来很奇怪,而且我们没有#!版本2)图像中的第二个有机结果实际上是我们希望出现在顶部的结果。
浏览 0
提问于2014-08-22
得票数 0
2
回答
没有出现在报头中的X-机器人标签索引
apache
、
linux
我试图将以下内容包含在响应头中,以访问Apache服务器上的多个
目录
中的所有资源(dirone/dirone/ the 3/direfour)。X-
Robots
-Tag: noindex, nofollow它不会在响应头中生成附加项。你看到我做错什么了吗?Includes</Directory> <Directory "
浏览 0
提问于2015-12-10
得票数 4
1
回答
htaccess只允许特定子域的特定url,而不允许所有其他的url。
.htaccess
、
subdomain
、
content-indexing
我们有两个子域名为我们的网站。 我试图用.htaccess实现的目标是:我们希望将第二个子域仅用于特定的url,例如: Subdomain2.xx
浏览 3
提问于2014-03-10
得票数 0
1
回答
robots
.txt文件能否被子文件夹中的另一个
robots
.txt覆盖?
seo
、
robots.txt
我知道
robots
.txt应该在根
目录
中。但是,它是否会被子
目录
中的另一个
robots
.txt覆盖?
浏览 0
提问于2014-03-12
得票数 1
回答已采纳
6
回答
有没有办法告诉机器人不要看
目录
?
seo
我有一个满是图像的
目录
,我不想被机器人看到,有没有办法让这个
目录
成为私有
目录
? 谢谢!
浏览 0
提问于2009-07-22
得票数 3
回答已采纳
1
回答
谷歌不让我更正
robots
.txt
目录
google
、
robots.txt
、
404
、
error
所以我想在我的网站上设置一个
robots
.txt。在根
目录
下很直的位置,很好。但谷歌却说出了一个404错误,告诉我
robots
.txt不在它预期的位置。既然发生了这种事,就不足为奇了:然后,我单击“查看实时
robots
.txt”按钮,它会带我到http://www.example.com/www/example.com/
robots
.txt而不是http://www.example.com/
robots
浏览 0
提问于2018-05-03
得票数 0
回答已采纳
点击加载更多
热门
标签
更多标签
云服务器
ICP备案
对象存储
云点播
实时音视频
活动推荐
运营活动
广告
关闭
领券