腾讯云
开发者社区
文档
建议反馈
控制台
首页
学习
活动
专区
工具
TVP
最新优惠活动
文章/答案/技术大牛
搜索
搜索
关闭
发布
登录/注册
精选内容/技术社群/优惠产品,
尽在小程序
立即前往
文章
问答
(9999+)
视频
沙龙
4
回答
请问我用DEECMS的应该选什么系统?
云服务器
、
官方文档
请描述您的问题地址:https://cloud.tencent.com/document/product/213/2764
浏览 447
提问于2018-03-10
1
回答
网站纯静态页面和伪静态页面的区别到底是什么呢?
php
、
html
比如
dedecms
生成的单页?
浏览 231
提问于2017-11-10
1
回答
选择Azure前门的特定文件
azure-front-door
我需要向域的根添加一个
robots
.txt,并且不能在应用程序中托管它。我希望将
robots
.txt添加到一个存储blob /机器人/
robots
.txt中,并为/
robots
.txt
设置
一个新的路由,以及//
robots
.txt/
robots
.txt的起源,但在后端显示为/
Robots
.txt/
robots
.txt。如何
设置
原始路径以找
浏览 1
提问于2022-06-29
得票数 1
2
回答
想搭建在线教育网站,有什么框架或者解决方案推荐呢?
通用教育
RT
浏览 626
提问于2017-11-28
2
回答
Gatsby Cloud托管的Gatsby站点上的“x-机器人-标记:无”
gatsby
、
contentful
虽然我没有
设置
Robot.txt,但是生产站点在header上自动
设置
了x-
robots
-tag: none。这导致Google搜索控制台显示错误“noindex标记被添加”。您能帮我删除x-
robots
-tag: none并
设置
x-
robots
-tag: all吗?我已经尝试过在gatsby-plugin-
robots
-txt中使用适当的gatsby-plugin-
robots
-txt,但从未解决。
浏览 12
提问于2020-10-22
得票数 2
5
回答
如何将nginx配置为重定向到
robots
.txt & sitemap.xml的url
nginx
、
robots.txt
我的
robots
.txt在数据库中,可以作为访问。我也有我的sitemap.xml,它是动态生成的,在一个类似的url上。example.com; if ($request_method = DELETE) { } rewrite ^/
robots
.txt http://www.example.com/pr
浏览 4
提问于2009-07-07
得票数 22
回答已采纳
1
回答
django:正在尝试访问我的
robots
.txt:“/
robots
.txt 'str‘对象处的TypeError不可调用”
python
、
django
异常类型: /
robots
.txt的TypeError怎么回事?视图: """ view for
robots
.txtfile """ return HttpResponse(open(
ROBOTS
_P
浏览 1
提问于2010-09-04
得票数 1
回答已采纳
2
回答
Magento不会生成
robots
.txt
magento
、
robots.txt
我正在使用Magento ver. 1.9.0.1,但我在使用
robots
.txt时遇到了一些问题。我
设置
了索引,关注system--> configuration--> design,但在主目录中找不到
robots
.txt文件。我不能理解什么是wrong...maybe,我可以自己
设置
一个
robots
.txt文件,但我想让Magento来做会更好。非常感谢
浏览 0
提问于2014-10-11
得票数 0
3
回答
UrlMapping到Grails中的静态文件
grails
、
grails-2.0
、
url-mapping
我想映射静态文件sitemap.xml和
robots
.txt,它们位于我的web应用程序目录中。网址应如下:http://www.mydomain.com/
robots
.txt 如何
设置
url映射才能使这些路由正常工作?
浏览 6
提问于2013-07-31
得票数 6
回答已采纳
1
回答
如果header x-
robots
.txt
设置
为noindex,no follow,是否有必要使用
robots
?
apache
、
.htaccess
、
nofollow
、
noindex
我正在尝试阻止我的网站被索引/列出:Header set X-
Robots
-Tag "noindex, nofollow"Disallow: / 添加
robots
.txt有什么坏处吗?
浏览 4
提问于2016-08-19
得票数 0
1
回答
自动宽度小工具
javascript
、
firefox
、
firefox-addon
、
firefox-addon-sdk
我想知道如何
设置
自动宽度,以适应内容。例如,我希望我的小部件显示数字,它将具有不同的长度。我可以
设置
小部件的宽度,但是我怎么知道我的数字需要多少像素呢?有没有办法获得宽度,自动选择?下面是我的一些代码:我的小部件(我的附加组件使用其他小部件),var
robots
_meta = widgets.Widget({ id: "
robots
_meta",label: "Displays information about
浏览 1
提问于2014-02-17
得票数 0
1
回答
即使搜索引擎可见性未被检查,也不包括Wordpress机器人索引跟踪。
wordpress
、
indexing
、
seo
、
robot
我已经取消了它:
设置
,->,阅读,->,搜索引擎可见性。因此,它现在是在固定生产。但我只能在内容中看到“最大图像预览:大”。function wp_add_
robots
_custom( $
robots
) { $
robots
['index'] = true; return $
robots
;add_filt
浏览 3
提问于2022-07-03
得票数 0
回答已采纳
1
回答
将
robots
.txt放在何处以防止爬行
web-crawler
、
robots.txt
我使用
robots
.txt文件来防止爬虫抓取特定的页面。当我想要阻止在/folder/myfolder/中爬行myfolder中的所有内容时,我可以将
robots
.txt放在/folder/myfolder/
robots
.txt中并写道:Disallow: /User-agent: * Disallow: &
浏览 3
提问于2016-12-03
得票数 1
1
回答
不允许作者使用
robots
.txt
seo
、
google
、
robots.txt
我希望disallow文件
robots
.txt中的作者(例如帖子)。事实上,我注意到,对于我的一些网站,谷歌索引了文章的作者,我不想这样做。有人认为有可能吗?
浏览 0
提问于2018-09-14
得票数 1
回答已采纳
2
回答
apache nutch不抓取网站
solr
、
web-crawler
、
nutch
我想抓取一个有以下
robots
.txt的网站Disallow: / 有没有办法用apache nutch抓取这个网站?
浏览 1
提问于2012-08-07
得票数 1
回答已采纳
2
回答
使用nginx显示所有子域
nginx
、
robots.txt
如何使用nginx禁用
robots
.txt中的所有子域?例如,我想为我所有的子域显示简单的:User-agent: * Disallow: /
浏览 1
提问于2015-09-08
得票数 1
1
回答
angular.json排除用于开发构建的资产
angular
、
typescript
、
angular-cli
我有一个
robots
'txt文件,我只想包含在我的开发版本中。// ... "dev": { "extend_here","src/
robots
.txt&
浏览 0
提问于2020-09-02
得票数 0
1
回答
如果机器人元标记
设置
为noindex,则防止Yoast移除规范标记。
plugin-wp-seo-yoast
我还将元机器人标记
设置
为noindex,no追随者。做:但是,Yoast似乎自动删除了规范标记urls // Make sure that me
浏览 0
提问于2022-02-08
得票数 0
1
回答
是否从主域上的子域访问文件
robots
.txt?
.htaccess
、
redirect
、
subdomain
我使用codeigniter和位于根目录下的
robots
.txt文件,但它只能从主域访问。搜索试图从子域访问它的机器人(我将其用于区域
设置
):示例:en.my.com/
robots
.txt - FAIL 如何从xx.my.com/
robots
.txt重定向到my.com/
robots
.txt?
浏览 1
提问于2013-08-18
得票数 0
1
回答
为Apache服务器上的所有域创建
robots
.txt文件,但接收权限错误
permissions
我在我的Ubuntu上创建了一个“全局”
robots
.txt文件,并将它定位在然后,在/etc/apache2/apache.conf中,在底部添加了以下内容:重新启动阿帕奇。如果我将Alias /
robots
.txt /home/
robots
.txt更改为Alias
浏览 0
提问于2014-06-16
得票数 1
回答已采纳
点击加载更多
扫码
添加站长 进交流群
领取专属
10元无门槛券
手把手带您无忧上云
相关
资讯
robots优化WordPress和dedecms织梦网站
SEO优化:如何正确设置robots.txt协议文件?
ROBOTS怎么写?ROBOTS禁止收录写法、详细说明
织梦DedeCms的安全问题解决办法 安全设置
安装dedecms模板后,如何dedecms添加背景图片?
热门
标签
更多标签
云服务器
ICP备案
实时音视频
即时通信 IM
对象存储
活动推荐
运营活动
广告
关闭
领券