腾讯云
开发者社区
文档
建议反馈
控制台
首页
学习
活动
专区
工具
TVP
最新优惠活动
文章/答案/技术大牛
搜索
搜索
关闭
发布
登录/注册
精选内容/技术社群/优惠产品,
尽在小程序
立即前往
文章
问答
(9999+)
视频
沙龙
1
回答
如何
告诉
搜索引擎
使用
我
更新
的
robots.txt
文件
?
seo
、
robots.txt
以前,
我
已经阻止了
搜索引擎
机器人,以防止
使用
robots.txt
文件
爬行
我
的
网站,但现在
我
想取消阻止它们。
我
更新
了
robots.txt
文件
,并允许
搜索引擎
机器人爬行
我
的
网站,但
搜索引擎
似乎仍然
使用
我
的
旧
robots.txt
文件</e
浏览 27
提问于2019-03-24
得票数 2
回答已采纳
2
回答
如何
控制可访问
的
搜索引擎
?
seo
、
meta-tags
有人问我,是否有可能在
搜索引擎
中限制搜索结果。这里有一个例子:
我
有一个网站,
我
希望它只在yahoo,google,bing和ask
搜索引擎
中显示。有没有办法通过
使用
任何元标签或通过其他方式来实现呢?
浏览 0
提问于2010-08-17
得票数 0
3
回答
django中
的
robots.txt
警告是什么,并建议您处理这个问题?
python
、
django
、
web-crawler
、
robots.txt
我
在localhost (开发机器)上运行Django,在
我
的
调试控制台中看到了这一点:2018-03-20 22:58:03,173 WARNING NotFound: /
robots.txt
这意味着什么,如果有任何建议来处理这一权利
浏览 0
提问于2018-03-20
得票数 3
回答已采纳
1
回答
在HTML中链接到纯文本站点地图
文件
的
正确方法是什么?
html
、
seo
、
meta-tags
、
sitemap
、
google-search
这段代码会正确地指示Google索引
我
的
站点地图(或者让它知道它
的
存在)吗?谷歌在他们
的
中声明,只列出URL
的
纯文本
文件
是允许作为站点地图格式
的
,但我找不到任何经过验证
的
解决方
浏览 30
提问于2021-07-15
得票数 0
2
回答
TYPO3 v9.5.0 -错误消息:请求
的
页面不存在/
robots.txt
typo3
、
url-routing
、
typo3-9.x
TYPO3 v9.5.0 -错误消息:请求
的
页面不存在/
robots.txt
核心:异常处理程序( TYPO3\CMS\Core\Error\Http\PageNotFoundException ):未解析
的
TYPO3异常:#1518472189:请求
的
页面不存在在第82行
的
文件
/is/www/
浏览 1
提问于2018-10-17
得票数 2
回答已采纳
1
回答
为谷歌保护img
html
、
web
、
server
如果
我
在服务器上创建了一个包含图片
的
文件
夹,
我
希望只为用户加载正确
的
密码。用户输入密码,然后
使用
Ajax将图像作为img语法加载到HTML
文件
中。
我
意识到,没有密码,直接图像调用也是可能
的
。然而,这些图片在非常不寻常
的
文件
夹路径中。如果谷歌或任何其他
搜索引擎
爬行/索引
我
的
浏览 1
提问于2019-06-09
得票数 0
回答已采纳
2
回答
robots.txt
内容/硒网抓取
robots.txt
我
正在尝试
使用
selenium运行web抓取。Disallow: /go/
我
可以在所有
文件
夹中运行网络抓取,除了去和启动公告?
浏览 3
提问于2020-07-14
得票数 4
回答已采纳
1
回答
如果
我
用HTTP code 418来回应
robots.txt
请求,也就是“
我
是一个茶壶”,这会不会让
搜索引擎
不喜欢
我
?
http-headers
、
web-crawler
、
seo
、
search-engine
、
search-engine-bots
我
有一个在HTML5
的
画布中运行
的
非常简单
的
webapp,它没有任何需要由
搜索引擎
索引
的
公共
文件
(除了包含对所有必要资源
的
调用
的
首页HTML
文件
)。因此,
我
并不真正需要
robots.txt
文件
,因为他们只会看到公共
文件
,仅此而已。现在,作为一个笑话,每当网络爬虫请求
robots.txt
时,
我
都想返回一个HTTP
浏览 0
提问于2011-11-16
得票数 3
回答已采纳
3
回答
不想要
的
页面爬行
php
可能重复: abc.com/智能/模板/1.htmlabc.com网站/图片/1.jpg
浏览 3
提问于2012-12-11
得票数 2
7
回答
如何
防止
搜索引擎
索引
我
的
网站
的
任何一个页面?
html
、
seo
我
不想让
搜索引擎
索引
我
的
印记页面。
我
怎么能这么做呢?
浏览 2
提问于2010-10-30
得票数 34
回答已采纳
1
回答
阻止机器人中
的
链接,但包含站点地图
sitemap
、
robot
、
nofollow
例如,
我
可以包括在机器人中,然后包括
我
想要
的
所有链接,包括网站地图中
的
主页和多个其他网站地图,并让它们被索引?这行得通吗?
我
注意到我们
的
一个竞争对手
使用
机器人来禁止链接,也在这些完全相同
的
链接上
使用
rel=nofollow,但
使用
大量
的
网站地图来弥补它,它们被索引。
我
已经注意到,这种方法是更好
的
某些网站
浏览 5
提问于2014-02-16
得票数 0
1
回答
asp.net站点内容私有(不能在互联网上搜索)
asp.net
、
blogs
我
在ASP.NET表单上构建了一个门户网站。
我
的
网页上有
我
不想在互联网上搜索
的
内容/博客(
我
想让它成为私有的,只有登录用户才能查看)。 有人能指导
我
如何
实现它吗?
浏览 2
提问于2016-09-08
得票数 1
回答已采纳
2
回答
阻塞
robots.txt
中包含数字
的
URL
url
、
robots.txt
我
的
网站允许
搜索引擎
以2种格式索引相同
的
页面,如: Disallow: /page-(numbers
浏览 0
提问于2013-06-10
得票数 0
2
回答
隐藏机密
文件
夹
的
最佳
robots.txt
实践
seo
、
robots.txt
我
在
我
的
网站上有一个秘密
文件
夹,
我
不想让
搜索引擎
知道它。
我
没有把
文件
夹名称放在
robots.txt
的
禁止规则中,因为在
robots.txt
中写这个
文件
夹名称意味着
告诉
我
的
访问者这个秘密
文件
夹。
我
的
问题是,即使
我
没有发布任何链接到这个
文件
夹,
浏览 0
提问于2017-07-18
得票数 0
回答已采纳
4
回答
Robots.txt
不
更新
seo
、
robots.txt
当我尝试用谷歌搜索
我
的
网址时,下面是元描述。User-agent: *Disallow: /wp-includes/User-agent: *
我
有Yoa
浏览 0
提问于2015-12-09
得票数 7
2
回答
阻止机器人在多商店多域prestashop上抓取
我
的
网站之一
.htaccess
、
robots.txt
、
prestashop-1.5
你好,
我
有一个主域example.com
的
多商店多域prestashop安装,
我
想阻止所有机器人爬行为经销商在那里他们可以购买较低
的
价格
的
子域网站subdomain.example.com爬虫,因为内容是复制到原始网站,
我
不完全确定
如何
做。通常情况下,如果
我
想阻止某个网站
的
机器人,我会
使用
Disallow: / 但是
如何
在不伤害整个商店
的
情况
浏览 1
提问于2014-05-14
得票数 4
3
回答
在
我
的
Django应用程序中添加
robots.txt
是被谷歌列出
的
方式吗?
django
、
webserver
、
robots.txt
我
在linux服务器上有一个网站(Django),但Google根本找不到这个网站。
我
知道
我
的
服务器上没有
robots.txt
文件
。谁能
告诉
我
如何
创建一个,里面写什么,把它放在哪里?这将是一个很大
的
帮助!
浏览 0
提问于2012-07-04
得票数 2
回答已采纳
2
回答
如何
将
robots.txt
配置为允许少量页面?
wordpress
、
robots.txt
我
有一个名为www.example.com
的
网站,在这里它只是登陆页面。-其html网站。现在
我
只想爬上
我
的
"orignialwebsite“wordpresssite
的
一些页面。那么,
robots.txt
应该是什么
浏览 4
提问于2016-06-09
得票数 0
3
回答
如何
以及在何处向ASP.net web应用程序添加
robots.txt
文件
?
asp.net
、
robots.txt
我
在C#中
使用
ASP.net。为了增加我
的
站点在谷歌中
的
可搜索性,
我
搜索并发现
我
可以用
我
的
robots.txt
做到这一点,但我真的不知道
如何
创建它,以及
我
可以在
我
的
txt
文件
中
的
哪里放置
我
的
标签,如ASP.net,C#。另外,请让
我
知道在
我
的</em
浏览 1
提问于2010-06-13
得票数 4
回答已采纳
1
回答
我
已经10天不允许任何事情了
seo
、
robots.txt
由于
更新
错误,
我
插入了一个用于测试服务器
的
robots.txt
文件
。结果,最终得到了这个
robots.txt
:Disallow: / 当然,昨天
我
更正了
robots.
浏览 0
提问于2020-01-29
得票数 0
回答已采纳
点击加载更多
扫码
添加站长 进交流群
领取专属
10元无门槛券
手把手带您无忧上云
相关
资讯
英文网站优化怎么做?
英文网站优化怎么做?价格?多少钱?
PDF如何压缩?我来告诉你PDF文件怎么压缩大小的方法
网站迟迟不被收录的注意事项
SEO实操方法之网站结构优化,你知道404和301吗?
热门
标签
更多标签
云服务器
即时通信 IM
ICP备案
对象存储
实时音视频
活动推荐
运营活动
广告
关闭
领券