发现插件生成的robots.txt不能被谷歌和360识别

上次通过《正确的 Win 主机网站伪静态设置方法》重新设置了玛思阁的伪静态,当时由于使用 Rewrite robots 没有效果,就安装了一个生成 robots.txt 的插件,然后发现访问 robots 地址也有了指定的内容。几天却发现 360 全部被 K,仅剩首页,而谷歌也不再收录新页面,一直以为是我的 robots 内容有误,于是搜来搜去,改了无数次 robots 内容。谷歌在【已拦截的网址】选项中总是显示【语法有误】,在 sitemap 提交界面也用英文提示“所有内容被 robots 拦截...”云云。但是百度却未受影响,开始收录玛思阁的文章了。。。

今天闲下来了,决定解决这个疑难杂症!于是我去复制了别人正常收录的 robots 内容,然后贴到 robots 插件中生成新的,结果发现在谷歌 sitemap 提交时依然提示全部被拦截!我勒个去,这明显说明问题出现在插件上了!但是使用插件生成了 robots,百度站长平台检测又是没问题的,真是纳闷!

于是重新去查 Rewrite 规则相关资料,并通过 UE 编辑器重建 httpd.ini 文件,新增了内容:

RewriteRule /robots.txt /robots.txt [L]

删除 robots 插件之后,发现可以访问自定义的 robots 了!以前 httpd 里面也有这条规则,就是不生效!难道是编码错了么?

重新编写 robots.txt 上传后,再到谷歌提交 sitemap,发现问题已解决:

至于效果,可能要等几天再去查看下收录情况了!

下面贴一下我的 httpd.ini 和 robots 内容,以供参考:

httpd.ini

[ISAPI_Rewrite]  
# 3600 = 1 hour  
CacheClockRate 3600  
RepeatLimit 32  
RewriteCond Host: ^marsge.cn$  
RewriteRule (.*) http://zhangge.net$1 [I,R]  
# Protect httpd.ini and httpd.parse.errors files  
# from accessing through HTTP  
# wordpress weijingtai  
# For tag  
RewriteRule /tag/(.*)/page/(\d+)$ /index\.php\?tag=$1&paged=$2  
RewriteRule /tag/(.+)$ /index\.php\?tag=$1  
# For category  
RewriteRule /category/(.*)/page/(\d+)$ /index\.php\?category_name=$1&paged=$2  
RewriteRule /category/(.*) /index\.php\?category_name=$1  
# For sitemapxml  
RewriteRule /sitemap.xml /sitemap.xml [L]  
RewriteRule /favicon.ico /favicon.ico [L]  
RewriteRule /robots.txt /robots.txt [L]  
# For file-based wordpress content (i.e. theme), admin, etc.  
RewriteRule /wp-(.*) /wp-$1 [L]  
# For normal wordpress content, via index.php  
RewriteRule ^/$ /index.php [L]  
RewriteRule /(.*) /index.php/$1 [L]

robots.txt

User-Agent: *  
Allow: /*.html$  
Allow: /wp-content/uploads  
Disallow: /wp-admin  
Disallow: /wp-includes  
Disallow: /wp-content/  
Disallow: /blogmap  
Disallow: /myfeed  
Disallow: /liuyan  
Disallow: /readers  
Disallow: /tougao  
Disallow: /page  
Disallow: /*/page*  
Disallow: /*comments  
Disallow: /bulletin*  
Disallow: /feed  
Disallow: /date/*  
Disallow: /*trackback  
Disallow: /tag/*  
Disallow: /*?*  
Disallow: /*?  
Disallow: /*.css$  
Disallow: /*.js.$  
Disallow: /*.php$  
  
Sitemap: http://zhangge.net/sitemap.xml

robots 内容暂时先这样了,以后观察收录情况再来修改。

另外,不知道各位有没有设置过更新服务【WP 后台=>设置=>撰写】,在我搜索 robots 的时候看到了别人提供的博客更新通知列表,管它有没有用,先加上再说:

RPC 更新列表如下:

http://blogsearch.google.com/ping/RPC2  
http://ping.baidu.com/ping/RPC2  
http://rpc.pingomatic.com/  
http://blogsearch.google.com/ping/RPC2  
http://api.my.yahoo.com/RPC2  
http://www.feedsky.com/api/RPC2  
http://api.my.yahoo.com/rss/ping  
http://ping.feedburner.com  
http://www.zhuaxia.com/rpc/server.php  
http://www.xianguo.com/xmlrpc/ping.php  
http://blog.iask.com/RPC2  
http://ping.blog.qikoo.com/rpc2.php  
http://rpc.pingomatic.com/  
http://rpc.technorati.com/rpc/ping  
http://rpc.pingomatic.com  
http://api.feedster.com/ping  
http://api.moreover.com/RPC2  
http://api.moreover.com/ping  
http://api.my.yahoo.com/RPC2  
http://api.my.yahoo.com/rss/ping  
http://www.blogdigger.com/RPC2  
http://www.blogshares.com/rpc.php  
http://www.blogsnow.com/ping  
http://www.blogstreet.com/xrbin/xmlrpc.cgi  
http://bulkfeeds.net/rpc  
http://www.newsisfree.com/xmlrpctest.php  
http://ping.blo.gs/  
http://ping.feedburner.com  
http://ping.syndic8.com/xmlrpc.php  
http://ping.weblogalot.com/rpc.php  
http://rpc.blogrolling.com/pinger/  
http://rpc.technorati.com/rpc/ping  
http://rpc.weblogs.com/RPC2  
http://www.azfeeds.com  
http://www.blogsearchengine.com  
http://www.blogtopsites.com  
http://www.feedbase.net  
http://www.feedsubmitter.com  
http://www.fybersearch.com  
http://www.plazoo.com  
http://www.readablog.com  
http://www.rssfeeds.com  
http://www.rssmad.com  
http://www.rss-spider.com  
http://blo.gs/ping.php  
http://www.pingerati.net  
http://www.pingmyblog.com  
http://geourl.org/ping  
http://ipings.com  
http://www.icerocket.com  
http://www.weblogalot.com/ping

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏小白课代表

犀牛Rhino4.0安装教程

19430
来自专栏猿湿Xoong

咦,Oreo怎么收不到广播了?

31040
来自专栏杨建荣的学习笔记

关于SQLRecoverableException问题的排查和分析(r4笔记第13天)

上周在升级时候,客户反馈某个job报了下面的错误,想让我们查看一下是不是数据库这边有什么问题。 报错的内容如下。 Caused by: java.sql.SQ...

29940
来自专栏程序员笔记

从头开始写一个 Chrome 插件

19550
来自专栏针针小站

【Phi】斐讯K2 – 从编程器到刷机

CPU:MEDIATEK MT7620A 580MHZ RAM:64MB DDR2 SDRAM FLASH:8M 25Q64CS1G Flash 2.4G...

1.1K10
来自专栏Guangdong Qi

Face ID和Touch ID 译文and集成篇Face ID和Touch ID

30360
来自专栏大前端开发

微信小程序实现城市定位:获取当前所在的国家城市信息

微信小程序中,我们可以通过调用wx.getLocation()获取到设备当前的地理位置信息,这个信息是当前位置的经纬度。如果我们想获取当前位置是处于哪个国家,哪...

21320
来自专栏后端技术探索

nginx防止DDOS攻击配置(二)

我们用的高防服务器只防流量攻击不防CC,现在的攻击多数都是混合型的,而且CC攻击很多,防CC只能自己搞了,按照第一篇的配置,在实际的使用中效果并不理想。限制每秒...

58020
来自专栏运维小白

原QQ坦白说之解密教程

背景:之前在QQ上突然有人发坦白说给我,第一感觉就是谁恶搞我,想找到是谁,是谁在恶作剧 ? ---- QQ坦白说之解密教程 一、模拟手机QQ 首先使用谷歌...

48290
来自专栏游戏杂谈

IOS判断用户的网络类型(2/3/4G、wifi)

直接贴代码吧,ios7之后是获取的较为准确,7以下我拿iphone5测试的是无法区分3g/2g。连iphone4都能升到7.1.4,而且目前主流的设备7以下的系...

13820

扫码关注云+社区

领取腾讯云代金券