专栏首页张戈的专栏发现插件生成的robots.txt不能被谷歌和360识别

发现插件生成的robots.txt不能被谷歌和360识别

上次通过《正确的 Win 主机网站伪静态设置方法》重新设置了玛思阁的伪静态,当时由于使用 Rewrite robots 没有效果,就安装了一个生成 robots.txt 的插件,然后发现访问 robots 地址也有了指定的内容。几天却发现 360 全部被 K,仅剩首页,而谷歌也不再收录新页面,一直以为是我的 robots 内容有误,于是搜来搜去,改了无数次 robots 内容。谷歌在【已拦截的网址】选项中总是显示【语法有误】,在 sitemap 提交界面也用英文提示“所有内容被 robots 拦截...”云云。但是百度却未受影响,开始收录玛思阁的文章了。。。

今天闲下来了,决定解决这个疑难杂症!于是我去复制了别人正常收录的 robots 内容,然后贴到 robots 插件中生成新的,结果发现在谷歌 sitemap 提交时依然提示全部被拦截!我勒个去,这明显说明问题出现在插件上了!但是使用插件生成了 robots,百度站长平台检测又是没问题的,真是纳闷!

于是重新去查 Rewrite 规则相关资料,并通过 UE 编辑器重建 httpd.ini 文件,新增了内容:

RewriteRule /robots.txt /robots.txt [L]

删除 robots 插件之后,发现可以访问自定义的 robots 了!以前 httpd 里面也有这条规则,就是不生效!难道是编码错了么?

重新编写 robots.txt 上传后,再到谷歌提交 sitemap,发现问题已解决:

至于效果,可能要等几天再去查看下收录情况了!

下面贴一下我的 httpd.ini 和 robots 内容,以供参考:

httpd.ini

[ISAPI_Rewrite]  
# 3600 = 1 hour  
CacheClockRate 3600  
RepeatLimit 32  
RewriteCond Host: ^marsge.cn$  
RewriteRule (.*) http://zhangge.net$1 [I,R]  
# Protect httpd.ini and httpd.parse.errors files  
# from accessing through HTTP  
# wordpress weijingtai  
# For tag  
RewriteRule /tag/(.*)/page/(\d+)$ /index\.php\?tag=$1&paged=$2  
RewriteRule /tag/(.+)$ /index\.php\?tag=$1  
# For category  
RewriteRule /category/(.*)/page/(\d+)$ /index\.php\?category_name=$1&paged=$2  
RewriteRule /category/(.*) /index\.php\?category_name=$1  
# For sitemapxml  
RewriteRule /sitemap.xml /sitemap.xml [L]  
RewriteRule /favicon.ico /favicon.ico [L]  
RewriteRule /robots.txt /robots.txt [L]  
# For file-based wordpress content (i.e. theme), admin, etc.  
RewriteRule /wp-(.*) /wp-$1 [L]  
# For normal wordpress content, via index.php  
RewriteRule ^/$ /index.php [L]  
RewriteRule /(.*) /index.php/$1 [L]

robots.txt

User-Agent: *  
Allow: /*.html$  
Allow: /wp-content/uploads  
Disallow: /wp-admin  
Disallow: /wp-includes  
Disallow: /wp-content/  
Disallow: /blogmap  
Disallow: /myfeed  
Disallow: /liuyan  
Disallow: /readers  
Disallow: /tougao  
Disallow: /page  
Disallow: /*/page*  
Disallow: /*comments  
Disallow: /bulletin*  
Disallow: /feed  
Disallow: /date/*  
Disallow: /*trackback  
Disallow: /tag/*  
Disallow: /*?*  
Disallow: /*?  
Disallow: /*.css$  
Disallow: /*.js.$  
Disallow: /*.php$  
  
Sitemap: http://zhangge.net/sitemap.xml

robots 内容暂时先这样了,以后观察收录情况再来修改。

另外,不知道各位有没有设置过更新服务【WP 后台=>设置=>撰写】,在我搜索 robots 的时候看到了别人提供的博客更新通知列表,管它有没有用,先加上再说:

RPC 更新列表如下:

http://blogsearch.google.com/ping/RPC2  
http://ping.baidu.com/ping/RPC2  
http://rpc.pingomatic.com/  
http://blogsearch.google.com/ping/RPC2  
http://api.my.yahoo.com/RPC2  
http://www.feedsky.com/api/RPC2  
http://api.my.yahoo.com/rss/ping  
http://ping.feedburner.com  
http://www.zhuaxia.com/rpc/server.php  
http://www.xianguo.com/xmlrpc/ping.php  
http://blog.iask.com/RPC2  
http://ping.blog.qikoo.com/rpc2.php  
http://rpc.pingomatic.com/  
http://rpc.technorati.com/rpc/ping  
http://rpc.pingomatic.com  
http://api.feedster.com/ping  
http://api.moreover.com/RPC2  
http://api.moreover.com/ping  
http://api.my.yahoo.com/RPC2  
http://api.my.yahoo.com/rss/ping  
http://www.blogdigger.com/RPC2  
http://www.blogshares.com/rpc.php  
http://www.blogsnow.com/ping  
http://www.blogstreet.com/xrbin/xmlrpc.cgi  
http://bulkfeeds.net/rpc  
http://www.newsisfree.com/xmlrpctest.php  
http://ping.blo.gs/  
http://ping.feedburner.com  
http://ping.syndic8.com/xmlrpc.php  
http://ping.weblogalot.com/rpc.php  
http://rpc.blogrolling.com/pinger/  
http://rpc.technorati.com/rpc/ping  
http://rpc.weblogs.com/RPC2  
http://www.azfeeds.com  
http://www.blogsearchengine.com  
http://www.blogtopsites.com  
http://www.feedbase.net  
http://www.feedsubmitter.com  
http://www.fybersearch.com  
http://www.plazoo.com  
http://www.readablog.com  
http://www.rssfeeds.com  
http://www.rssmad.com  
http://www.rss-spider.com  
http://blo.gs/ping.php  
http://www.pingerati.net  
http://www.pingmyblog.com  
http://geourl.org/ping  
http://ipings.com  
http://www.icerocket.com  
http://www.weblogalot.com/ping

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

我来说两句

0 条评论
登录 后参与评论

相关文章

  • 张戈博客成功启用移动端主题:Mobile Pack

    建站以来,总是忙于 PC 端主题的折腾,移动端主题只是偷懒的使用了 WPtouch 插件。现在 PC 端主题已完善七七八八了,是时候折腾下移动端自适应主题了,毕...

    张戈
  • 让知更鸟主题的分类图标支持二级分类

    今天,突然想启用知更鸟主题的分类图标功能,之前是怕影响速度,现在开了静态缓存,安心了一点。 参照鸟哥的方法在主题选项里面开启后,发现图片的超链接打不开!检查后发...

    张戈
  • 分享几个可用的二维码API,以及给博客添加文章二维码图片的方法

    最新补充:博客已分享性能最好的 js 生成二维码方案==>传送门 今天发现之前用的二维码 API 不怎么稳定了,老是出现图裂无法加载的情况。用的是 api.qr...

    张戈
  • 在线生成二维码的API接口

    阿炬
  • 打包带走!史上最全的大数据分析和制作工具

    工欲善其事,必先利其器。 作为在大数据领域摸爬滚打叱咤风云的伙计们,也应当有一些实用工具来辅助工作日常。下面是小编精心整理的一些经检测非常实用的工具及网站,呈给...

    小莹莹
  • 年后,除了减肉,还需要了解这些人工智能企业 !

    还没看够的小伙伴可以进入官网详细了解每个企业的研究方向和产品,对于国外的企业,可以进去开头的GitHub的链接进行查看

    AI算法与图像处理
  • 从 http://www.batteries.com 搜索引擎优化效果谈起

    Batteries.com网站优化的经验和教训  是胡菜菜 胡宝介 最新的一篇文章,估计是这是他们的一个外国客户。国内做搜索引擎优化的公司能得到国际客户订单不...

    田春峰-JCJC错别字检测
  • 这些运营小工具帮你公众号躺着搞定爆文!

    前言:公众号现在越来越多了,竞争也会越来越大,那么用户的要求也会越来越高,运营好一个公众号也会越来越难。那么,如何从百万级别公众号中脱颖而出获得用户独宠呢?一些...

    用户6102055
  • 打包带走!大数据从业者不可不知的实用工具大全……

    作为在大数据领域摸爬滚打叱咤风云的伙计们,也应当有一些实用工具来辅助工作日常。下面是一些非常实用的工具及网站,呈给大家~~

    华章科技
  • 最全的数据分析平台整理

    百度ECharts:http://echarts.baidu.com/ Cytoscape:http://www.cytoscape.org/ 图表秀:http...

    IT派

扫码关注云+社区

领取腾讯云代金券