首页
学习
活动
专区
工具
TVP
发布
精选内容/技术社群/优惠产品,尽在小程序
立即前往
您找到你想要的搜索结果了吗?
是的
没有找到

记录ZBLOG PHP程序robots.txt文件的正确写法

从搜索引擎规范角度看,我们的网站在使用CMS程序之后是需要配置robots.txt文件的。...比如WordPress程序目前会自动生成内置的robots.txt文件,但是在使用ZBLOG PHP程序的时候是没有自动生成的,我们需要手动添加到网站根目录。...严格意义上讲,robots.txt文件还是比较有用的,但是对于国内来说用途好像不是特别的大,既然我们需要加上,这里老蒋就整理一个通用的文档。我们先看看ZBLOG PHP的固定的目录是有哪些。...这里我们看到ZBLOG PHP目录。如果我们在安装完毕程序之后,zb_install目录是可以删除的。然后我们需要屏蔽掉zb_system和zb_users目录不要被抓取,其他可以留着。...本文出处:老蒋部落 » 记录ZBLOG PHP程序robots.txt文件的正确写法 | 欢迎分享

82110

robots.txt详解

浏览器输入 主域名/robots.txt robots.txt的作用 robots.txt 文件规定了搜索引擎抓取工具可以访问网站上的哪些网址,并不禁止搜索引擎将某个网页纳入索引。...例如: robots.txt指令的一些限制 并非所有搜索引擎都支持 robots.txt 指令。...用任意文本编辑器(就是写代码的软件)创建 robots.txt 文件。 格式和位置规则: 文件必须命名为 robots.txt。 网站只能有 1 个 robots.txt 文件。...robots.txt 文件可应用到子网域(例如 https://website.example.com/robots.txt)或非标准端口(例如 http://example.com:8181/robots.txt...测试 robots.txt 标记 要测试新上传的 robots.txt 文件是否可公开访问,请在浏览器中打开无痕浏览窗口(或等效窗口),然后转到 robots.txt 文件的位置。

2.1K20
领券