减少百度蜘蛛在站内的无谓爬取,避免爬取一些内部程序文件,比如xxx.php
下面是我网站的robots.txt
User-agent: *
Disallow: /wp-admin/
Disallow: /wp-content/
Disallow: /wp-includes/
Allow: /wp-admin/admin-ajax.php
Sitemap: https://www.zanglikun.com/wp-sitemap.xml
核心一点就是:给搜索引擎说 我网站有哪些可以去收录!
索引型Sitemap:是百度的概念, 即:一个Sitemap包含了子Sitemap的地址。
等,是不可能等的,这辈子都不可能等的!要去百度站长平台分别提交Robots、Sitemap
据说 Sitemap收录大概需要7天!
特殊说明:以上文章,均是我实际操作,写出来的笔记资料,不会盗用别人文章!烦请各位,请勿直接盗用!转载记得标注来源!