我正在做一个web应用程序。我想提交网站到网站爬虫使用网站地图文件。
这样做有很多种方法。
sitemap.xml
我们所需要做的就是将其中一个文件添加到应用程序的根目录中。
我的问题是,其中哪一种选择是好的呢?
发布于 2010-12-20 13:24:39
我会使用这里定义的xml站点地图,http://sitemaps.org/
Html更适合用户导航,urllist.txt似乎是提供指向雅虎的链接的一种老方法。
上述网站上定义的XML站点地图是由Google、Yahoo!以及微软,并被这三家公司所认可。
其他人不会造成任何伤害,但我相信最大的好处将来自于xml站点地图。
至于压缩,这取决于您,如果您想节省您的带宽,然后gzip它,但请记住,它必须不大于10 to时,未压缩。
https://stackoverflow.com/questions/4489937
复制相似问题