网络优化中怎么减轻蜘蛛的抓取?

内容 ：

一般来说，让搜索引擎捕获和索引更多的内容往往是seo们头疼的问题。没有包容和索引，就谈不上排名。特别是对于一个具有一定规模的网站来说，要使网站完全被收录是一项相当费劲的SEO技术。

一、使用Flash

几年来，搜索引擎一直试图抢占flash的内容。简单的文本内容已经可以被抓取。falsh中的链接也可以被跟踪。

二、形式

搜索引擎蜘蛛还可以填写表单 和 获取 post请求页面，这可以在日志中看到。

三、Js / Ajax

使用js链接一直被认为是对搜索引擎不友好的方法，因此可以防止蜘蛛爬行。但是2年前，Js链接是无法阻止搜索引擎蜘蛛爬行。不仅会对Js中出现的Url进行爬网，还可以执行简单的Js来查找更多的URL 。

四、robots文件

目前确保内容不被包含的方法是禁止robots文件。但也有一个缺点，就是重量会减少，虽然内容不能包含在内，但页面却成了一个只接受链接重量而不流出重量的无底洞。

五、限制跟踪

Nofollow不保证不包括在内。即使NF被添加到你网站上所有指向该页面的链接中，你也不能其他网站不会获得指向该页面的链接。搜索引擎仍然可以找到这个页面。

六、metanoindex + follow

为了防止集合转移权重，我们可以在页面上使用metaindex 和 metaflow，这样页面就不包括在内，而是可以流出权重，这是一个不错的办法。

总结：

如何使网页不被收录是一个值得思考的问题。网站优化，你可以考虑在你的网站上有多少重复的内容、低质量的内容、各种各样的非搜索值分类和过滤网址。

一般来说，让搜索引擎捕获和索引更多的内容往往是seo们头疼的问题。没有包容和索引，就谈不上排名。特别是对于一个具有一定规模的网站来说，要使网站完全被收录是一项相当费劲的SEO技术。

比如，当页面达到几十万个页面时，无论网站架构如何设计和优化，都不可能100%包含网站，所以我们只能尽量提高包含率。