Baiduspider(百度蜘蛛)抓取频次原则及调整方法

Baiduspider根据网站设置的协议对站点页面进行抓取,但是不可能做到对所有站点一视同仁,会综合考虑站点实际情况确定一个抓取配额,每天定量抓取站点内容,即我们常说的抓取频次。那么百度搜索引擎是根据什么指标来确定对一个网站的抓取频次的呢,主要指标有四个:

1,网站更新频率:更新快多来,更新慢少来,直接影响Baiduspider的来访频率

2,网站更新质量:更新频率提高了,仅仅是吸引了Baiduspier的注意,Baiduspider对质量是有严格要求的,如果网站每天更新出的大量内容都被Baiduspider判定为低质页面,依然没有意义。

3,连通度:网站应该安全稳定、对Baiduspider保持畅通,经常给Baiduspider吃闭门羹可不是好事情

4,站点评价:百度搜索引擎对每个站点都会有一个评价,且这个评价会根据站点情况不断变化,是百度搜索引擎对站点的一个基础打分(绝非外界所说的百度权重),是百度内部一个非常机密的数据。站点评级从不独立使用,会配合其它因子和阈值一起共同影响对网站的抓取和排序。

抓取频次间接决定着网站有多少页面有可能被建库收录,百度站长平台提供了抓取频次工具,并已完成多次升级。该工具除了提供抓取统计数据外,还提供“频次调整”功能,站长根据实际情况向百度站长平台提出希望Baiduspider增加来访或减少来访的请求,工具会根据站长的意愿和实际情况进行调整。

原创声明,本文系作者授权云+社区发表,未经许可,不得转载。

如有侵权,请联系 yunjia_community@tencent.com 删除。

编辑于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏zhisheng

如何做好 Elasticsearch 性能指标监控

声明:本文是较早的一篇关于Elasticsearch性能指标监控的博文,内容总结全面,作者 Emily Chang,原文地址:https://www.datad...

10720
来自专栏SEO-网站优化

搜索引擎八大覆盖平台价值分析

搜索引擎八大渠道价值分析,用一句很简单的话概括“网络上一切的有效的搜索引擎覆盖渠道整合起来做全渠道搜索引擎覆盖”那就是搜索引擎覆盖,这也就是为什么搜索引擎能够起...

11230
来自专栏有三AI

【NLP-ChatBot】我们熟悉的聊天机器人都有哪几类?

本篇是专栏中介绍聊天机器人的第一篇,会大概介绍聊天机器人的历史、特点、分类以及技术框架,让大家对聊天机器人有一个大致的了解。

11540
来自专栏江湖安得便相忘

小笔记:python搜索引擎下拉框截图

作为一个程序员,被女友提需求也也是常有的事情,最近就来了一个需求,需要截取指定搜索引擎的关键词下拉框截图,就是这种的,只要度娘搜索引擎的。

11700
来自专栏磐创AI技术团队的专栏

数据科学家应知道的数据科学项目的四个关键方面

实用数据科学是一个多维领域。机器学习算法本质上是整个端对端数据科学驱动项目的一部分。我经常遇到一些年轻的数据科学爱好者,他们在刚开始的时候没有一个完整的计划。

10730
来自专栏IT大咖说

如何提升代码搜索效果?GitHub团队打造代码搜索领域的GLUE数据集

搜索代码进行重用、调用,或者借此查看别人处理问题的方式,是软件开发者日常工作中最常见的任务之一。然而,代码搜索引擎的效果通常不太好,和常规的 web 搜索引擎不...

9540
来自专栏网络通讯杂谈

如何利用动态代理IP来做SEO(网络营销)

对动态代理IP大家都不陌生,今天我们来聊下如何利用动态代理ip来做SEO优化。其实除了SEO很多网络营销也都需要用到代理IP,因为很多网络营销的用户都知道,投票...

13160
来自专栏别先生

Lucene的全文检索学习

Lucene的官方网站(Apache的顶级项目):http://lucene.apache.org/

10210
来自专栏全能大脸猫

网站优化之SEO优化三大禁忌

看到很多不懂的网站优化的网站喜欢关键词堆积,认为关键词越多越好,恨不得写上百八十个关键词,把相关的搜索流量都揽过来。

5820
来自专栏GA小站

1.1.2 、为什么使用Google Analytics

目前,市面上有很多不同类型的网站分析工具,包括免费的GA、百度统计和腾讯分析等,收费的GA360、Adobe Analytics、Webtrekk和Webtre...

8810

扫码关注云+社区

领取腾讯云代金券

年度创作总结 领取年终奖励