「SEO知识」如何让搜索引擎知道什么是重要的?

每一个昨天在成为昨天之前都曾有一个今天,每一个今天在成为今天之前都曾是我们的明天。今天,无论你是快乐还是痛苦、是成功还是失败、是得意还是失意,一切终将过去!因为,今天只有一天。昨天再好,已成永恒。

如何让搜索引擎知道什么是重要的?

时本文总计约 2200 个字左右,需要花 8 分钟以上仔细阅读。

如何让搜索引擎知道什么是重要的?

当一个搜索引擎程序抓取网站时,其实我们可以通过相关文件进行引导的。

简单的理解搜索引擎蜘蛛会通过链接来了解您网站上的信息。但他们也在浏览网站代码和目录中的特定文件,标签和元素。接下来我们来看看这些元素都有哪些。

robots.txt

搜索引擎蜘蛛会在抓取网站时,第一件事就是先抓取robots.txt文件。

对于复杂的网站,robots.txt文件是必不可少的。对于只有少数几页的小型网站,robots.txt文件可能不是必需的。没有它,搜索引擎蜘蛛就会抓取网站上的所有内容。

有两种主要方法可以使用robots.txt文件指导搜素引擎蜘蛛。

1.首先,可以使用“禁止”指令。这会引导蜘蛛忽略特定的URL文件,文件扩展名甚至整个网站的部分:

User-agent: Googlebot

Disallow: /example/

虽然disallow指令会阻止蜘蛛爬取您网站的特定部分(因此节省抓取预算),但它不一定会阻止该页面被索引并显示在搜索结果中,例如可以在此处看到:

2.另一种方法是使用 noindex 指令。Noindex某个页面或文件不会阻止它被抓取,但是,它会阻止它被索引(或从索引中删除它)。此robots.txt指令由Google非正式支持,并且完全不受Baidu/Bing支持:

User-agent:Googlebot

Noindex:/ example /

User-agent:*

Disallow:/ example /

显然,由于这些网页仍在被抓取,它们仍会使用您的抓取预算。

这是一个常常被忽略的问题:disallow指令实际上会撤消搜索引擎蜘蛛noindex标记的工作。这是因为disallow阻止蜘蛛访问网页的内容,从而阻止了看到和遵守meta标签。

另一个使用robots.txt协议告诉搜索引擎哪些页面可以抓取,哪些页面不能抓取。当然,并不是所有蜘蛛都行为良好,有的甚至会忽略你的指令(尤其是寻找漏洞的恶意机器人)。

XML站点地图

XML站点地图帮助蜘蛛了解站点的基础结构。在这请注意,蜘蛛使用站点地图作为线索,而不是权威指南,了解如何为网站建立索引。机器人还会考虑其他因素(例如您的内部链接结构)来弄清楚您的网站是关于什么的。

使用可扩展标记语言(XML)站点地图最重要的是确保发送给搜索引擎的消息与您的robots.txt文件一致。

不要将已经通过robots.txt阻止的文件内容发送给搜素引擎; 考虑到网站的抓取预算,所以,我们千万别在这里犯错误。

第二重要的是确保XML站点地图仅包含规范URL,因为Baidu/Google会将XML站点地图视为规范化信号。

URL规范化

如果站点上有重复的内容(我们应该避免出现重复的内容),那么rel ="canonical"链接元素告诉蜘蛛哪个URL应该被认为是主版本。

如果不使用canonical标记,那么会导致网站上面不同URL但内容相同的页面被搜索引擎收录,会让搜索引擎误认为网站上面有很多重复页面,从而降低对网站的评价。

分页

正确设置rel ="next"和rel ="prev"链接元素非常重要。如果一个电子商务网站每个类别都有很多产品,如果想避免陷入搜索引擎的重复内容过滤器,那么rel = next和rel = prev就非常重要。

假设网站有50种不同的型号可供选择。在主类别页面上,用户可以查看前10个产品,每个产品都有一个产品名称和一个缩略图。然后,他们可以点击“下一页”来查看下一个10个结果,依此类推。

这些页面中的每一个都会具有相同或非常相似的标题,元描述和页面内容,因此主类别页面的头部应该有一个rel =“next”(no rel =“prev”,因为它是第一页)超文本标记语言(HTML)。将rel =“next”和rel =“prev”链接元素添加到每个后续页面会告诉抓取工具您要将这些页面用作序列。

或者,如果我们该内容有“查看全部”页面,则可以在所有分页页面上规范化为“查看全部”页面,并完全跳过rel = prev / next。不足之处在于,“查看全部”页面可能会在搜索结果中显示。如果网页加载时间过长,搜索访问者的跳出率会很高,这不是一件好事。

如果没有rel =“canonical”,rel =“next”和rel =“prev”链接元素,这些页面将相互竞争排名,并且有重复的内容过滤的风险。正确实施,rel = prev / next将指示Google将序列视为一页,或者rel = canonical将所有权重配给“查看全部”页面。(关于分页优化技巧,各位同学可以查看这篇文章:页面分页优化技巧

常见的编码问题

一个网站想要有很好的排名,是由很多因素共同决定的,其中,有一条很重要,那么就是:一个页面拥有简洁的代码很重要(Google的移动优先索引)。这样会让搜索引擎更容易辨别页面重要的内容。很有可能会因一个小错误导致蜘蛛使抓取者感到困惑,并导致搜索结果出现严重问题。

这里有几个基本的要注意的:

1.无限空间(又名蜘蛛陷阱)。糟糕的编码有时会无意中造成“无限空间”或“蜘蛛陷阱”。像指向相同内容的无尽URL或以多种方式呈现相同信息的页面等问题或包含不同日期无限日历的日历可能会导致蜘蛛卡住循环,从而可能很快耗尽您的爬取预算。

在404错误页面的超文本传输协议安全(HTTP)标头中错误地提供200状态码是另一种呈现方式,所以,正确的页面状态码也是非常重要,也可以节约爬取预算。

当一个蜘蛛遇到大量精简或重复的内容时,它最终会放弃,这可能意味着它永远无法获得最佳内容,并且会在索引中产生一堆无用的页面。

2.嵌入式内容。如果希望蜘蛛有效抓取网站的内容,最好让事情变得简单。搜索引擎蜘蛛经常遇到JavaScript,框架,Flash和异步JavaScript和XML(AJAX)的问题。尽管Baidu/Google在抓取Javascript和AJAX等格式方面做得越来越好,但使用HTML是最安全的。

一个常见的例子是使用无限滚动的网站。虽然它可能会提高可用性,但它可能会让搜索引擎难以正确抓取您的内容并将其编入索引。确保每篇文章或产品页面都有唯一的URL,并且通过传统的链接结构连接,即使它以滚动格式显示。

今天的如何让搜索引擎知道什么是重要的知识就讲到这里了。如果,哪位同学有疑问的话,可以添加我个人微信号:seoiit,一起来讨论下。

原文发布于微信公众号 - SEO答疑学堂(shareseo)

原文发表时间:2018-05-04

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏逸鹏说道

一个粗心的Bug,JSON格式不规范导致AJAX错误

一、事件回放 今天工作时碰到了一个奇怪的问题,这个问题很早很早以前也碰到过,不过没想到过这么久了竟然又栽在这里。 当时正在联调一个项目,由于后端没有提供数据...

3624
来自专栏玩转全栈

如何愉快的使用mpvue开发小程序

首先mpvue是基于vue实现的一套能够在微信小程序上跑起来的框架。因此,如果你开始准备使用mpvue开发小程序,而且,如果你恰好有vue开发的经验,那么可以略...

93021
来自专栏零基础使用Django2.0.1打造在线教育网站

零基础使用Django2.0.1打造在线教育网站(二十一):讲师相关页面配置

努力与运动兼备~~~有任何问题可以加我好友或者关注微信公众号,欢迎交流,我们一起进步!

1922
来自专栏程序员的知识天地

Web 开发人员的文档生成工具【推荐】

工欲善其事必先利其器,在此给 Web 开发人员推荐几款优秀的开源文档生成工具,希望能对大家有所帮助。

3572
来自专栏FreeBuf

加油站也会被黑?来看看这个攻击案例

这篇文章涉及的问题主要与加油管理设备公司Veeder Root相关的油品液位仪TLS-300/350 UST和TLS-350R相关,原因在于可以通过其错误配置的...

2546
来自专栏做全栈攻城狮

零基础开发高大上精美网站,非技术人员建站宝典 第一课

对于程序员,写代码是日常工作。作为他们眼中的电脑通,时常会有亲朋好友,找你给做个网站或者公众号。盛情难却。自己不得不搞。“子非鱼焉知鱼之乐”。按照要求去做,浪费...

3243
来自专栏极乐技术社区

我的第一个小程序(Discuz! + 微信小程序)

Github : https://github.com/DowneyL/di...‘

9277
来自专栏张戈的专栏

WordPress4.2升级修复补丁:解决大量404请求以及评论表情路径及尺寸异常问题

上一篇文章写到了 WordPress 升级 4.2 版本后部分主题出现了大量 404 请求的问题,匆忙解决也没深究原因。今天继续调试主题却发现了评论表情不显示了...

47013
来自专栏CRPER折腾记

MacOS : 前端必备姿势(工作环境)

算是爬出来了...此篇的工作设备是(Macbook Pro 2017款,所以可能会说到 touchbar!)

5540
来自专栏轮子工厂

有哪些实用且堪称神器的Chrome插件?吐血推荐!!!

相信很多人都在使用 Chrome 浏览器,其流畅的浏览体验得到了不少用户的偏爱,但流畅只是一方面, Chrome 最大的优势还是其支持众多强大好用的扩展程序(E...

3.5K4

扫码关注云+社区

领取腾讯云代金券