手把手教你运营：SEO基础-技术-爬虫

爬虫：概念；工作流程

1. 概念：

定义：

网络爬虫（也叫网络蜘蛛），是一种自动获取网页内容的程序，爬虫抓取的网页将会被搜索引擎系统储存，进行一定的分析、过滤、并建立索引、以便之后的用户能够查询到这个页面。这个获取信息的程序就是爬虫。

爬虫与搜索引擎的关系：

爬虫为搜索引擎收集内容，搜索引擎展示的内容大部分是爬虫收集的。

2. 工作流程：

爬虫通过漫游的形式进行抓取，爬虫爬到一个页面后，看到一个链接，然后顺着那个链接又爬到另外一个页面。

爬虫是不停的从一个页面跳到另外一个页面的，它一边下载这个网页，一边在提取这个网页中的链接，那个页面上所有的链接都放在一个公用的“待抓取列表”里。

而且爬虫有个特点，就是它在访问你网站之间，不去判断你的这个网页本身怎么样的，不对网页内容判断就抓取，但是会有优先级的划分，尽可能不抓重复的内容，尽量抓重要内容（比如网站的公共部分）。

搜索引擎同时会派出多个爬虫进行多线路的抓取，所有被爬虫抓取的网页将会被系统储存，进行一定的分析、过滤（去重），并建立索引，以便以后的查询和检索。

笔记人

姓名：赵州瞧

微信公众号：赵州瞧运营

顺着天赋做事，逆着性格做人